読者です 読者をやめる 読者になる 読者になる

Taste of Tech Topics

Acroquest Technology株式会社のエンジニアが書く技術ブログ

Elastic{ON} 2017 1日目 | 大量データを分析し最高のUXをGeForce NOWに!#elasticon

Elasticsearch Elastic{ON} 2017 in San Francisco

Elastic{ON}2017 レポートのまとめはこちら!!

サンフランシスコからこんにちは!

1年目エンジニアの菅野です!
普段は主に機械学習のエンジニアをやっております。

Elastic{ON}では様々な国のエンジニアが集っており
刺激の強い一日でした

参加セッション

私が本日参加したセッションは次の通りです。

  1. Opening Keynote
  2. Data Intelligence with the Elastic Stack @ Scale: NVIDIA's User Experience Streaming Analytics
  3. Expanding Elasticsearch: Learn How to Leverage Heterogeneous Compute to Extend and Accelerate Elasticsearch
  4. Cisco's Journey to Cloud Native
  5. Streamlining Healthcare and Research: The Story of Elasticsearch at UCLA Health

私はこの中で「Data Intelligence with the Elastic Stack @ Scale: NVIDIA's User Experience Streaming Analytics」について
簡単に紹介したいと思います。

Data Intelligence with the Elastic Stack @ Scale: NVIDIA's User Experience Streaming Analytics

f:id:acro-engineer:20170308190846j:plain:w500

概要

NVIDIAではゲームのストリーミングプラットフォーム GeForce NOWでのユーザーエクスペリエンス分析を
行っています。
このGeForce NOW、NVIDIAの高性能ゲーミングクラウドマシンに接続することで、
最大1080pixのハイビジョン画質で毎秒60フレームのゲームをダウンロードなしにストリーミングが行えるスバラしいサービスです!

デモのムービーを見せていましたが、Macコンシューマーゲームをプレイしていましたね。
サービスのサイトをちょこっとのぞいてみましたが、DEAD RISING2とか、洋ゲーには疎い私でも知ってるメジャータイトルがそこそこありましたよ。
ぜひやってみたい!!

NVIDIAではそのGeForce NOWでのレンダリングデータの指標をElasticsarchに毎秒収集し
ユーザエクスペリエンスの向上や即時のデバッグに役立てています。

面白いポイント!

大規模データのリアルタイム分析アーキテクチャ

GeForce NOWでは毎日10億を超えるデータを捌くために、Kafka、Spark、Elastic Stack
を用いた環境を構築していました。
システム構成図はこんな感じでした。

f:id:acro-engineer:20170308154642j:plain:w500

様々なES活用事例

このセッションでは、様々なKibanaでの可視化事例を紹介していました。

ユーザエクスペリエンス監視

GeForce NOWのユーザが
システムにアクセスできているかどうかや、
レンダリングレートを可視化していました。

f:id:acro-engineer:20170308184502j:plain:w500

ですが、画面がつぶれてまったく見えませんでした。
企業秘密ってことですかね(笑)


2.システムのオペレーション監視

GeForce NOWはマイクロサービスとして構築されていますが、
各システム間のレスポンスタイムやオペレーションの運用コストを表示したりしていました。

f:id:acro-engineer:20170308155137j:plain:w500

3.ビジネスKPIの可視化

GeForce NOWでのソフトウェアの売り上げや月間アクティブユーザ数を表示、
ファイナンスチームとサービスの運営について議論したりしているそうです。

f:id:acro-engineer:20170308155306j:plain:w500

Kratos Visual Loggingの活用

ローンチ直後のサービスでは、分析用のデータが足りず、
すべてのデータをロギングすることが重要であると言っていました。

そのためにNVIDIAはKratos Visual Loggingというソリューションを開発しました。
こちらは、Log4jやPylog等のログのフレームワークを拡張して作られています。
どこからサービスのリクエストが呼ばれているのか、どんなデータが送信されているのかといったようなすべてのメタデータをログとして出力します。

NVIDIAではこのKratos Visual Loggingをさまざまな場面で活用していました。
例えば、Dev-Ops分野ではスタックトレースを可視化し、いつシステムのエラーが発生したか、
どんなエラーが発生したかを瞬時に確認できるようにしていました。

また、KibanaのVisualizationの作成を完全に自動化し、簡単に可視化できるよう工夫していたりしました。

最後に

Elastic{ON}も始まったばかり、2日目、3日目はさらにホットな情報も展開していきますよ!
明日はMachine Learningのセッションに参加してきます!
それでは!

Elastic{ON}2017 レポートのまとめはこちら!!

Acroquest Technologyでは、キャリア採用を行っています。

  • ビッグデータHadoop/Spark、NoSQL)、データ分析(Elasticsearch、Python関連)、Web開発(SpringCloud/SpringBoot、AngularJS)といった最新のOSSを利用する開発プロジェクトに関わりたい。
  • マイクロサービスDevOpsなどの技術を使ったり、データ分析機械学習などのスキルを活かしたい。
  • 社会貢献性の高いプロジェクトや、顧客の価値を創造するようなプロジェクトで、提案からリリースまで携わりたい。
  • 書籍・雑誌等の執筆や、対外的な勉強会の開催・参加を通した技術の発信、社内勉強会での技術情報共有により、エンジニアとして成長したい。

 
少しでも上記に興味を持たれた方は、是非以下のページをご覧ください。

Elasticsearchを仕事で使いこみたいデータ分析エンジニア募集中! - Acroquest Technology株式会社のエンジニア中途・インターンシップ・契約・委託の求人 - Wantedlywww.wantedly.com