Elastic{ON} 2017 1日目 | 進化していくKibana #elasticon

Elastic{ON}2017 レポートのまとめはこちら！！

Hello, everyone!
営業広報の白井です。
本日3/7からいよいよElastic{ON} 2017 がスタートしました！
会場は熱気にあふれています＾＾

Post from RICOH THETA. - Spherical Image - RICOH THETA

初日、Opening Keynoteも聞いていたのですが、Kibanaが進化していくプランの紹介で、超感動しました。
Kibanaでプレゼンスライドができてしまう？！
という驚きがあり、もうわくわくが止まらない！！

Opening Keynoteが気になる方は、こちらのブログをご覧ください。

参加セッション

さて、今日は、Elastic{ON} 2017初日は、以下のセッションに参加してきました。

1. Opening Keynote
2. What's Evolving in Elasticsearch?
3. What's Cookin' in Kibana?
4. What's Brewing in Beats?

今日は、Elastic社がスピーカーのセッションを攻めていきました。
特に、もともとエンジニアとして、可視化の研究とWeb UIの開発をしていた私にとって、
Kibanaの話は、特に面白かったですね！

What’s Cookin’ in Kibana?

概要

Kibanaは、可視化機能として有名かと思いますが、5.xになってから、

• データの一覧と挿入日時と量の見れるDiscovery
• グラフや表などを作成できるVisualize
• 作ったグラフなどをまとめて表示できるようにするDashboard
• 相関関係を表示するGraph
• 時系列情報の表示に特化したTimelion
• 設定関連で活用したConsole、DevTools、Monitoring

など、整備されてきました。

さらに、ここ最近ではVisualizeで扱えるグラフとして、
タグクラウドやカレンダー式のヒートマップなども追加され、
よりグレードアップしてきてますよね！

面白いポイント！

可視化機能パワーアップ

今まで、Tile Mapは、グリッドの交差点上に、色付きの円が表示され、密度・量の多さなどを表示していました。
しかし、今回のアップデートで、円の表示位置が地域ごとの値の平均値をとり、
値が集中するところに、円が表示されるようです。
グリッド上で表示されると、なんとなく表示されている位置がずれている気がすると思っていた
ところが解消されそうです！

また、地図系の表示で、VectorMapというVisualizeのメニューも追加され、
地図上で言う国境や、都道府県・市区町村などで区切った領域でのヒートマップ表示も
可能になるようです。

設定、管理機能もより便利に

なんと！期待する次のバージョンでは、UIが充実してきそうです！

今までは、検索や設定のためにクエリを書いていましたが、チェックボックのチェックのみで
アラート方法を決められるWatcher UIや、特定のIPアドレスをGeo IPとして扱えるように
設定ができるIngest Node Pipeline UIができるそうです。

これで、今までクエリを書き続けていた分の手間が省けるかもしれないですね。

また、今まではReport出力もPDFの出力しかできなかったのですが、
CSV形式のレポートも出力できるようになります！

開発者に影響しそうなこと

今後、Kibana開発をする場合には、AngularJSではなく、Reactでの開発が必須に
なるようです！
開発者によっては、影響しそうな内容ですね。。。

最後に

明日は、朝からWomen’s Breakfastに参加して、キャリアトークもしてくる予定＾＾
その後は、セッション、パーティーと盛りだくさん！
超楽しみです！

Elastic{ON}2017 レポートのまとめはこちら！！

Acroquest Technologyでは、キャリア採用を行っています。

• ビッグデータ（Hadoop/Spark、NoSQL）、データ分析（Elasticsearch、Python関連）、Web開発（SpringCloud/SpringBoot、AngularJS）といった最新のOSSを利用する開発プロジェクトに関わりたい。
• マイクロサービス、DevOpsなどの技術を使ったり、データ分析、機械学習などのスキルを活かしたい。
• 社会貢献性の高いプロジェクトや、顧客の価値を創造するようなプロジェクトで、提案からリリースまで携わりたい。
• 書籍・雑誌等の執筆や、対外的な勉強会の開催・参加を通した技術の発信、社内勉強会での技術情報共有により、エンジニアとして成長したい。

　
少しでも上記に興味を持たれた方は、是非以下のページをご覧ください。

Elasticsearchを仕事で使いこみたいデータ分析エンジニア募集中！ - Acroquest Technology株式会社のエンジニア中途・インターンシップ・契約・委託の求人 - Wantedlywww.wantedly.com

Elastic{ON} 2017 1日目 | Clusterをまたいだ検索が可能に？Elasticsearchの新機能が熱い #elasticon

Elastic{ON}2017 レポートのまとめはこちら！！

こんにちは、nakaです！

私はENdoSnipeという
Elasticsearchをコアに据えた自社プロダクトの
開発リーダをやっています。

私も、Elastic{ON}に参加するため、
サンフランシスコにやってきました。

今日は、Opening Keynoteでのセッションの発表が
驚きの連続で、興奮しっぱなしでしたよ。

中でも驚いたのは、
Kibanaのプラグインの一つの「Canvas」ですね。
詳細は@tereka114投稿のkeynoteブログで紹介しているので
まだ見ていなければぜひ読んでください！

今年のElastic Stackも、
予想を超える勢いで進化しそうです。

さて、私からは、
参加したセッションの中の一つ、
「What's Evolving in Elasticsearch?」
から面白いと感じた箇所をピックアップして紹介します。

KibanaからもClusterをまたいだ検索が可能に！？

Kibanaを通してCluster間の検索を行えるように
新しい機能として、
Cross Cluster Search機能がリリース。

Cluster間検索は、Tribe Nodeで実現できていますが、
Tribe NodeにはIndexを作れないので、
Kibanaで見れない。。

そんな問題を解決する素晴らしい機能！

ちなみに、Tribe Nodeは廃止ですね。

使い方もシンプルで使いやすそうです。
Cross-cluster search用のNodeを作り、
そこに、検索可能にしたい、clusterを登録するだけ

検索時はクエリのインデックス部分に
カンマ区切りで、複数インデックスを書けばよし

こちらはVersion5.3.0でリリース！

ダウンタイムなしで、Elasticsearchのバージョンアップが可能に！

二つ目は、ElasticsearchのRollingUpdateについて。

ダウンタイムなしで、Versionアップが可能になります。
これで、バージョンアップの苦労が緩和されそう。
やった！

5.latestからなら6.latestへrestartなしで、
バージョンアップが可能になります。

5.latestとは、6.0.0のGAがリリースされたときの
5.xの最新版のことです。
6.0.0早くリリースしてほしい！

バージョン違いElasticsearch間でも検索可能に！？

最後は、Cross Major Version Searchの紹介

どうしても、運用していると、
Elasticsearchが止められず、Versionアップできない。。
新しい機能を使いたいので、
追加するElasticsearchは最新にしたい。

そんな願いもかなえてくれる！

やりすぎはいけないですが、
どうしても使いたいときありますよね！

セッションの説明では、5.x系のClusterに対し、5.latestを入れ、
6.x系のClusterとつなげば、
6.x系のNodeと5.latestがバージョンの違いを吸収し、検索可能にしてくれます。

他にも、5.x系のすでにリリースされた機能の紹介や
6.xから導入となる
Lucene7や
クラスタ管理に関わる操作へのシーケンスナンバー導入など
紹介がありました。

このように、Elasticsearch 5.xから6.xへは、
熱い新機能がたくさんリリースされます！
非常に楽しみです。

明日は朝から晩まで(パーティは23時まで！)セッションがあります。
今日沸いた質問を解消すべくAMAにも行きたいし、体力との勝負になりそう。。
頑張ります！

Elastic{ON}2017 レポートのまとめはこちら！！

Acroquest Technologyでは、キャリア採用を行っています。

• ビッグデータ（Hadoop/Spark、NoSQL）、データ分析（Elasticsearch、Python関連）、Web開発（SpringCloud/SpringBoot、AngularJS）といった最新のOSSを利用する開発プロジェクトに関わりたい。
• マイクロサービス、DevOpsなどの技術を使ったり、データ分析、機械学習などのスキルを活かしたい。
• 社会貢献性の高いプロジェクトや、顧客の価値を創造するようなプロジェクトで、提案からリリースまで携わりたい。
• 書籍・雑誌等の執筆や、対外的な勉強会の開催・参加を通した技術の発信、社内勉強会での技術情報共有により、エンジニアとして成長したい。

　
少しでも上記に興味を持たれた方は、是非以下のページをご覧ください。

Elasticsearchを仕事で使いこみたいデータ分析エンジニア募集中！ - Acroquest Technology株式会社のエンジニア中途・インターンシップ・契約・委託の求人 - Wantedlywww.wantedly.com

Elastic{ON} 2017 1日目 | Keynoteレポート #elasticon

Elastic{ON}2017 レポートのまとめはこちら！！

サンフランシスコからこんにちは。@tereka114です。
Elastic{ON} 2017 サンフランシスコ、Keynoteセッションはじまりました。

イベント会場に早々と到着し、準備していたところ、
つい興奮しすぎて、開始前からブログを1本書いてしまいました。
そして、最初のセッションであるKeynoteがはじまりました！

Dance!!

Keynoteはダンスからはじまりました！

ダンサーの背後にダンサーの動きと同期しているかのような時系列データが見えています。
どうやらダンサーの体に貼ってあるセンサーの状態を可視化しているようです。

今までは1秒以内に検索のindexを貼るのは難しいと聞いていましたが、
このグラフの横軸を見ると、レスポンス時間が1秒を切っているように見えます。

このダンサーの動きの可視化はHeartbeatを使って、可視化しているようです。
きっと2日目のBallerinaのセッションで話されるのではないでしょうか。

そして、Elastic社のCTO Shay Banon氏の登場です。

新機能の紹介

さて、ここから新機能の発表がはじまりました！

Filebeat modules

FIlebeatが「simple things should be simple」をコンセプトに更に使いやすくなります。

デモでは、Filebeatでnginx moduleを指定していました。
nginxのログから簡単にKibanaのDashboardを作成したり、解析することができます。

また、system moduleを使って、sshログを監視する様子もみることができました。
いずれも、非常に簡単に作れそうな印象を受けました。

これは、Elastic Stack 5.3でリリースされる予定です。

New Kibana Visualization

KibanaのVisualizationが強化されます。
特に注目の機能は「Time Series Visual Builder」です。

「Time Series Visual Builder」は時系列解析のVisualizationを作る機能です。
細かな設定をKibanaの画面上で設定することができます。
複数のカラムに対する時系列の解析、移動平均などの可視化も可能です。

この機能はElastic Stack 5.4でリリースされる予定です。

Machine Learning

遂にきました！Machine Learning！
以前まで、PrelertのシステムとElasticsearchが連携している媒体がβ版として配布されていました。

本日、Prelertを「Machine Learning」として正式リリースする発表がありました。
Prelerについては、弊社ブログで紹介しています。

acro-engineer.hatenablog.com

Machine LearningはKibanaのPluginとして搭載される予定です。
Machine Learningの設定は非常にシンプルです。

Aggregation方法とbucket spanを設定すると、自動的に
時系列データの異常検知・解析が可能です。

薄い水色が正常として判断可能な許容範囲を示していて、
異常として検知された値が、
どの程度正常値から外れているのか確認しながら設定ができます。
使いやすそうですね。

さらに、Multi metricを選択し複数系列を使った解析もできそうです。
この機能は後日、Machine Learningに関するセッションがあるので、
深く聞いてみたいと思います。

Machine LearningのリリースはElastic Stack 5.4を予定しています。

IBMのデモ

プラチナスポンサーであるIBMからプレゼンテーションがありました。
IBMはElastic{ON}のプラチナスポンサーです。
Watsonの紹介をしていました。

Elastic Cloud Enterprise

Elastic Cloud Enterpriseの紹介です。
デモでは、クラスタのステータス確認をするダッシュボードや
画面からクラスタの起動・停止をしていました。
また、Elasticsearchのアップグレードなど様々な操作ができるとのことです。

Elastic Cloud Enterpriseのリリースは、2017年4月を予定しています。

Elastic Award

Elastic Awardです。
Elastic Awardはユースケースとして優秀な企業に贈呈されます。
今年は、eHealth, IST Research, NoSchoolViolence.orgの3社です。

a glimpse into the future

SQL

Elasticsearch SQLの発表がありました。
Elasticsearchに対して、SQL likeなクエリを発行して操作することができるというものです。

デモでは、SELECT文を使ってデータを取得したり、
EXPLAINという機能を使って、
SQLからどのようなElasticsearchのクエリの発行がされているかを表示したりしていました。

ODBC経由での接続もできていました。
以下はDbVisualizerというDB接続ソフトで接続するデモを撮ったものです。
ツールからSQLを実行し、データを可視化できています。

また、SQLのAPIが追加され、KibanaのConsole上からSQL likeなクエリを実行することができるようになります。
SQL機能のリリース時期は、Coming Soonとのことで、明確に言及はされませんでした。
明日、SQLに関するセッションがあるので、リリース時期に関してはそちらで言及があるかもしれません。

Kibana Canvas

突然、ボランティアに参加する人たちの、モチベーションについて、
PowerPointで作ったらしいプレゼンがはじまりました。

Keynoteを聞いている私達もなんだろうと疑問に思っていました。

すると、プレゼンテーションがいきなりKibanaの画面として、表示されました。
なんと、Kibanaの画面を使ってプレゼンテーションをしていたようです。

新しくCanvasと呼ばれる機能が追加されます。

Kibanaを使って、コンポーネントを自由に配置できたり、画像や図形を描画したりできます。
これらを利用し、1枚のボードを作れます。
以下は左にあるコンポーネントの色を変えたところです。

また、キャンバス上に配置するのがグラフの場合はTimelionの表記のクエリを書けます。

これがあるなら、顧客へのレポートは、
全てこれでまかなえそうではないですか！
早くほしい！

こちらもリリース時期はComing Soonとのことです！

最後に

Opening Keynoteは当初、1時間30分の予定でしたが、結局2時間かかるほどの盛りだくさんな内容でした。
さぁ、これからElastic{ON}開始です！これからいろんなセッションへ参加してきます！

Elastic{ON}2017 レポートのまとめはこちら！！

Acroquest Technologyでは、キャリア採用を行っています。

• ビッグデータ（Hadoop/Spark、NoSQL）、データ分析（Elasticsearch、Python関連）、Web開発（SpringCloud/SpringBoot、AngularJS）といった最新のOSSを利用する開発プロジェクトに関わりたい。
• マイクロサービス、DevOpsなどの技術を使ったり、データ分析、機械学習などのスキルを活かしたい。
• 社会貢献性の高いプロジェクトや、顧客の価値を創造するようなプロジェクトで、提案からリリースまで携わりたい。
• 書籍・雑誌等の執筆や、対外的な勉強会の開催・参加を通した技術の発信、社内勉強会での技術情報共有により、エンジニアとして成長したい。

　
少しでも上記に興味を持たれた方は、是非以下のページをご覧ください。

Elasticsearchを仕事で使いこみたいデータ分析エンジニア募集中！ - Acroquest Technology株式会社のエンジニア中途・インターンシップ・契約・委託の求人 - Wantedlywww.wantedly.com

Elastic{ON} 2017 1日目 | Beats これまでの進化と今後 #elasticon

Elastic{ON}2017 レポートのまとめはこちら！！

こんにちは。
@shin0higuchiです。

Elastic{ON} 2017@サンフランシスコの1日目に参加してきたので、レポートします。
今回私が参加したセッションは下記の通りです。

参加セッション

1. Opening Keynote
2. What's Evolving in Elasticsearch?
3. What's Cooking' in Kibana?
4. What's brewing in Beats?
5. Welcome Reception

私はElastic Stackのセッションにベッタリな1日でした。
Opening KeynoteでのX-Pack Machine Learning発表や今後の展望など、
面白い話題が盛りだくさんでした。

「What's Evolving in Elasticsearch?」や「What's Cooking' in Kibana?」でも　
バージョン6にむけた新しい機能・変更が多数発表されました。
例えば、ElasticsearchではCross-Cluster Search、KibanaではTime Seriesのvisual builderやRoadMapの発表などがあり、
今後のElastic Stackに対する期待がますます高まりました。

ElasticsearchとKibanaの詳細については他の記事で紹介します。

今日のセッションの中で特にピックアップしたいのが「What's brewing in Beats?」です。
データの収集はElasticsearchクラスタや監視対象が大規模になった際に、大きな課題となります。

Beatsで今回話題にあがった主なトピックは2つあり、1つは「Filebeat Modules」もう1つは「Heartbeat」です。

Filebeat Modules

Filebeat Modulesでは、NginxやApacheなどを指定することでログの自動パースや、Kibanaダッシュボードの自動生成が可能です。
(Metricbeatでは既に実装されていますね)
ログ収集がますます手軽になりそうです。

また、今後はMachine LearningやAlertingとの連携も強化されるとのことです。
Beatsは取得するデータの形式や内容がある程度決まっているため、
Machine LearningのjobやAlertingの閾値などがデフォルトで提供されるようになると嬉しいですね。

Heartbeat

Heartbeatはアップタイムを監視したり、疎通確認を行うプロダクトです。
これを使えばシステム内のサーバやアプリケーション間の通信が通っているかどうかを一括管理することができます。
いままで、特定のサーバからElasticsearchクラスタへの疎通を監視することはできましたが、
Elasticsearch以外の特定のサーバやアプリケーション間の疎通を一括管理する仕組みはありませんでした。

ICMPの他にHTTP通信やTCP通信の疎通確認をしてくれます。

取得できるメトリクスはこんな感じ↓

データ量の増大、システムの複雑化に伴ってますますBeatsが活躍する場が広がりそうです。

今日のレポートは以上です。
明日、明後日も楽しんできます！
続報をお楽しみに！！

Elastic{ON}2017 レポートのまとめはこちら！！

Acroquest Technologyでは、キャリア採用を行っています。

• ビッグデータ（Hadoop/Spark、NoSQL）、データ分析（Elasticsearch、Python関連）、Web開発（SpringCloud/SpringBoot、AngularJS）といった最新のOSSを利用する開発プロジェクトに関わりたい。
• マイクロサービス、DevOpsなどの技術を使ったり、データ分析、機械学習などのスキルを活かしたい。
• 社会貢献性の高いプロジェクトや、顧客の価値を創造するようなプロジェクトで、提案からリリースまで携わりたい。
• 書籍・雑誌等の執筆や、対外的な勉強会の開催・参加を通した技術の発信、社内勉強会での技術情報共有により、エンジニアとして成長したい。

　
少しでも上記に興味を持たれた方は、是非以下のページをご覧ください。

Elasticsearchを仕事で使いこみたいデータ分析エンジニア募集中！ - Acroquest Technology株式会社のエンジニア中途・インターンシップ・契約・委託の求人 - Wantedlywww.wantedly.com

Elastic{ON} 2017 1日目 | データを収集するシステムをStorageの種類を工夫して構築した話 #elasticon

Elastic{ON}2017 レポートのまとめはこちら！！

日本のみなさんこんにちは、@tereka114です。
実は私、初アメリカです。Elastic{ON}たのしー！

先程Keynoteを聞いて、すごくテンションがあがりました。
個人的には、特に「Time Series Visualize Builder」や「Machine Learning」が魅力的だと感じています。

さて、早速本題です。本日いくつかのセッションに参加し、そのなかの１つを取り上げて紹介します。
それは、「The Hotel NERSC Data Collect: Where Data Checks In, But Never Checks Out」です。

因みに、私は以下のセッションに参加しました。

1. Opening Keynote
2. Retail Fraud Detection and Real-Time Inventory Reporting @ Walmart
3. Advancing Earth Science with Elasticsearch at Terradue
4. The Hotel NERSC Data Collect: Where Data Checks In, But Never Checks Out

The Hotel NERSC Data Collect: Where Data Checks In, But Never Checks Out

概要

NERSCはNational Energy Research Scientific Computing Centerの略となる組織で、
HPCやデータ分析の研究をしています。

NERSCは大規模なコンピューティングシステムを保持しています。
大規模なコンピューティングシステムにあるマシンルームに
冷却するための機能が存在せず、自然の気温を活用しています。

それら自然のデータに加え、システムに関するデータを保存しています。
そのデータをElasticsearchを使ってどうデータを集め、活用したといったセッションです。

収集対象データの説明

まずは、データをどう取得するかといった話です。
システムのメトリクスを複数のデータソースにまたがって、取得しています。
そのデータサイズとしては1日で160GBもの量を保存しています。

このデータはシステムの診断データとして利用したり、
マシンルームを有効利用するために使います。

収集データはKibanaで可視化を行っています。次の画像はその一例です。

データ収集システムの説明

NERSCはデータ収集を長期的に行い、システムやマシンルームの設備データを収集しています。
このデータ収集システムのゴールの１つはNERSC内にあるStorageを使うことです。
そのため、システムには複数の種類のStorageを組み合わせて使っています。
それぞれのStorageの特性に合わせて利用用途を変更しています。

1. Hot StorageはSSD/NVMEのことを指し、アクセスが非常に高速です。取得の間隔の短いデータを保存します。
2. Warm StorageはRAID5のことを指しており、安くて大容量のStorageです。
   取得間隔が週、月、年ごとのデータを保存します。
3. Cold Storageはデータのアクセスに1秒や1分かかるようなStorageです。
   その１つはHPSS（High Performance Storage System）です。スナップショットの保存に利用されています。

Cold Storageには複数の技術が使われていて、Elasticsearch、HPSSと呼ばれるStorage
そして、shell scriptなどを組み合わせて実現しています。

利用するStorageの違いが、個人的に最も参考になった部分です。
データの周期やアクセス速度の違いにより、どのようなデータをどう保存するかの１つの方法かと思います。

データ収集システムはCentOS 7のOSベースに構築されています。
Elasticsearchは3 master nodes、3 client nodesの構成です。

Snapshot/Restoreの仕組み

最後にデータ収集システムのSnapshotやRestoreの仕組みを紹介していました。
SnapshotやRestoreをするshell scriptを独自で書いているようでした。
Snapshotはshell scriptを使って日付ごとにSnapshotをHPSSに保存されています。

こちらの画像がsnapshotの仕組みです。一定期間のデータをsnapshotで順次保存しています。

Restoreはこちらの画像です。一定期間のデータをHPSSから取得し、順次リストアを行っています。

最後に

Elastic{ON} 2日目も待ち遠しいです。
Machine Learningのセッションもあるので、はりきって聞きに行ってきます！

Elastic{ON}2017 レポートのまとめはこちら！！

Acroquest Technologyでは、キャリア採用を行っています。

• ビッグデータ（Hadoop/Spark、NoSQL）、データ分析（Elasticsearch、Python関連）、Web開発（SpringCloud/SpringBoot、AngularJS）といった最新のOSSを利用する開発プロジェクトに関わりたい。
• マイクロサービス、DevOpsなどの技術を使ったり、データ分析、機械学習などのスキルを活かしたい。
• 社会貢献性の高いプロジェクトや、顧客の価値を創造するようなプロジェクトで、提案からリリースまで携わりたい。
• 書籍・雑誌等の執筆や、対外的な勉強会の開催・参加を通した技術の発信、社内勉強会での技術情報共有により、エンジニアとして成長したい。

　
少しでも上記に興味を持たれた方は、是非以下のページをご覧ください。

Elasticsearchを仕事で使いこみたいデータ分析エンジニア募集中！ - Acroquest Technology株式会社のエンジニア中途・インターンシップ・契約・委託の求人 - Wantedlywww.wantedly.com

Elastic{ON} 2017 1日目 | 大量データを分析し最高のUXをGeForce NOWに！#elasticon

Elastic{ON}2017 レポートのまとめはこちら！！

サンフランシスコからこんにちは！

1年目エンジニアの菅野です！
普段は主に機械学習のエンジニアをやっております。

Elastic{ON}では様々な国のエンジニアが集っており
刺激の強い一日でした

参加セッション

私が本日参加したセッションは次の通りです。

1. Opening Keynote
2. Data Intelligence with the Elastic Stack @ Scale: NVIDIA's User Experience Streaming Analytics
3. Expanding Elasticsearch: Learn How to Leverage Heterogeneous Compute to Extend and Accelerate Elasticsearch
4. Cisco's Journey to Cloud Native
5. Streamlining Healthcare and Research: The Story of Elasticsearch at UCLA Health

私はこの中で「Data Intelligence with the Elastic Stack @ Scale: NVIDIA's User Experience Streaming Analytics」について
簡単に紹介したいと思います。

Data Intelligence with the Elastic Stack @ Scale: NVIDIA's User Experience Streaming Analytics

概要

NVIDIAではゲームのストリーミングプラットフォーム GeForce NOWでのユーザーエクスペリエンス分析を
行っています。
このGeForce NOW、NVIDIAの高性能ゲーミングクラウドマシンに接続することで、
最大1080pixのハイビジョン画質で毎秒60フレームのゲームをダウンロードなしにストリーミングが行えるスバラしいサービスです！

デモのムービーを見せていましたが、Macでコンシューマーゲームをプレイしていましたね。
サービスのサイトをちょこっとのぞいてみましたが、DEAD RISING2とか、洋ゲーには疎い私でも知ってるメジャータイトルがそこそこありましたよ。
ぜひやってみたい！！

NVIDIAではそのGeForce NOWでのレンダリングデータの指標をElasticsarchに毎秒収集し
ユーザエクスペリエンスの向上や即時のデバッグに役立てています。

面白いポイント！

大規模データのリアルタイム分析アーキテクチャ！

GeForce NOWでは毎日10億を超えるデータを捌くために、Kafka、Spark、Elastic Stack
を用いた環境を構築していました。
システム構成図はこんな感じでした。

様々なES活用事例

このセッションでは、様々なKibanaでの可視化事例を紹介していました。

ユーザエクスペリエンス監視

GeForce NOWのユーザが
システムにアクセスできているかどうかや、
レンダリングレートを可視化していました。

ですが、画面がつぶれてまったく見えませんでした。
企業秘密ってことですかね(笑)

2.システムのオペレーション監視

GeForce NOWはマイクロサービスとして構築されていますが、
各システム間のレスポンスタイムやオペレーションの運用コストを表示したりしていました。

3.ビジネスKPIの可視化

GeForce NOWでのソフトウェアの売り上げや月間アクティブユーザ数を表示、
ファイナンスチームとサービスの運営について議論したりしているそうです。

Kratos Visual Loggingの活用

ローンチ直後のサービスでは、分析用のデータが足りず、
すべてのデータをロギングすることが重要であると言っていました。

そのためにNVIDIAはKratos Visual Loggingというソリューションを開発しました。
こちらは、Log4jやPylog等のログのフレームワークを拡張して作られています。
どこからサービスのリクエストが呼ばれているのか、どんなデータが送信されているのかといったようなすべてのメタデータをログとして出力します。

NVIDIAではこのKratos Visual Loggingをさまざまな場面で活用していました。
例えば、Dev-Ops分野ではスタックトレースを可視化し、いつシステムのエラーが発生したか、
どんなエラーが発生したかを瞬時に確認できるようにしていました。

また、KibanaのVisualizationの作成を完全に自動化し、簡単に可視化できるよう工夫していたりしました。

最後に

Elastic{ON}も始まったばかり、2日目、3日目はさらにホットな情報も展開していきますよ！
明日はMachine Learningのセッションに参加してきます！
それでは！

Elastic{ON}2017 レポートのまとめはこちら！！

Acroquest Technologyでは、キャリア採用を行っています。

• ビッグデータ（Hadoop/Spark、NoSQL）、データ分析（Elasticsearch、Python関連）、Web開発（SpringCloud/SpringBoot、AngularJS）といった最新のOSSを利用する開発プロジェクトに関わりたい。
• マイクロサービス、DevOpsなどの技術を使ったり、データ分析、機械学習などのスキルを活かしたい。
• 社会貢献性の高いプロジェクトや、顧客の価値を創造するようなプロジェクトで、提案からリリースまで携わりたい。
• 書籍・雑誌等の執筆や、対外的な勉強会の開催・参加を通した技術の発信、社内勉強会での技術情報共有により、エンジニアとして成長したい。

　
少しでも上記に興味を持たれた方は、是非以下のページをご覧ください。

Elasticsearchを仕事で使いこみたいデータ分析エンジニア募集中！ - Acroquest Technology株式会社のエンジニア中途・インターンシップ・契約・委託の求人 - Wantedlywww.wantedly.com

Elastic{ON} 2017 1日目 | What's cooking in Kibana #elasticon

Elastic{ON}2017 レポートのまとめはこちら！！

Hello! Everyone.
This is Aung Satt from Acroquest.

Today, 03/07(Tue), I attended to "What's cooking in Kibana" session which was presented by Court Ewing; Kibana Tech Lead and Jim Goodwin; Kibana Team lead. They started the explanation for magic of Kibana with "What's new since Kibana 5.0?" which summarized features of Kibana's release after v5.0.

If I summarize,
Released Kibana 5.1.1

1. Tag Cloud : Tag size indicates "importance" of term which is relevant to other terms.
2. Advanced Monitoring : Added 14 charts
3. Search Profiler UI : Drill down to the Query's performance.
4. Fastbana : Improved rendering speed of Kibana

Released Kibana 5.2.0

1. Heatmap : Highlight over metric values that relates to other data points
2. Tribe Support : Multiple clusters support via Tribe Node
3. Logstash Monitoring : Out of the box monitoring supports for Logstash nodes.
4. Enhance : Added 18 levels of zoom for Kibana's map for visualization.

Additionally, Internalization(i18n) support for kibana had been added. That's a plugin services to translate your Kibana according to your browser's preference language.

Personally, I think, the most likely to change Kibana into a new way of data visualization after Kibana v5.0 was included in "Kibana for developers" topic,
which includes,

1. Kibana becomes Elasticsearch cluster-aware

For your Kibana's plugin, you could specify clusters to query and thus it gives the expansions on your work with multiple clusters, too.

2. A better build system for Kibana

It was said "Goodbye optimizer" by speakers and I am glad that from get rid of Lazy Optimization Loading Screen which takes certain amount of time from us when we are creating Kibana Plugins (or) Loading Kibana. Although, the performance for building Kibana'll be improved, the features such as rebuilding every time Kibana's plugin codes changed. And it'll be still supported by webpack but there'll be no shipping webpack.

3. Improved Consistency

Kibana's team tried to improve consistency of Kibana and makes things easier to develop Kibana plugins which will remain same regardless of browser differences and in between different parts of Kibana and plugins.

4. React will take place for Angular in Kibana

Somehow, this one'll be a big change as today's speaker announce new UI codes for Kibana will use React which will anyway replace Angular.js gradually.
It's sound interesting, right (^^

And Kibana's UI component Framework will be use Stateless React components to build blocks for all user interface which will be styled by Sass out of the box.
Then "Let's be Sassy!".

Anyway, there'll be a lot of session related with future of Kibana on coming days of Elastic{ON} 2017.
Stay in tune, and I'll update with those informations.

Thank you for reading my blog.
Have a nice day (^^.

Elastic{ON}2017 レポートのまとめはこちら！！