Taste of Tech Topics

Taste of Tech Topics

Acroquest Technology株式会社のエンジニアが書く技術ブログ

Elastic{ON} 2018 最終日セッションレポート 時系列データ以外も機械学習で異常検知 #elasticonjp

こんばんは。100TBのElasticsearchクラスタを運用している @ です。

実は、サンフランシスコに居ながらクラスタの状況報告を受けたり、日本と会議していました。
今回のElastic{ON}でクラスタ管理の話がいろいろ出たので、それらの機能が使えるようになるのが楽しみです。

今日参加したセッション

  1. Disaggregated System Architectures with Elasticsearch
    • Pure Storage社によるセッションです。専用ストレージを搭載したラックを使い、CPU周りとストレージ周りを別々にスケールさせる話でした。
  2. Upgrade to 6.0: Leading with Empathy
    • Elastic社によるセッションです。6.0へのアップグレードの際に、ユーザの事・チームの事を考えて改善していった内容の紹介です。
  3. Machine Learning in the Elastic Stack
    • Elastic社によるセッションです。X-Pack Machine Learningの生みの親であるSteveさんから、少し前に追加された予測機能や、今後追加予定の機能について紹介がありました。
  4. The Math Behind Elastic Machine Learning
    • Elastic社によるセッションです。X-Pack Machine Learningのアルゴリズム解説などです。
  5. Elasticsearch SQL
    • Elastic社によるセッションです。いよいよSQL対応の具体的な内容が紹介されました。


SQLのセッションもアツかったのですが、そちらは @ さんがレポートしてくれると思うので、私はX-Pack Machine Learningについてレポートします。

時系列データ以外も機械学習で異常検知

セッション「Machine Learning in the Elastic Stack」では、X-Pack Machine Learningの生みの親であるSteveさんから、少し前に追加された予測機能や、今後追加予定の機能について紹介がありました。

まず、既存機能のおさらいで、予測機能の紹介でした。
図の水色の部分が過去に対する異常判定で、オレンジ色の部分が未来予測の部分です。
色の付いた範囲から外れた箇所を異常と判定します。
f:id:acro-engineer:20180302171832j:plain:w700

そして今後追加される機能の紹介です。
これまでは「時系列データの異常検知」に注力しており、様々な機械学習アルゴリズムが使える訳ではありませんでした。
しかし、今後、「時系列データ以外の異常検知」を行う機能が追加されます。
具体的には、多次元ベクトルの異常検知ができるようになります。
f:id:acro-engineer:20180302160216j:plain:w700

また、フィールドの値の分布を見ることができたり、
f:id:acro-engineer:20180302160252j:plain:w700

散布図行列を見ることができるようになります。
f:id:acro-engineer:20180302160259j:plain:w700

本格的に分析する前にデータの概要を確認すると思いますが、そういったときに便利な機能ですね。
もしかすると、一般的な分析ツールが持ってる機能が段々と追加されていくかもしれません。

異常検知の数学的な話

セッション「The Math Behind Elastic Machine Learning」では、X-Pack Machine Learningで行っている「時系列データの異常検知」のアルゴリズムが紹介されました。

アルゴリズムについてこれまでは、雰囲気が語られたくらいでした。
今回紹介されたレベルでの詳しい解説は初めてだったので、非常に興奮しながら聞いていました。
f:id:acro-engineer:20180302160343j:plain:w700

このセッションを聞いて、頭が痛くなった方もいたとは思いますが。。。
帰国後に自社の機械学習チームにフィードバックするのが楽しみな内容でした。

Elastic{ON}を振り返って

という訳で、今年のElastic{ON}が閉幕しました。

私は初めての参加でしたが、新機能の発表が目白押しで、今後楽しみな事ばかりです。
X-Packのソース公開、SQL対応、Machine Learningの拡大、クラスタ管理周りは特に興味深い内容でした。
また、AMA(Ask Me Anything)でエンジニアの方と直接話せたのは大きく、ここでしか聞けなそうな話を聞けたのは収穫でした。

いろいろとパワーをもらって帰国します^^
それではまた~。

Acroquest Technologyでは、キャリア採用を行っています。


  • データ分析(Elasticsearch、Python関連)、ビッグデータHadoop/Spark、NoSQL)、Web開発(SpringCloud/SpringBoot、AngularJS)といった最新のOSSを利用する開発プロジェクトに関わりたい。
  • マイクロサービスDevOpsなどの技術を使ったり、データ分析機械学習などのスキルを活かしたい。
  • 社会貢献性の高いプロジェクトや、顧客の価値を創造するようなプロジェクトで、提案からリリースまで携わりたい。
  • 書籍・雑誌等の執筆や、対外的な勉強会の開催・参加を通した技術の発信、社内勉強会での技術情報共有により、エンジニアとして成長したい。