Taste of Tech Topics

Acroquest Technology株式会社のエンジニアが書く技術ブログ

Elastic{ON} 2018 初日セッションレポート Logstashのクラスタ化 #elasticonjp

Elasticsearch Elastic{ON} 2018

こんばんは。@です。

AMA(Ask Me Anything)でElastic社のエンジニアの方と直接話せるのは良いですね。
いろいろと助かります。
f:id:acro-engineer:20180301185445j:plain:w400


今日参加したセッション

さて、Elastic{ON} 2018もいよいよ、セッションが始まりました。
いろいろ聞きたいことはあるのですが、私は次のセッションに参加しました。

  1. Bigger, Faster, Stronger: Leveling Up Enterprise Logging
  2. Reinventing Fermilab's Scientific Computing Grid Accounting with the Elastic Stack
    • フェルミ研究所(アメリカにある物理学の研究所)のセッションです。加速器と素粒子の解説、、じゃなくて、科学計算で利用するスーパーコンピュータをElastic Stackで監視する話でした。
  3. Deep Learning & Accelerating the NLP Journey in the Unstructured World at Credit Suisse
    • クレディ・スイス社によるセッションです。Elastic Stackを使って組まれた通信監視を行うプラットフォームの話。ディープ・ラーニングを利用して誤検知を減らす話も出てきました。
  4. What's the Latest in Logstash
    • Elastic社によるセッションです。5.0以降のLogstashの機能の振り返りと、今後追加される機能についての説明がありました。
  5. The Seven Deadly Sins of Elasticsearch Benchmarking
    • Elastic社によるセッションです。Elasticsearchのベンチマークを行うときに失敗しがちな内容について説明がありました。
  6. Site Search with Swiftype
    • Elastic社によるセッションです。昨年、ElasticにジョインしたSwiftypeの話です。
  7. Scaling Log Aggregation at Fitbit
    • 42Lines社によるセッションです。Elasticsearchを3年以上運用し、アップグレード、スケールアウトを行ってきた流れに関する話です。

Elasticsearchベンチマークの7つの大罪

これらの中でも、「The Seven Deadly Sins of Elasticsearch Benchmarking」は好きなセッションでした。
性能測定とか運用周りは仕事がら興味がありますが、「Elasticsearchベンチマークの7つの大罪」というタイトルも興味をかき立てますね。

「ちゃんとプロダクション環境と同じ条件でベンチマークを行いましょう」から始まって、性能測定時に押さえておくべき内容が解説されました。
f:id:acro-engineer:20180301165124j:plain:w700

また、このようなベストプラクティスを取り込んだ「rally」というベンチマークツールがあり、Elasticsearchのベンチマークを行う際には、これを使う事が推奨されていました。
github.com

Logstashのクラスタ化

他には、「What's the Latest in Logstash」も興味を惹かれました。
前半は5.0以降の新機能の振り返り。
Persistent Queueとか、もう遠い昔の機能のような気がしてましたが、割と最近なんですよね。

後半は今後追加される機能についての説明。
Logstashのパイプライン管理はサーバサイド(Elasticsearch)で集中的に管理できるようになりました。
今後は、Grok PatternやGeoIP Databaseなど、Logstashのローカルディスクに保持していたものが、サーバサイドで管理できるようになるそうです。
f:id:acro-engineer:20180301173037j:plain:w700

サーバサイドでいろいろ管理できるようになるのは嬉しいですが、今回の目玉はLogstashのクラスタ化(?)です。
これまで、Logstashが複数台起動していても、協調して動作する機能はありませんでした。
そのため、例えば、障害が発生してLogstashがフェイルオーバーしたときに、どこまでイベントを送信したのか管理することは難しい問題でした。
今後は、Logstashのクラスタ化が進み、このような問題も解決されていくようです。
f:id:acro-engineer:20180301170906j:plain:w700

今後も、どんどん機能追加されていくようで、運用しやすくなっていきそうですね！

さて、明日はいよいよ最終日。
楽しみなセッションが続きます。
それではまた～。

Acroquest Technologyでは、キャリア採用を行っています。


  • データ分析（Elasticsearch、Python関連）、ビッグデータ（Hadoop/Spark、NoSQL）、Web開発（SpringCloud/SpringBoot、AngularJS）といった最新のOSSを利用する開発プロジェクトに関わりたい。
  • マイクロサービス、DevOpsなどの技術を使ったり、データ分析、機械学習などのスキルを活かしたい。
  • 社会貢献性の高いプロジェクトや、顧客の価値を創造するようなプロジェクトで、提案からリリースまで携わりたい。
  • 書籍・雑誌等の執筆や、対外的な勉強会の開催・参加を通した技術の発信、社内勉強会での技術情報共有により、エンジニアとして成長したい。