Elastic{ON} 2016レポート AMA = Ask Me Anything! #elasticon

いよいよElastic{ON}も3日目、最終日を迎えました。

今日はライブコーディング中心のプラグイン開発セッションや、
AMA (Ask Me Anything) と呼ばれる自由にQ&Aができるブースで1日を過ごしました。

まずはこのAMAについてレポートしたいと思います。

AMA = Ask Me Anything

もしかすると、AMAこそがElastic{ON}の一番の目玉なのかも知れません。
会場にたくさん来ているelastic社のエンジニアに、直接、様々な質問ができるというブースです。
f:id:acro-engineer:20160220185359p:plain:w575

Elasticスタックのプロダクトやロードマップについて質問するのはもちろんのこと、
最近困っている不具合を目の前で見せて解決を依頼したり、
Elasticsearchを利用した独自プロダクトのアーキテクチャの相談をしたり、
とにかく何でも自由に質問できます。

サブスクリプションを買ったりコンサル費用を払うよりも、
Elastic{ON}で直接聞いたほうが安い（笑）と言われるぐらいにオススメの高いコンテンツのようです。

ここで聞いたことを、簡単に紹介します。

1. Timelionのグラフを、Kibanaダッシュボードに載せられるようになるぞ

Timelionを使い込んでいる皆様方におかれましては、TimelionのグラフをKibanaのダッシュボードに配置できないものかなと思っているかと思います。
その点をKibanaの開発者であるRashid Khan(@rashidkpc)に聞いたところ、「近々対応するつもり、今週もそれを作ってるんだ」と回答してくれました。
わーい。

2. Beatsの設定や管理も、中央集約されるぞ

今回のElastic{ON}の中で、Logstash 5.0になれば、Logstashの設定やステータス情報を個別に扱うのではなく、
Elasticsearchに集約する（そして各Beatsに配信する）ということが明言されていました。

しかしBeatsでは、そのような設定やステータスの中央集約は明言されていませんでした。

その辺りどうなのよと、Beatsの開発者であるMonica Sarbu(@monicasarbu)に聞いたところ、
まだその開発をスタートしてないけど、対応する計画をしているとのことでした。
5.0には間に合わないけど、バージョン5.1ぐらいの時点で提供したいとのことです。
わーい。

3. Kafkaが入った時のアーキテクチャは？

BeatsシリーズからKafkaに出力できるようになることは、以前のエントリーにも書いた通りです。
また、Elasticsearch 5.0のIngest Nodeを使えば、Logstashの加工の機能が必要なくなることも、前に書きました。

現在の構成では、たとえばFilebeatを使って、Kafkaを挟むと次のような形になります。

Filebeat → Logstash（加工） → Kafka（キュー） → Logstash（転送） → Elasticsearch（保存）

これが、BeatsのKafka連携機能と、ElasticsearchのIngest Nodeを使うと、このような構成にできます。

Filebeat → Kafka（キュー） → Logstash（転送） → Elasticsearch（加工、保存）

ただこうなると、Logstashが何のために存在するのか分からなくなるので、削りたくなります。

Filebeat → Kafka（キュー） → Elasticsearch（加工、保存）

こんなことができるのか、Monica Sarbuにぶつけてみました。

まず結論としては、できない。
やはりKafkaからElasticsearchに直接転送するような方法が用意されていないため、転送のためにLogstashを挟むことは必須のようです。

また、ElasticsearchのIngest Nodeで加工することは確かに可能だが、
より細かい制御が必要になる場合は、Logstashを使う必要があるんじゃないかという見解でした。
なるほどですね。

いずれにせよ、この件はしっかりと話ができたので、僕の中でも腑に落ちた感じになりました。

それ以外にも、JMX経由で取った情報をBeatsと連携させるパターンの相談や、
実際に業務上で困っていることなど、ちょっとここでは書けないようなことも色々と質問、相談させてもらいました。

それにしても、いつもは壇上や動画、あるいはツイッターの向こう側にいるエンジニアの方たちと、
マンツーマンでディスカッションできる機会というのは本当に貴重ですよね。

つたない英語でも一生懸命に聞いてくださいますし、とっても捗りました！

レポート一覧

AcroquestではElasticsearch、Logstash、Kibanaの無償ハンズオンセミナーを開催致します。

当社公認エンジニアがELKの基礎から、商用プラグインの利用、
実データを用いた可視化・分析までを、ハンズオン形式で説明致します。
可視化・分析の題材には、当社がミャンマーにて収集したビッグデータを用います。

詳細・参加応募はこちらからお願いします。
www.acroquest.co.jp