世界の皆さん、おはようございます @cero_t です。
今日も一日、elastic{ON}でがんばります。
2日目最初のセッションは、Logstashのプロダクト紹介を選びました。
Logstashの現在
まずはLogstashの歴史から。
Logstashは2009年に初めてリリースされ、その後、Logstashにデータを転送するLogstash-forwarderやPacketbeatなどが開発され、それらがまとめてBeatsシリーズとして整理されました。
また5.0シリーズではElasticsearchにLogstashのFilterを機能を移植して、Ingest Nodeという形で提供されることになりました。
LogstashはJenkinsできちんとテストサイクルを回しています。こんな画面も共有されました。
Java7/8でテストしているそうです。
またキーノートでも触れられていた通り、Logstash自身の性能もバージョンを追うごとに改善しています。
データを決してロストしないLogstashに向けて
Logstashはマシンリソースやネットワークリソースが不足した程度では情報を失わないのですが、Logstash自身のプロセスが止まるような状況では情報をロストしてしまいます。
というのもInput、Filter、Outputの間でそれぞれキューを持っており、プロセスが落ちた時点でその情報が失われてしまうためです。
LogstashのInputは、現時点でもKafkaやRabbitMQのAcknowledgeに対応していてInput処理の成功したときだけ、キューから要素を削除するようになっています。要するにトランザクション的なあれです。
ただしFilterやOutputまでは含めたAcknowledgeはまだサポートされておらず、これは今後の対応になります。
Logstash 2.2.0ではバッチ処理もサポートされました。
また、Javaをシリアライゼーションに用いることができるようになるようです。ちょっとよく分かりませんでした。
今後の一番大きな目玉は、キューの永続化でしょう。Logstashに入った情報をディスクなどに永続化することができるようになります。
また デッドレターキューも実装され、Outputで失敗したものはデッドレターキューに入る形になります。
ということでLogstash 5.x系では、Logstashのプロセスが停止しようが、OSごと落ちようが、情報が残ることになります。Logstash最高かよ！
Logstashの管理も改善
後半は、Logstashの管理について。
現行のLogstashでもREST APIを用いてステータスや、重いスレッドの情報などを取得することができるそうです。知らなかった。
また、 次のバージョンではこれらの情報を可視化することが計画されています。もうこの辺りは必須になっていますね。
また、設定周りの改善も計画されています。まずは設定ファイルの自動リロード
ファイルの更新をチェックして、自動的にリロードして、パイプライン処理を新しく始めるというもの。プロセスを再起動する必要はありません。
（うーん、別に自動ではなく、reloadをコマンドでできれば良いと思うんですけど・・・）
なおデモを見る限り、ファイルの更新が検出されてからパイプライン処理が再開されるまでは一瞬で、Logstashの起動時のあの待たされる感じはありませんでした。それは嬉しいところ。
次は、設定の中央管理。
Logstashのクラスタリングを始めたり、Logstashを多段構成で使うようになると、どうしても設定の管理が煩雑になります。その改善として、設定をElasticsearchに集約して、ElasticsearchからLogstashに設定を送りこむことができるようになります。
そして、ノードの管理。
Logstashの各ノードが生きているかどうかの管理をElasticsearchで行えるようになります。
Elasticsearch側に、Logstashの管理APIも追加されるようです。
Logstashの管理についてはElasticsearchに集約するという方針が示されています。Beatsシリーズも同様の中央集約を検討していると聞いたことがありますので、Elasticスタック全体として、設定や管理が中央集約されていくようですね。
ということで、Logstashのキュー周りの改善による安定化と、設定・管理の中央集約という大きな方向性が示されています。
キューについてはこれまでKafkaなどに頼ることで解決してきたと思うのですが、ここをLogstashを強化することでKafka不要とするのか、あるいは、引き続きやはりキューの強力な機能はKafkaに任せるのか、注目したいと思います。
レポート一覧
1日目
Elastic{ON} 2016 キーノートレポート Elastic goes 5.0! #elasticon - Taste of Tech Topics
Elastic{ON} 2016レポート What's Evolving in Elasticsearch #elasticon - Taste of Tech Topics
Elastic{ON} 2016レポート What's Cookin' in Kibana #elasticon - Taste of Tech Topics
Elastic{ON} 2016レポート What's Brewing in Beats #elasticon - Taste of Tech Topics
2日目
Elastic{ON} 2016レポート What's the Latest in Logstash #elasticon - Taste of Tech Topics
Elastic{ON} 2016レポート My own google? FaceChimpを見せてもらいました。 #elasticon - Taste of Tech Topics
Elastic{ON} 2016レポート Ingest Node: Enriching Documents within Elasticsearch #elasticon - Taste of Tech Topics
3日目
Elastic{ON} 2016レポート AMA = Ask Me Anything! #elasticon - Taste of Tech Topics
Elastic{ON} 2016レポート いよいよクロージング！ #elasticon - Taste of Tech Topics
AcroquestではElasticsearch、Logstash、Kibanaの無償ハンズオンセミナーを開催致します。
当社公認エンジニアがELKの基礎から、商用プラグインの利用、
実データを用いた可視化・分析までを、ハンズオン形式で説明致します。
可視化・分析の題材には、当社がミャンマーにて収集したビッグデータを用います。
詳細・参加応募はこちらからお願いします。
www.acroquest.co.jp
