Taste of Tech Topics

Acroquest Technology株式会社のエンジニアが書く技術ブログ

Elastic{ON} 2017 1日目 | Beats これまでの進化と今後 #elasticon

Elastic{ON}2017 レポートのまとめはこちら!!

こんにちは。
@です。

Elastic{ON} 2017@サンフランシスコの1日目に参加してきたので、レポートします。
今回私が参加したセッションは下記の通りです。

参加セッション

  1. Opening Keynote
  2. What's Evolving in Elasticsearch?
  3. What's Cooking' in Kibana?
  4. What's brewing in Beats?
  5. Welcome Reception

私はElastic Stackのセッションにベッタリな1日でした。
Opening KeynoteでのX-Pack Machine Learning発表や今後の展望など、
面白い話題が盛りだくさんでした。

「What's Evolving in Elasticsearch?」や「What's Cooking' in Kibana?」でも 
バージョン6にむけた新しい機能・変更が多数発表されました。
例えば、ElasticsearchではCross-Cluster Search、KibanaではTime Seriesのvisual builderやRoadMapの発表などがあり、
今後のElastic Stackに対する期待がますます高まりました。

f:id:acro-engineer:20170307161652j:plain

ElasticsearchとKibanaの詳細については他の記事で紹介します。

今日のセッションの中で特にピックアップしたいのが「What's brewing in Beats?」です。
データの収集はElasticsearchクラスタや監視対象が大規模になった際に、大きな課題となります。

Beatsで今回話題にあがった主なトピックは2つあり、1つは「Filebeat Modules」もう1つは「Heartbeat」です。

Filebeat Modules

Filebeat Modulesでは、NginxやApacheなどを指定することでログの自動パースや、Kibanaダッシュボードの自動生成が可能です。
(Metricbeatでは既に実装されていますね)
ログ収集がますます手軽になりそうです。

f:id:acro-engineer:20170307170917j:plain

また、今後はMachine LearningやAlertingとの連携も強化されるとのことです。
Beatsは取得するデータの形式や内容がある程度決まっているため、
Machine LearningのjobやAlertingの閾値などがデフォルトで提供されるようになると嬉しいですね。

f:id:acro-engineer:20170307170943j:plain

Heartbeat

Heartbeatはアップタイムを監視したり、疎通確認を行うプロダクトです。
これを使えばシステム内のサーバやアプリケーション間の通信が通っているかどうかを一括管理することができます。
いままで、特定のサーバからElasticsearchクラスタへの疎通を監視することはできましたが、
Elasticsearch以外の特定のサーバやアプリケーション間の疎通を一括管理する仕組みはありませんでした。

f:id:acro-engineer:20170307172706j:plain

ICMPの他にHTTP通信やTCP通信の疎通確認をしてくれます。
f:id:acro-engineer:20170307172756j:plain

取得できるメトリクスはこんな感じ↓
f:id:acro-engineer:20170307172824j:plain

データ量の増大、システムの複雑化に伴ってますますBeatsが活躍する場が広がりそうです。

今日のレポートは以上です。
明日、明後日も楽しんできます!
続報をお楽しみに!!

Elastic{ON}2017 レポートのまとめはこちら!!

Acroquest Technologyでは、キャリア採用を行っています。

  • ビッグデータHadoop/Spark、NoSQL)、データ分析(Elasticsearch、Python関連)、Web開発(SpringCloud/SpringBoot、AngularJS)といった最新のOSSを利用する開発プロジェクトに関わりたい。
  • マイクロサービスDevOpsなどの技術を使ったり、データ分析機械学習などのスキルを活かしたい。
  • 社会貢献性の高いプロジェクトや、顧客の価値を創造するようなプロジェクトで、提案からリリースまで携わりたい。
  • 書籍・雑誌等の執筆や、対外的な勉強会の開催・参加を通した技術の発信、社内勉強会での技術情報共有により、エンジニアとして成長したい。

 
少しでも上記に興味を持たれた方は、是非以下のページをご覧ください。

Elasticsearchを仕事で使いこみたいデータ分析エンジニア募集中! - Acroquest Technology株式会社のエンジニア中途・インターンシップ・契約・委託の求人 - Wantedlywww.wantedly.com