2016-02-19

Elastic{ON} 2016レポート What's the Latest in Logstash #elasticon

世界の皆さん、おはようございます @cero_t です。
今日も一日、elastic{ON}でがんばります。

2日目最初のセッションは、Logstashのプロダクト紹介を選びました。
f:id:acro-engineer:20160219055533j:plain:w480

Logstashの現在

まずはLogstashの歴史から。
f:id:acro-engineer:20160219055929j:plain:w400
Logstashは2009年に初めてリリースされ、その後、Logstashにデータを転送するLogstash-forwarderやPacketbeatなどが開発され、それらがまとめてBeatsシリーズとして整理されました。

また5.0シリーズではElasticsearchにLogstashのFilterを機能を移植して、Ingest Nodeという形で提供されることになりました。

LogstashはJenkinsできちんとテストサイクルを回しています。こんな画面も共有されました。
f:id:acro-engineer:20160219055903j:plain:w400
Java7/8でテストしているそうです。

またキーノートでも触れられていた通り、Logstash自身の性能もバージョンを追うごとに改善しています。
f:id:acro-engineer:20160219060008j:plain:w400

データを決してロストしないLogstashに向けて

Logstashはマシンリソースやネットワークリソースが不足した程度では情報を失わないのですが、Logstash自身のプロセスが止まるような状況では情報をロストしてしまいます。
f:id:acro-engineer:20160219060219j:plain:w400

というのもInput、Filter、Outputの間でそれぞれキューを持っており、プロセスが落ちた時点でその情報が失われてしまうためです。
f:id:acro-engineer:20160219055717j:plain:w400

LogstashのInputは、現時点でもKafkaやRabbitMQのAcknowledgeに対応していてInput処理の成功したときだけ、キューから要素を削除するようになっています。要するにトランザクション的なあれです。
f:id:acro-engineer:20160219055949j:plain:w400
ただしFilterやOutputまでは含めたAcknowledgeはまだサポートされておらず、これは今後の対応になります。

Logstash 2.2.0ではバッチ処理もサポートされました。
f:id:acro-engineer:20160219060134j:plain:w400

また、Javaをシリアライゼーションに用いることができるようになるようです。ちょっとよく分かりませんでした。
f:id:acro-engineer:20160219055556j:plain:w400

今後の一番大きな目玉は、キューの永続化でしょう。Logstashに入った情報をディスクなどに永続化することができるようになります。
f:id:acro-engineer:20160219060239j:plain:w400
またデッドレターキューも実装され、Outputで失敗したものはデッドレターキューに入る形になります。

ということでLogstash 5.x系では、Logstashのプロセスが停止しようが、OSごと落ちようが、情報が残ることになります。Logstash最高かよ！
f:id:acro-engineer:20160219055744j:plain:w400

Logstashの管理も改善

後半は、Logstashの管理について。

現行のLogstashでもREST APIを用いてステータスや、重いスレッドの情報などを取得することができるそうです。知らなかった。
f:id:acro-engineer:20160219055803j:plain:w400
f:id:acro-engineer:20160219060044j:plain:w400

また、次のバージョンではこれらの情報を可視化することが計画されています。もうこの辺りは必須になっていますね。
f:id:acro-engineer:20160219060109j:plain:w400

また、設定周りの改善も計画されています。まずは設定ファイルの自動リロード
f:id:acro-engineer:20160219060259j:plain:w400
ファイルの更新をチェックして、自動的にリロードして、パイプライン処理を新しく始めるというもの。プロセスを再起動する必要はありません。
（うーん、別に自動ではなく、reloadをコマンドでできれば良いと思うんですけど・・・）

なおデモを見る限り、ファイルの更新が検出されてからパイプライン処理が再開されるまでは一瞬で、Logstashの起動時のあの待たされる感じはありませんでした。それは嬉しいところ。

次は、設定の中央管理。
f:id:acro-engineer:20160219055839j:plain:w400
Logstashのクラスタリングを始めたり、Logstashを多段構成で使うようになると、どうしても設定の管理が煩雑になります。その改善として、設定をElasticsearchに集約して、ElasticsearchからLogstashに設定を送りこむことができるようになります。

そして、ノードの管理。
Logstashの各ノードが生きているかどうかの管理をElasticsearchで行えるようになります。 f:id:acro-engineer:20160219055649j:plain:w400

Elasticsearch側に、Logstashの管理APIも追加されるようです。
f:id:acro-engineer:20160219060153j:plain:w400

Logstashの管理についてはElasticsearchに集約するという方針が示されています。Beatsシリーズも同様の中央集約を検討していると聞いたことがありますので、Elasticスタック全体として、設定や管理が中央集約されていくようですね。

ということで、Logstashのキュー周りの改善による安定化と、設定・管理の中央集約という大きな方向性が示されています。
キューについてはこれまでKafkaなどに頼ることで解決してきたと思うのですが、ここをLogstashを強化することでKafka不要とするのか、あるいは、引き続きやはりキューの強力な機能はKafkaに任せるのか、注目したいと思います。

レポート一覧

AcroquestではElasticsearch、Logstash、Kibanaの無償ハンズオンセミナーを開催致します。

当社公認エンジニアがELKの基礎から、商用プラグインの利用、
実データを用いた可視化・分析までを、ハンズオン形式で説明致します。
可視化・分析の題材には、当社がミャンマーにて収集したビッグデータを用います。

詳細・参加応募はこちらからお願いします。
www.acroquest.co.jp

2016-02-18

Elastic{ON} 2016レポート What's Brewing in Beats #elasticon

Elasticsearch elasticon Beats

1日目、最後のセッションはBeatsです。
BeatsはElasticsearchやLogstashにデータを転送するエージェントで、要するにtd-agentとか、Mackerelのエージェントのようなものです。
Go言語で書かれているので、僕もGoの勉強がてらBeatsを書いてみたこともありました。

Filebeatが想像以上にちゃんとしていた件

Beatsシリーズのうち、Topbeat/ Packetbeatは以前このブログでも紹介しました。
acro-engineer.hatenablog.com

簡単なセットアップで、サーバのCPU、メモリ、ディスクなどのリソース情報や、
パケットを流れる情報を元にSQLの内容や実行回数などを確認できるという、
なかなかインパクトあるプロダクトです。

f:id:acro-engineer:20160218195406j:plain:w480

これに加えてWinlogbeatが最近追加され、WindowsXP以降のWindowsイベントログを転送できるようになりました。

恐らくこれはセキュリティ監視などの用途で使われるものなのかなと思います。
ウィルスに感染したり外部からアタックを受けていることを、Windowsのイベントログから拾おうとするんじゃないかなと。

また、今回のセッションでかなり詳細に紹介されたのがFilebeatです。
Filebeatはログファイルのようなファイルを監視し、その内容を転送するプロダクトです。
Filebeat自体にはログを解釈するような仕組みはないため、そこはLogstashに任せることになります。
なので、Filebeat -> Logstash -> Elasticsearchという構成になるわけですね。

ここでFilebeat + Logstashの組み合わせで利用する場合、ファイルのデータを転送し損なわないよう、
バックプレッシャー的な手法を用いるそうです。

つまり転送先であるLogstashの方からFilebeatに対して「読み込めない」という通知が来ると、
Filebeatは転送対象のログファイルの読み込みをストップし（どこまで読み込んだかはFilebeat自身が保持しておき）
またLogstashから「読み込めるよ」という通知が来ると、転送を再開するそうです。

うん、これはバックプレッシャーでありリアクティブだ！（←言いたかっただけ）

またElasticsearch 5.0になれば、先に紹介したIngest Nodeという機能のおかげでLogstashなしでもログの解釈などができるようになるため、
Filebeatから直接Elasticsearchに転送することができるようになります。簡易的なログ分析であれば、そのような形式の方が楽でしょうね。

逆に、より規模が大きくなって、ログの転送し損ないが許されない状況下では、
Kafkaのようなバッファを挟んで過負荷に耐えられるようにしなくてはいけません（←しつこい）

その点も考慮して、Beats 5.0ではElasticsearch、Logstashに加えて、
Kafkaへの転送機能も付くそうです（っていう事をクラスメソッドさんのブログで知りました！）
dev.classmethod.jp

Create your own beat!

Beatsのようなプロダクトは、自分でエージェントないしプラグインのようなものを作りたくなるものです。
コミュニティベースのBeatsも既に14種類ほど作られており @yasuenag さんの作成したHsbeatもそのうちの一つとして紹介されていました。
f:id:acro-engineer:20160218195430j:plain:w480

Beatsは正式に作り方が公開されており、Generatorも提供されています。
github.com

またBeats Packerというビルドツールも提供されています。
これは自作したBeatsを各プラットフォーム用のバイナリをクロスコンパイルして作成したうえ、
RPMとDEBも作ってくれるスグレモノです。
github.com
Beats PackerはTravis CIからも実行できるようにしているなど、至れり尽くせりなようです。
なるほどですね。

ただBeatsは今後コミュニティベースでどんどん数が増える一方で、よくある放置状態になるのではないか、という懸念も湧いてきますよね。
そこに対する解の一つが、Metricbeatだと思います。

きちんと管理されるMetrisbeat

Metricbeatは様々なミドルウェアの情報を収集するモジュールでありライブラリです。
最初にApache / Redis / MySQL / Golangに対応させようとしているようです。

f:id:acro-engineer:20160218195659j:plain:w480

こちらはElastic社が管理するプロダクトになり、Metricbeatに対する拡張を作りたい場合は、Elasticのgithubにプルリクする形になります。

そんなMetricbeatですが、そもそもミドルウェアの情報はどうやって取ってくるの？というのが当然の疑問になります。
セッション後にスピーカーに聞いてみたところ、それぞれのミドルウェアに定期的にメトリクス情報を取りに行く形を採用しているとのこと。
ソースも合わせて確認してみたら、Apacheならserver-status?autoを叩くとか、Goならexpvarのmetricsを使うとか、そういう形になっていました。なるほどですね。

なんか全体を通じて、なるほど感のあるセッションでした。変に奇をてらわずに、実直にデータを集める、抜けを防ぐ、そして管理する。
Beatsは今後も安定したエージェントとして活躍してくれそうな予感がします。

それでは本日のセッションレポートは以上になります。
また明日のレポートも楽しみにしてください。

Stay elastic, see you!

レポート一覧

1日目

2日目

3日目

Elastic{ON} 2016レポート AMA = Ask Me Anything! #elasticon - Taste of Tech Topics
Elastic{ON} 2016レポートいよいよクロージング！ #elasticon - Taste of Tech Topics

AcroquestではElasticsearch、Logstash、Kibanaの無償ハンズオンセミナーを開催致します。

当社公認エンジニアがELKの基礎から、商用プラグインの利用、
実データを用いた可視化・分析までを、ハンズオン形式で説明致します。
可視化・分析の題材には、当社がミャンマーにて収集したビッグデータを用います。

詳細・参加応募はこちらからお願いします。
www.acroquest.co.jp

2016-02-18

Elastic{ON} 2016レポート What's Cookin' in Kibana #elasticon

Elasticsearch elasticon Kibana Timelion

続いては、Kibanaのプロダクトセッション。
キーノートでも一番プッシュされていたのはKibanaでしたし、Elasticスタックの中でいま一番ホットな感じがします。

f:id:acro-engineer:20160218185253j:plain:w480

そんなKibanaのこれまでと、これからです。

Hack the Kibana!

Kibanaが可視化のためのWebアプリであることは既に皆さんご存じのことと思いますので割愛して、Kibanaアプリの作り方からです。

ところで、なんだかKibanaアプリなのかKibanaプラグインなのか、割と表記揺れしててはっきりしないのですが、
基本的には同じモノを指しているんだろうなというのが今の感覚です。

さて、KibanaアプリはAngular + node.jsの組み合わせで作られており、自分で開発することも可能です。
アプリのひな形を作るYeoman Generatorが用意されており、それを使った作り方が紹介されました。

f:id:acro-engineer:20160218185235j:plain:w480

一番大事なところだけ抜粋すると、

yo kibana-plugin

ということで、yoしましょう。

セッション中には、Hot Keyを作るサンプルが紹介されました。

f:id:acro-engineer:20160218185221j:plain:w480

サンプルは、この辺りを見ると良いとのことです。
https://github.com/simianhacker/kibana-hacks
https://github.com/rashidkpc/kibana-hacks

また、3日目の金曜日には、Kibanaプラグインを作ることに主眼を置いたセッションが行われるとのことなので、
割とガチでKibanaアプリを作らなくてはならない状況の僕としては、そちらも参加しようと思います。

What's new in Kibana 5.0?

続いてKibana 5.0の新機能。
Kibana 5.0は、とにかく見た目がシンプルになって、無駄な余白がなくなったことが大きいです。

f:id:acro-engineer:20160218185025j:plain:w480
そうなんです、Kibanaを業務で使い始めると、たくさんグラフを置いたダッシュボードなどを作りたくなり、そうすると余白が邪魔だなと思うようになるんです。
そういう点で、5.0の新しいUIはとても良い印象です。

しかもKibana 5.0は4.x系と完全な後方互換を保つとのこと。マジか。
Elasticスタックはとにかく後方互換を切り捨てることでスピーディーに進化してきている印象でしたが、
ここに来てさすがに「切り捨て過ぎ」の声も大きくなってきたのでしょうか。

とにかくこれも重要なポイントです。

また、KibanaはAppliation Orientedな構成になります。Marvel、Sense、Timelionなどなど、
いずれもKibana本体ではなく、プラグインであるKibanaアプリとして提供されています。

f:id:acro-engineer:20160218185055j:plain:w480
元々、プラグインは非推奨だと言われていた3.x系の頃から、4.x系ではプラグインを正式に作れるようになり、
5.x系ではアプリが中心と謳われるようになったうえ後方互換を保つなど、かなりの力の入れようです。

ということで、全体を通じてKibanaアプリに主眼を置いたような内容でした。
ちょうど僕も業務でKibanaアプリを開発しようとしている所で、バージョンアップ追従が大変なことを懸念していたのですが、
昨今の様子を見ていると、割とそこは気を遣ってもらえるのかな・・・と思えるようになりました。

まぁそう思ってたら、いきなりハシゴが外されちゃうのが、Elasticのスリリングなところですけどね！

レポート一覧

1日目

2日目

3日目

Elastic{ON} 2016レポート AMA = Ask Me Anything! #elasticon - Taste of Tech Topics
Elastic{ON} 2016レポートいよいよクロージング！ #elasticon - Taste of Tech Topics

AcroquestではElasticsearch、Logstash、Kibanaの無償ハンズオンセミナーを開催致します。

当社公認エンジニアがELKの基礎から、商用プラグインの利用、
実データを用いた可視化・分析までを、ハンズオン形式で説明致します。
可視化・分析の題材には、当社がミャンマーにて収集したビッグデータを用います。

詳細・参加応募はこちらからお願いします。
www.acroquest.co.jp

2016-02-18

Elastic{ON} 2016レポート What's Evolving in Elasticsearch #elasticon

Elasticsearch elasticon

キーノートの次は、Elasticsearch本体のプロダクト紹介セッションに参加しました。

最近のElasticsearch 2.xは？

最近のElasticsearch 2.x系では、ユーザビリティの改善、Javaヒープ使用量の削減、セキュリティの強化、テストの強化などが行われています。
特にElasticsearch 2.0で、doc valuesというオプションがデフォルトで有効になったおかげで、
ヒープ使用量がグッと下がり、それなりに少ないメモリでも機嫌よく動いてくれるようになったと実感しています。

たぶんもう1.x系には戻れないですね。

f:id:acro-engineer:20160218181304j:plain:w480

また、2.2ではプロファイルAPIという機能が追加されました。
これはちょうどSQLの実行計画を取得するようなもので、Elasticsearchに対するクエリが、
どのようなLuceneクエリに分解されて、
それぞれのLuceneクエリの処理に掛かった時間や取得したデータ件数などを確認できるようになる機能です。

パフォーマンス改善で利用できるのはもちろんのこと、Elasticsearchのクエリに不慣れなうちは、
自分が書いたクエリが期待通りのクエリに分解されるかどうかを確認するという用途でも使えます。
ほら、Elasticsearchのクエリの文法とかよく分からないから、最初はOR検索をうまくできなかったりするじゃないですか。
（主に僕がそうだったんですが。）

そういう人にも便利なので、プロファイルAPIはぜひ使ってみてください。
検索クエリに "profile": true とつけるだけで実行できます。

新機能その1、加工や更新のためのAPI。

これから追加される新機能の目玉の一つが、Ingest Node。
データの加工やフィルタリングなど、LogstashのFilterプラグインで実現していた機能をElasticsearch自身が持つというものです。

f:id:acro-engineer:20160218181521j:plain:w480

たとえばApacheやnginxのアクセスログを分解して、それぞれのフィールドに格納するだとか、
IPアドレスから位置情報を取得するとか、そのような加工をElasticsearchで行うことができるようになる、というものです。

これまでは、データ加工を行いたければLogstashを挟む必要がありましたが、その必要なくなるということですね。

これはデータの流れなどが変わる要因になる、大きな機能追加と言えます。

続いて大きな変更になるのが、Re-Index API。

f:id:acro-engineer:20160218181328j:plain:w480
次のようなクエリを発行することで、old_indexに対して検索を掛けて、一致したドキュメントだけをnew_indexにコピーすることができます。

POST _reindex
{
  "src": {
    "index": "old_index",
	"query": {
	  "match": {
	    "user": "twitter"
	  }
	}
  },
  "dest": {
    "index": "new_index"
  }
}

たとえばHTTPサーバのアクセスログを全部投入したうえで、
検索APIへのアクセスだけを別indexに入れて細かく検索条件を分析するだとか、
ログインしたユーザとそうでないユーザでindexを分けて異なる分析をする、
ということができるようになります。

同じような形で、もう一つ追加されるのが、Update by Query API。
これはindexに対して検索を掛けて、一致したドキュメントを、指定した条件で更新するというものです。

Ingest Node、Re-Index、Update By Queryを組み合わせれば、とにかくいったんElasticsearchにデータを投げ込んでおいて、
後で加工しながらindexを分ける、ということができるようになりそうです。

この辺りは実際にどういう形になるのかもう少し先にならないと分からないのですが、
何にせよElasticsearchにログを流し込むアーキテクチャをよりシンプルにできるものだと思います。

新機能その2、Java Http Client。

もう一つ、目が離せないのがJavaのHTTP Client。

Elasticsearchは標準で9200番ポートと9300番ポートの2つを利用しており、
9200番ポートがHTTP用（RESTクライアント用）、9300番ポートがクラスタ間通信の独自プロトコル用で使われていました。
それでcurlコマンドやSenseなどからは9200番ポートを使い、Javaのクライアントは9300番ポートを使っています。

9300番ポートの方がHTTPのオーバーヘッドがない分、パフォーマンスが良いと思うのですが（計測したことはないです）、
その反面、9300番ポートを使うJava APIのライブラリには、Elasticsearchサーバで必要なクラス群が含まれていました。

だって、元々クラスタ間通信のためのポートですからね。

今回、Java用に9200番ポートを使ったHTTP Clientができるおかげで、フットプリントの小さなJARライブラリができることになります。

f:id:acro-engineer:20160218181425j:plain:w480

また、Java APIは頻繁に（バージョンアップのたびに）APIが変わっていたのですが、HTTP APIは比較的安定していました。
特にJava APIを使う外部ツールを作っていた場合には、バージョンアップに追従するのが大変だったことも、一つの問題になっていました。

そういう点でも、HTTP APIがJavaでも使えるようになる恩恵は大きいと言えますね。

まぁこれだけ説明してきましたが、本音で言えば「やっとかよ、最初から作っとけよ！」なんですけどね！（笑）

その他は・・・

あとはk-dimensional treeを使ったPoint field encodingを数値型や日付型に対して行うことで、
データサイズの削減や検索パフォーマンスの向上、ヒープサイズの削減などが行われます。

f:id:acro-engineer:20160218181353j:plain:w480
この辺りあまり詳しくないので仕組みはよく分かりません、すみません。

そんなElasticsearch 5.0のalpha版は、まもなくダウンロード可能になるとのこと。

f:id:acro-engineer:20160218181632j:plain:w480

とにかく、早く試してみよう！

レポート一覧

1日目

2日目

3日目

Elastic{ON} 2016レポート AMA = Ask Me Anything! #elasticon - Taste of Tech Topics
Elastic{ON} 2016レポートいよいよクロージング！ #elasticon - Taste of Tech Topics

AcroquestではElasticsearch、Logstash、Kibanaの無償ハンズオンセミナーを開催致します。

当社公認エンジニアがELKの基礎から、商用プラグインの利用、
実データを用いた可視化・分析までを、ハンズオン形式で説明致します。
可視化・分析の題材には、当社がミャンマーにて収集したビッグデータを用います。

詳細・参加応募はこちらからお願いします。
www.acroquest.co.jp

2016-02-18

Elastic{ON} 2016 キーノートレポート Elastic goes 5.0! #elasticon

Elasticsearch elasticon

いよいよ始まりました、Elastic{ON} 2016 サンフランシスコ。キーノートセッションで開幕です。

f:id:acro-engineer:20160218163338p:plain:w600

イベント会場には「Elastic Cloud」や「X-Pack」という聞き慣れないプロダクトの垂れ幕が出ていたので、これらがいったい何なのか、始まる前からワクワクです。
f:id:acro-engineer:20160218163044p:plain:w300

Elastic stack goes 5.0

まず最初の大きなアナウンスは、Elasticのプロダクト群がバージョン統一されること。
現行では、Elasticsearch 2.2 + Logstash 2.2 + Kibana 4.4 + Beats 1.1という感じでバージョンの付け方がバラバラでしたが、次のメジャーバージョンは「5.0」として全プロダクトのバージョンが統一されます。
f:id:acro-engineer:20160218163555j:plain:w480

これに合わせて、各プロダクトのロゴも一新。これまでデザインがバラバラで、何種類かあったりなかったりの製品ロゴも、同じテイストで統一されました。

元々はこんな感じのロゴ多すぎ問題がありましたが。
f:id:acro-engineer:20160218163432j:plain:w480

こんな風にすっきりします。
f:id:acro-engineer:20160218163632j:plain:w480

また、Elasticsearch + Logstash + Kibanaを合わせてELKスタックと呼んだり、そこに後からBeatsを加えてELKBやKELBと呼んだりしていましたが、これからはElastic stackという呼び方に変わります。
f:id:acro-engineer:20160218163713j:plain:w480
ELK B(ee)のアイコンは初めて見ましたが、これで見納めになりました。

5.0系では、Kibanaが独自のタイルの上にヒートマップを作る機能や、タグクラウド機能の追加。
f:id:acro-engineer:20160218164015j:plain:w400

Logstashのさらなる性能改善。
f:id:acro-engineer:20160218164051j:plain:w400

Metricbeatによるモニタリングの統一。
f:id:acro-engineer:20160218164102j:plain:w400

などなどが発表されました。
これらはこの後の各セッションでも詳細が紹介されるはずです。

Packs and X-Packs comes

続いて、Packsの紹介です。
Elasticスタックのプラグイン群をひとまとめにしたもので、プラグインの導入を容易にする狙いがあるようです。
f:id:acro-engineer:20160218164219j:plain:w480

これまでは、たとえばMarvelというモニタリングプラグインを導入するには、ElasticsearchにMarvel AgentとLicenceプラグインを入れて、KibanaにMarvelプラグインを入れて、、、という感じで、それぞれのプロダクトにそれぞれのプラグインをインストールする必要がありました。

Packsはこれを容易にするもので、単一のzipファイルに全プラグインを入れて、これを一気にインストールできるようにする、というものです。

そんなPacksの一つの形が、X-Pack。
Shield、Watchr、Marvelなどの商用プラグイン群を一つにまとめたもの。このX-Packには、さらにPDFレポート作成機能や、グラフAPI（いわゆる有限グラフの方）なども含まれます。
f:id:acro-engineer:20160218164244j:plain:w480

PDFレポートはガチに仕事で必要になるやつですし、グラフAPIも注目度は高いです。
f:id:acro-engineer:20160218164454j:plain:w480
こんなグラフが拡大/縮小しながらグリグリ動くんですよ！

ただこれらは商用サポートが必要になる（はずです）ので、興味を持った方はぜひ導入をご検討のうえ、販売代理店である弊社にご連絡いただければ僕が大いに喜びます。わーい。

Found is now Cloud

ElasticsearchをSaaSとして提供する、Foundというサービスがあります。
Foundという名前の割に見つけるのが難しい（hard to find）サービスなのですが、これの名前が変わります。

変わった名前は、Elastic Cloud、通称Cloud。
f:id:acro-engineer:20160218164739j:plain:w480
残念ながら見つけにくさに変わりはありませんでした。
むしろ検索してもAWSのサイトにしか行けなくなる気がしてなりません。

たまたま最近Foundのトライアルに申し込んだところでしたので、早速Cloudにログインしてみたところ、サイトが刷新されており、テイストが5.0系のものになりました。ただ、いまのところ機能的には既存のFoundと同じでした。

そして、このCloudを自前でホスティングできるようになるサービスが、Elastic Cloud Enterprise。
AWSやAzuleにインストールして、クラスタを作って管理することができるようになるプロダクトです。
f:id:acro-engineer:20160218164933j:plain:w480

私の仕事上の経験でも、ひとたびElasticsearchを使い始めると、他の部門から「こんな可視化ができないか」「うちもやりたい」などと声が掛かるようになります。これまでは、同じElasticsearchに相乗りさせたり、それぞれごとにサーバを立てて管理したりしていたのですが、Elastic Cloud Enterpriseは、そういう用途で使えるものになりそうです。

ライセンス費用が気になるところなので、継続的にウォッチしたいと思います。

最後に、IBMのデモ

最後に、プラチナスポンサーのIBMによる、IBMでのElasticsearchの利用について。
アプリケーションのログをいったんKafkaに入れて、そこからLogstashを経由して、データストレージとElasticsearchに転送しているようです。
f:id:acro-engineer:20160218165133j:plain:w480

このような規模が大きいElasticsearchの事例など聞くにつれ、間に挟むログストリームのハブというか、中間バッファは、Kafkaで決まりという感じがしますね。
名前的に過負荷にも強そうですしね。ズコー。

という感じでオチもついたところで、キーノートセッションのレポートは以上としたいと思います。
この後も、楽しそうなセッションが目白押しですよ！

See you!

レポート一覧

1日目

2日目

3日目

Elastic{ON} 2016レポート AMA = Ask Me Anything! #elasticon - Taste of Tech Topics
Elastic{ON} 2016レポートいよいよクロージング！ #elasticon - Taste of Tech Topics

AcroquestではElasticsearch、Logstash、Kibanaの無償ハンズオンセミナーを開催致します。

当社公認エンジニアがELKの基礎から、商用プラグインの利用、
実データを用いた可視化・分析までを、ハンズオン形式で説明致します。
可視化・分析の題材には、当社がミャンマーにて収集したビッグデータを用います。

詳細・参加応募はこちらからお願いします。
www.acroquest.co.jp

2016-02-18

Elastic{ON} 2016のため、サンフランシスコにやってきた！ #elasticon

Elasticsearch elasticon

おはようございます @cero_t です！
やってきましたサンフランシスコ、今回の目的はいつものJavaOneではなくElastic{ON}です。

f:id:acro-engineer:20160218053113j:plain:w480

行きの飛行機はボーイング787、経由地のロサンゼルスは気温30℃越えと、なんかバカンスに来たとしか思えないような様子ですが、安心してください、仕事しますよ！

さて、
本日2/17(水)から3日間かけて行われるElastic{ON}では、Elasticsearchのテクニカルな情報や、ユースケースなどが発表されます。
Elasticsearchはバージョンアップも頻繁ですし、GitHub上で開発状況やissueもよく見えているので、それなりに今後どうなるかを把握しているつもりではあるのですが、サプライズ情報だったり、Deep Diveな内容に期待をしています。

場所はPier48。桟橋の上でイベントって ~~何を考えてるのか~~ どういう様子なのか分からないので、その辺りも楽しみです。

なお現在は、イベント前のプレトレーニングを実施中。
ELKのスタートアップハンズオンと、1000台越えのスケーリングに関するセッションの2択。同僚が後者を受講中ですので、あとでフィードバックしてもらおうと思います！

ところでElastic{ON}、なんか良い感じの朝食やエスプレッソマシンが用意されています。
elastic最高かよ。
f:id:acro-engineer:20160218030538j:plain:w320

そんなわけでこれから3日間、このイベントのレポートをしていきたいと思います。
Stay elastic, see you!

レポート一覧

1日目

2日目

3日目

Elastic{ON} 2016レポート AMA = Ask Me Anything! #elasticon - Taste of Tech Topics
Elastic{ON} 2016レポートいよいよクロージング！ #elasticon - Taste of Tech Topics

Acroquest Technologyでは、キャリア採用を行っています。

日頃勉強している成果を、AWS、Hadoop、Storm、NoSQL、Elasticsearch、SpringBoot、HTML5/CSS3/JavaScriptといった最新の技術を使ったプロジェクトで発揮したい。

社会貢献性の高いプロジェクトに提案からリリースまで携わりたい。

書籍・雑誌等の執筆や対外的な勉強会の開催を通した技術の発信や、社内勉強会での技術情報共有により、技術的に成長したい。

OSSの開発に携わりたい。

　
少しでも上記に興味を持たれた方は、是非以下のページをご覧ください。
　
データ分析で国内に新規市場を生み出す新サービス開発者WANTED！ - Acroquest Technology株式会社の新卒・インターンシップ - Wantedlywww.wantedly.com

2016-02-04

思い切ってelasticのTimelionを取り入れてみた

Elasticsearch Kibana Timelion

こんにちは。
先日「elasticの新プロダクト「Beats」シリーズに震える！」
を投稿したPlNOKlOです！

AcroquestではENdoSnipeBVDというサービスで経営の可視化を行っており、
私も2年目ながら可視化のお手伝いをさせてもらっています。

今回、とあるお客様から、
「稼働率を表現したい」という要望をいただきました。

見たいグラフを打ち合わせした結果、
線グラフとエリアグラフを同時に表示する必要がでてきました。

ですがご存知の通り、Kibanaでは
線グラフなら線グラフ、エリアグラフならエリアグラフと、
一つのグラフしか出力できないんです。

ではどうするか・・・

JavaOne2015に登壇し、
私のボスでもある、
@cero_t さんに相談したところ、
「試しにTimelion使ってみたら？」
とアドバイスをもらいました。

Timelion・・・？
Timelionとはなんぞや？？

調べたところ、Timelionは「タイムライン」と読み、
完全に独立したデータソースを1つのインターフェイスに集約します。
このインターフェイスは、データの取得、時系列の結合、変換、視覚化を
まとめたシンプルな1行の式言語で駆動します。
Timelionの式はすべてデータソース関数で始まり、
例えば、.elasticsearch(*)(短縮形は.es(*))のように表記します。
1つの図に2つのグラフを組み合わせる場合は、グラフをカンマで区切ることで表示できるようなんです。

ほう。
なるほど。
Timelionは独自の関数を用いることで、
グラフを組み合わせて表示できるものなんですね。

それでは早速触ってみましょう！

Timelionで触ってみた

今回稼働率ということで、
昨年の稼働時間を比較するグラフを作成します。

昨年の稼働時間が20%増えた時間を赤のエリアグラフ、
10%増えた部分を黄色のエリアグラフ、
10%減った部分を青色のエリアグラフ、
そして今年の稼働時間を緑の線グラフとして
表示してみましょう。

f:id:acro-engineer:20160201103205p:plain

Timelionはこういった感じです。
上にあるウインドウで関数を書いてグラフを作成します。

使用できる関数はヘルプから見ることができます。

f:id:acro-engineer:20160201103234p:plain

デフォルトで書いてある「.es(*)」は
elasticsearchのインスタンスからデータを取得するという関数です。

ではまずは今年の稼働時間の線グラフを作成してみましょう。
es関数の中で使用できるのはこちらです。

f:id:acro-engineer:20160201103249p:plain

"index"でindexを指定し、
"q"でQueryを指定し、
"metric"で縦軸の計算方法を指定し、
"timefield"で横軸の時間を指定し、
esの後に"color"関数を加えることで色を指定することができるようですね。

これらを用いて書いたのがこちら。

.es(index='dailymonitoring', q='line:"今年実際値"', metric='sum:hour', timefield='date').color(green)

表示してみると・・・

f:id:acro-engineer:20160201103500p:plain

おおおおおおおおおおおおおおおおおおおおお！！！！！！！！！
簡単ですね！簡単すぎて吼えてしまいますね！！
この調子で次は赤のエリアグラフを出してみましょう！！

それでは同じ要領で.esを書いてみると、

.es(index='dailymonitoring', q='line:"20%増"', metric='sum:hour', timefield='date').color(red)

このようになります。

しかしこのままでは折れ線のままになってしまいます。
なので、ヘルプを見てみましょう。

グラフの形を指定する関数は
".lines"と".bars"の二つが用意されています。

・・・・ん？あれ？？
エリアは？？？

・・・NOOOOOOOOOOOOOOOOOOOOOOOOOOOOO！！！

そう！そうなんです！
エリアグラフを表現できる関数がないんです！！
思わず夜空にライオンのごとく雄叫びです！！
夜空ノムコウ！らいおんハート！！

「Timelionはまだ開発中だからな・・・」
「諦めよう・・・」
なんて弱気な私が囁いてきました。

だがそこに割って入ったのが強気な私！

「諦めないで！」と、囁いてきたのは、そうです。
強気な私というか、あれですね。
石鹸のCMの時の真矢みきさんですね。
私の心の中にいる真矢みきさんでした。

元気が出てきました。
私には宝塚出身のスターがバックについていてくれると思うと
心強くなってきました！
きっと夜空に吼えたのも心の中の真矢みきさんです！
深夜を迎えておりますがこの勢いに乗って他の関数も見てみましょう！！

es関数をもう一度見てみましょう。

f:id:acro-engineer:20160201103234p:plain

やはりこの中にはありませんね。

では、エリアグラフは折れ線の下を塗っているグラフなので、
次はlines関数を見てみましょう。

f:id:acro-engineer:20160201103728p:plain

お。

fill : Number between 0 and 10. Use for making area charts

これ怪しいですね。使ってみましょう！

.es(index='dailymonitoring', q='line:"20%増"', metric='sum:hour', timefield='date').lines(fill=10).color(red)

こちらを表示すると・・・

f:id:acro-engineer:20160201103803p:plain

おーー！！！！
できました！！！！！

それではすべての線を合わせてみると・・・

f:id:acro-engineer:20160201103819p:plain

ぅおおおおおおおおおおおおおおおおおおお！！！！！！！！！！！！！！！！！
完成しました！！！
全ては真矢みきさんのおかげです！！！！！

というわけでTimelionだけに吼えまくりでしたが、
エリアグラフと線グラフは、
両方ともlines関数を駆使して出力することで
表示できました！

裏トーク

実は裏では他にもいろいろ試して苦労したことがあるんです。

例えば、グラフのタイトルを出したくても出せなかったり、
Timelionで作成したグラフの説明をするために、
Kibanaのdashboardでvisualizationと一緒に出そうとしても出せなかったり、
表示する期間を保存したくても保存できなかったりと、
なかなかやりたいことができず苦戦しました。

ということで、
Timelionの発展期待しております！(笑)

Acroquest Technologyでは、キャリア採用を行っています。

日頃勉強している成果を、AWS、Hadoop、Storm、NoSQL、SpringBoot、HTML5/CSS3/JavaScriptといった最新の技術を使ったプロジェクトで発揮したい。

社会貢献性の高いプロジェクトに提案からリリースまで携わりたい。

書籍・雑誌等の執筆や対外的な勉強会の開催を通した技術の発信や、社内勉強会での技術情報共有により、技術的に成長したい。

OSSの開発に携わりたい。

　
少しでも上記に興味を持たれた方は、是非以下のページをご覧ください。
データ分析で国内に新規市場を生み出す新サービス開発者WANTED！ - Acroquest Technology株式会社の新卒・インターンシップ - Wantedlywww.wantedly.com