Taste of Tech Topics

Acroquest Technology株式会社のエンジニアが書く技術ブログ

Elastic{ON} Tokyo 2016レポート ～ ENdoSnipe における Elasticsearch 導入の効果 〜 #elasticon

Elastic{on} 2016 in Tokyo レポート Elasticsearch ENdoSnipe elasticon

こんにちは、
さきほど投稿した柳原が再びお送りします！

そして本日最後のセッション。
私たちAcroquestのセッションをレポートします！！

Acroquestの発表では、Elasticsearchのすばらしさと、
Elasticsearchを活用した、ソリューションである、
http://www.endosnipe.com/
の紹介を行っています。


発表は当社のJavaトラブルシューターエンジニア、山崎です。
f:id:acro-engineer:20161216005454j:plain:w300

Acroquestでは、
JaTSというトラブル解決サービスを10年以上行っており、
実際に発生したシステム障害から得られたノウハウをベースにして、
ENdoSnipeというJavaシステム可視化・診断ツール
のソリューションを作成しました。

f:id:acro-engineer:20161215235607p:plain:w500


ENdoSnipeが測定したデータの蓄積にRDBを利用していましたが、
大量のデータを蓄積すると検索が遅くなる壁にぶつかりました。

f:id:acro-engineer:20161215235742p:plain:w500

いろいろ苦悩した結果、
Elasticsearchに出会い、これだ！と思ったようです。
実際、ElasticsearchとENdoSnipeの相性はバツグンでした^^

Elasticsearchに移行した結果、圧倒的に開発の生産性が向上。
Elasticsearchのサポートが手厚かったのも大きかったです。
f:id:acro-engineer:20161216000216p:plain:w500


そして、生まれ変わった新ENdoSnipeが紹介されました。

まずはElasticsearch移行で大幅に機能強化したシステムマップ！
f:id:acro-engineer:20161216000914p:plain:w500
検索の大幅な高速化により、
より充実した情報を一枚絵でリアルタイム監視することが可能になりました。

1年間などの長期期間のデータ表示もElasticsearchのAggregationにより、
サクサクと表示が可能に。

そして新ENdoSnipeはさらなる進化を目指し、
ビジネスからユーザ、システムまで一気通貫した可視化を実現することで、
収益向上、ビジョンの実現にコミットします。
f:id:acro-engineer:20161216010303p:plain:w500

サイト上のどのページでユーザが不満を覚え、
ユーザが離脱しているのか、可視化できます。
（その原因特定をソースコードレベルまで掘り下げられるのもENdoSnipeの強みです。）
f:id:acro-engineer:20161216001313p:plain:w500

そして、このような多種多用の可視化を性能を落とさずに、
かつ、生産性が高い状態で開発ができたのは、何と言ってもElasticsearchのおかげです。。


f:id:acro-engineer:20161216001457p:plain:w500
そして、graphを使った、相関分析機能。
「SQLがメモリ与える影響」や「システムKPI⇔ビジネスKPI間の相互影響」など、
これまで把握しづらかった分析も、これならできます！


f:id:acro-engineer:20161216001606p:plain:w500
異常検知も検証段階ですが、取り入れています！

今日のセッションでも取り上げられたprelertと連携することで、ENdoSnipeの更なる発展が見えてきました。

  • 異常検出から原因分析までを、シームレスに実現できる可能性
  • センサーデータの実データを判定したところ、故障前に異常を検知
  • 公開サイトに対するリストアタック等の攻撃検出に効果

Elasticsearchはgraphや、prelertなどの新機能が
次々と追加されていくので、
それをENdoSnipeもすぐ活用していけるのが
Powered By Elasticならではですね^^

まだまだ進化は続きそうです...！


最後に、Elasticsearchを活用する、です。
f:id:acro-engineer:20161216001920p:plain:w300

私も開発していて感じますが、
サポートがあると、1週間悩んでいたことが
すぐ解決した、ということがありました。
トータルで見て、サポートを受けた方がコスト的には良かったです！！

駆け足ではありましたが、Elasticsearchの面白さ、強力さ、
ENdoSnipeの便利さを伝えることができたでしょうか？


今回ご紹介したユースケースの実現を考えている方は、
ぜひAcroquestにお問い合わせを！！
http://www.endosnipe.com/

以上、Acroquestのセッションでした！！

Acroquest Technologyでは、キャリア採用を行っています。


  • ビッグデータ（Hadoop/Spark、NoSQL）、データ分析（Elasticsearch、Python関連）、Web開発（SpringCloud/SpringBoot、AngularJS）といった最新のOSSを利用する開発プロジェクトに関わりたい。
  • マイクロサービス、DevOpsなどの技術を使ったり、データ分析、機械学習などのスキルを活かしたい。
  • 社会貢献性の高いプロジェクトや、顧客の価値を創造するようなプロジェクトで、提案からリリースまで携わりたい。
  • 書籍・雑誌等の執筆や、対外的な勉強会の開催・参加を通した技術の発信、社内勉強会での技術情報共有により、エンジニアとして成長したい。

　
少しでも上記に興味を持たれた方は、是非以下のページをご覧ください。

【Elastic search 関連】
Elasticsearchを仕事で使いこみたいデータ分析エンジニア募集中！ - Acroquest Technology株式会社のエンジニア中途・インターンシップ・契約・委託の求人 - Wantedlywww.wantedly.com

【データ分析】
データ分析案件の急増に伴い実践的なデータ分析エンジニアWanted！ - Acroquest Technology株式会社のエンジニア中途・インターンシップ・契約・委託の求人 - Wantedlywww.wantedly.com

Elastic{ON} Tokyo 2016レポート ～ 日立IoTプラットフォームにおけるElastic Stackの活用事例 〜 #elasticon

Elasticsearch Elastic{on} 2016 in Tokyo レポート elasticon

はじめまして、金澤と言います。ブログ初投稿です。
普段はElastic Stackを使って経営情報の可視化などをやっています。


さて、第4弾は日立製作所による、工場ラインの可視化への活用事例です。

具体的には、エンジン部品の加工時に取得したセンサーデータを可視化し、

  • 不良品率が上がっていないか
  • 上がっているとすればその原因は何か、

といったことを明らかにするものです。


加工の様子を動画で詳しく紹介してくれましたが、

  1. 部品がベルトコンベアで届いて、機械によって削る。
  2. 削り終わったら、つまみあげて削りカスを飛ばす。
  3. 最後に検査用カメラで写真を取って検査する、

という一連の工程があるそうです。

そして、これらの工程に対して、

  1. 各工程でPLC（シーケンサ）と呼ばれる制御装置（このデモでは4台）を使い、データを取得する。
  2. 一次処理をした結果を、ITプラットフォームに送信して、データを1つにまとめる。
  3. ITプラットフォームに蓄積したデータをBeatsを使って、Elasticsearchにデータを収集する。

といったことでデータを取集しているそうですが、
リアルタイム性を重視したい、ということで、
Elastic Stackを利用したとのことです。


ITプラットフォームからBeatsで収集するところは、
logstash–Kafka–logstash–Elasticsearchという、
2.x系での最適解となる構成で、行っていました。
（余談ですが、5系だとBeatsからKafkaに直接送信できるようになるので、もう少しスリムになります。）


可視化画面は、Kibanaを改良したもののようでしたが、かなりの改良を加えたようです。
（スマホで撮ったので、画質が悪いです。。）

f:id:acro-engineer:20161216002154j:plain:w400


まず、ロゴマークがKibanaではなく、HITACHI！
visualizeも、

  • 各工程の作業時間がわかるガントチャート
  • 全行程が一望できる画像
  • traffic lightによる設備状態表示

など、Kibanaにはない機能があり、かなり力を入れているようです。

ダッシュボードは5秒間隔で工場からデータを受け取って更新しています。
このリアルタイム性はElasticsearchの強みですね。

Kibanaの改良具合に圧倒されたセッションでしたが、
とりあえず、Elasticsearchにデータを入れておけば、
見たいと思ったグラフをすぐにKibanaで可視化できるというのは、
Elastic Stackならではですね。

Acroquest Technologyでは、キャリア採用を行っています。


  • ビッグデータ（Hadoop/Spark、NoSQL）、データ分析（Elasticsearch、Python関連）、Web開発（SpringCloud/SpringBoot、AngularJS）といった最新のOSSを利用する開発プロジェクトに関わりたい。
  • マイクロサービス、DevOpsなどの技術を使ったり、データ分析、機械学習などのスキルを活かしたい。
  • 社会貢献性の高いプロジェクトや、顧客の価値を創造するようなプロジェクトで、提案からリリースまで携わりたい。
  • 書籍・雑誌等の執筆や、対外的な勉強会の開催・参加を通した技術の発信、社内勉強会での技術情報共有により、エンジニアとして成長したい。

　
少しでも上記に興味を持たれた方は、是非以下のページをご覧ください。

【Elastic search 関連】
Elasticsearchを仕事で使いこみたいデータ分析エンジニア募集中！ - Acroquest Technology株式会社のエンジニア中途・インターンシップ・契約・委託の求人 - Wantedlywww.wantedly.com

【データ分析】
データ分析案件の急増に伴い実践的なデータ分析エンジニアWanted！ - Acroquest Technology株式会社のエンジニア中途・インターンシップ・契約・委託の求人 - Wantedlywww.wantedly.com

Elastic{ON} Tokyo 2016レポート ～ Search Functionality and Log Management with Elastic Stack at Fast Retailing 〜 #elasticon

Elasticsearch Elastic{on} 2016 in Tokyo レポート elasticon

はじめまして、柳原です！
初投稿のElasticsearch使いエンジニアです！
主に日本語検索のECシステムを開発中です^^

f:id:acro-engineer:20161216000631p:plain

次は、ファーストリテイリング社の羽山典孝さん、Reuben Liさんによる発表
「Search Functionality and Log Management with Elastic Stack at Fast Retailing」です。

撮影NGでしたので、テキストによるレポートになっている旨はご了承ください(^^;

サマリ

ファーストリテイリング様は2020年に売上3兆円目標に向けて海外展開をしており、
EC、流通などに加えてビジネスのIT化にも力を入れているそうです。

その中で、マイクロサービス・Elasticsearchを取り入れた事例に関して
前半は羽山さんによるユニクロでのIT化の取り組みの紹介と、マイクロサービス化した話
後半はReuben LiさんによるElasticsearchによる、ログ可視化とそれをビジネスにつなげた話
がありました。

ユニクロでのIT化の取り組みの紹介と、マイクロサービス化

羽山典孝さんによる、ユニクロでのIT化の取り組みの紹介と、マイクロサービス化、ユニクロアプリの話です。

１．ファーストリテイリング様でのIT施策

ファーストリテイリング様では以下のIT活用を行っているそうです。

１）ユニクロアプリでのバーコードスキャン
　購入履歴を管理し、プロモーション、レコメンド、ECと店舗の距離の接近させるサービスなど
２）商品にRFIDを付与
　セルフレジや、お勧め製品、お勧めファッションをレコメンドしてくれるサービス

私もユニクロよく活用するのですが、あまり気づきませんでした。。。
様々な取り組みをやっているみたいですね。

そして、すべてのサービスが一体化していた状態から、マイクロサービスに移行した話。

  • Before　全部一体型

いままでECサイト、モバイルサイト、アカウント管理etc...なにもかもが１つにつながっていた。
　×どこががボトルネックになると全体に影響する。
　×LINE連携などをいれようとすると全体に影響して大変。。。
　　などなど問題があったそうです。

  • After　マイクロサービス

各サービス単位でマイクロサービス化し、サービス同士はRESTAPIでそれぞれ接続。
　○それぞれのチームが独立して開発、デプロイできるようにした。
　○コンシューマ向けのサービスはAWS上で構成しているので、特定のサービスだけスケールアウトできる。

　マイクロサービスが今着目されていますが、先進的に取り入れられている例ですね！

２．Elasticsearchに注目した理由

▽カタログ検索に利用
　商品データは、商品名や、画像が混在していて複雑。
→Mappingによって、柔軟に対応できることからElasticsearchに注目したようです。

また、以下のようなワークフローが明確になっていたので、
　CSVデータimport→スキーマ更新→Data Indexing→クエリで検索
と役割分担されており、各APIとしてわけやすかった、というのもメリットにもあったそうです。

３．Elasticsearchを使って、苦労した点

みなさんご存知ユニクロアプリ（よく割引クーポンがありますね。）
これも様々なマイクロサービスで構成されているそうです。

  • 苦労した点

　要件として、800店舗ある店舗ごとで、在庫がないものは表示しないようにしたい。
　しかし、商品ごとに在庫状況Fieldを800店舗分もつくるわけにはいかない。

そこで、
【工夫ポイント】

1）Mappingの工夫
　店舗数分indexを作成した。
　考える単位を商品ごとから、店舗ごとにする、という発想の転換が必要ですね。

2）aliasの活用
　index名：店舗番号＋タイムスタンプ
　alias：店舗番号
と使い分けて、検索時には、aliasを対象にして店舗番号で検索したそうです。
indexは名前、aliasは検索のキー用という感じですね。

マイクロサービスとElastic Stack

ここからはReuben Li さんの発表です。
システムが出力するログの可視化システムです。

１．アーキテクチャ

API・データリソース→logstash→Elasticsearch Cluseter（data nodes + kibana）
という流れで、システムのログをElasticsearchに貯めます。
Elasticsearchにログを貯めるときに、良く使われるパターンですね。

２．使用ログデータ
  • ログ3億件／日(最大で毎秒900件)
  • うちクーポンのマイクロサービスに関してが、2000万件／日
３．ログの可視化
  • クーポン消費量の可視化

　可視化したことで、店舗で使うクーポンが開店時間から閉店時間までまんべんなく使われている一方、
　ECでのクーポンは夜間にピークがあり、消費傾向の違いがはっきりと表れていた、
　ということがわかったそうです。

　→ITからビジネス戦略に活かす、理想的な形ですね！！

４．課題
  • 課題 1 Mappingが多すぎて、OOMEが起きていた。

→システムのログの出力内容を改善し、Mappingのサイズを減らした。

  • 課題 2 リクエストとログのIndexデータの対応付け

対象のシステムに1件のリクエストが来た時に、システム内では複数のログを出力するケースがあった。
→同じリクエストのログを同時に見ることができるように、
リクエストIDによってAggregationして散らばってIndexされないようにした。

気軽に投入できるのもElasticsearchの利点ですが、パフォーマンスを考えると、
投入するデータやMappingなどの調整が必須、というところが
構築してみるとわかりますね。

私もElasticsearchを使った検索システムの開発に関わっているので、
是非、参考にしたいと思います。

まとめ

Elasticsearchを活用した事例がかなり具体的に、そして技術的にも
細かく紹介されていました。

以上、マイクロサービス+Elasticsearch
という最先端の事例紹介セッションでした！

Acroquest Technologyでは、キャリア採用を行っています。


  • ビッグデータ（Hadoop/Spark、NoSQL）、データ分析（Elasticsearch、Python関連）、Web開発（SpringCloud/SpringBoot、AngularJS）といった最新のOSSを利用する開発プロジェクトに関わりたい。
  • マイクロサービス、DevOpsなどの技術を使ったり、データ分析、機械学習などのスキルを活かしたい。
  • 社会貢献性の高いプロジェクトや、顧客の価値を創造するようなプロジェクトで、提案からリリースまで携わりたい。
  • 書籍・雑誌等の執筆や、対外的な勉強会の開催・参加を通した技術の発信、社内勉強会での技術情報共有により、エンジニアとして成長したい。

　
少しでも上記に興味を持たれた方は、是非以下のページをご覧ください。

【Elastic search 関連】
Elasticsearchを仕事で使いこみたいデータ分析エンジニア募集中！ - Acroquest Technology株式会社のエンジニア中途・インターンシップ・契約・委託の求人 - Wantedlywww.wantedly.com

【データ分析】
データ分析案件の急増に伴い実践的なデータ分析エンジニアWanted！ - Acroquest Technology株式会社のエンジニア中途・インターンシップ・契約・委託の求人 - Wantedlywww.wantedly.com

Elastic{ON} Tokyo 2016レポート 〜 ソフトバンク株式会社 「OSSの社内IT活用をインフラ担当社員で支えるには」〜 #elasticon

Elasticsearch elasticon Elastic{on} 2016 in Tokyo レポート

こんにちは！yoshidaです。

f:id:acro-engineer:20161216000631p:plain

Elastic{on}東京、お昼を挟んで最初のセッションは

「OSSの社内IT活用をインフラ担当社員で支えるには」
関谷 雅宏 氏 | ソフトバンク株式会社 | IT統括 システム基盤本部 本部長代行

でした。

※こちらのセッションは撮影、録画禁止となります。とアナウンスがあり文章だけでお送りします。。
（ブログはOK）


実際にElasticsearchやKibanaを使った活用事例の紹介です。

ソフトバンクでは各店舗（ソフトバンクショップ）の連携や在庫管理、サーバ監視システムなど業務利用のために
OSSを活用しているようです。
社内システムにOSSを利用してノウハウを貯められるのは、とても良い環境だと思います。
ユーザも要望が上げやすそうですし。


紹介されたシステムは、ログの転送システムについてでした。
サーバからログを吸い出して、溜め込むといったフローのもので
物理サーバ、仮想サーバの台数も結構多いシステム構成図を見せてもらいました。
（スライドの画像が欲しい・・・）
台数も多そうでサーバの管理が大変そうだなぁと。

Elasticsearchには在庫データ等々、いろいろ溜め込んで利用しているようです。
とりあえずデータを保管しておく。といった時にスキーマレスなのはありがたいのでしょうか。
何に使うかわからないけど、とりあえず貯めておきたい。というのはあり得る用途かと思います。

サーバ状態の監視にはKibanaの画面を利用しているようです。
DBの監視にセッション数などを可視化して、皆で同じ画面を見ることで情報共有できるのは
理解度や手間の部分でとても有効だと感じました。
言葉だけでは限界がありますからね。視覚情報はとても重要。


具体的な活用方法の紹介もありましたが、こちらのセッションで重要だったのは
OSSを使う理由の部分だったように思います。

”事業を成長させるのは、社員自身の成長”

OSSの利用には、問題発生時に自分たちでどうにかするしかない。
という自己責任の部分が強くなります。
そのような、自分でやらないといけない環境が社員の成長につながり、
作れる人間が多い方が成長の余地が多いのではないか。
という考えがあるようです。

エンジニアが自立するために、サポートをつけて、
そこからノウハウを学んでいくということが必要で、その価値は大きい。
ということを話していました。


最後に質疑応答で、
「自立するという文化を根付かせるために実施していることは何か？」
という質問に対して、その回答は
「ちゃんと失敗させる」
というものでした。
どうにもならない状況を経験し、そこからサポートをつけ、解決するノウハウを学んでいく。
そういったことをすると自身の成長にもつながるし、サポートを見る目も養える。
そのような考えのようです。

大抵の場合、最初から上手くいくことはなく、問題が発生するのが常なので、
それを解決することから学べることは多いのだろうと思いますし、
失敗を許容するというのはとても良い環境だなと感じました。
（問題発生中は中々キツイ状況だと思いますが。。。）

自立したエンジニアになるためには。というのは自分自身に刺さる部分もあり、
今後のスキルアップを考える際にいい情報を得られたなと思います。
トライアンドエラーから学んでいこうと思います。


このセッションについては、興味深い感想のツイートもありました。


苦労するところは同じでも、何につながる苦労なのか。
という感じですね。

Acroquest Technologyでは、キャリア採用を行っています。


  • ビッグデータ（Hadoop/Spark、NoSQL）、データ分析（Elasticsearch、Python関連）、Web開発（SpringCloud/SpringBoot、AngularJS）といった最新のOSSを利用する開発プロジェクトに関わりたい。
  • マイクロサービス、DevOpsなどの技術を使ったり、データ分析、機械学習などのスキルを活かしたい。
  • 社会貢献性の高いプロジェクトや、顧客の価値を創造するようなプロジェクトで、提案からリリースまで携わりたい。
  • 書籍・雑誌等の執筆や、対外的な勉強会の開催・参加を通した技術の発信、社内勉強会での技術情報共有により、エンジニアとして成長したい。

　
少しでも上記に興味を持たれた方は、是非以下のページをご覧ください。

【Elastic search 関連】
Elasticsearchを仕事で使いこみたいデータ分析エンジニア募集中！ - Acroquest Technology株式会社のエンジニア中途・インターンシップ・契約・委託の求人 - Wantedlywww.wantedly.com

【データ分析】
データ分析案件の急増に伴い実践的なデータ分析エンジニアWanted！ - Acroquest Technology株式会社のエンジニア中途・インターンシップ・契約・委託の求人 - Wantedlywww.wantedly.com

Elastic{ON} Tokyo 2016レポート ～ Elastic Stackを用いた異常検知 〜 #elasticon

Elasticsearch elasticon Elastic{on} 2016 in Tokyo レポート

こんにちは、新人エンジニアの菅野です

今日はElasticの機械学習を用いたの異常検知についてのセッションを聞いてきました。

f:id:acro-engineer:20161215164500j:plain:h400


このセッションで紹介されたのが、新しいプロダクトであるPrelertです。
PrelertについてはPrelertでプログラミングレスな異常検知に挑戦！ - Taste of Tech Topics
の記事でも紹介させていただきましたが
2016年9月にElastic社が機械学習を用いた行動予測、異常検知の会社であるprelertを買収しました。

もともと、Elastic Stackでは、大量データに対して
Elasticsearchによる検索（Search）と集約（Aggregation）、あるいはKibanaを用いた可視化（Visualisation）を提供していましたが、
このprelertによって、Machine Learningによる異常検知もできるようになります。

prelertはKibanaのプラグインとして提供され
GUIベースでプログラミングレスに異常検知を行うことができます。

セッションで行われたデモ

セッションではprelertを用いた異常検知２パターンのデモが行われました。

１．ECショップのトランザクション異常検知

f:id:acro-engineer:20161215230836p:plain:h200

　ECサイトの一分毎のトランザクション(購買成立件数)ログデータに対し異常検知を行い、
　購買におけるブラウンアウト(瞬断)を検出するものでした。
　
f:id:acro-engineer:20161215224656p:plain:h400
　
　このデモでは、データの特性(夜の購買が少なく、昼の購買が多い)という
　データのパターンをprelertの学習できちんと認識し、
　起こりうる値からどれだけ離れているかで異常検知ができることが示されていました。
　
　また、トランザクションの異常検知データと、サーバのエラーログの異常検知データとを同時に表示することで
　「DBの異常により、売り上げが異常に低下している」といった原因の分析も可能であることが示されていました。
　
２．Webシステムのセキュリティ異常検知
f:id:acro-engineer:20161215231041p:plain:h200

　次のデモでは、ECサイトのWebサーバのログに異常検知を行い、
　短期間のうちに100回ものPasswordエラーを起こしているユーザを検出するものでした。
　
　検出したユーザに絞り込み、アクセスログの異常検知をおこなうことで、
　不正アクセスしたユーザが、他のユーザがアクセスしない場所にアクセスしていたり、
　大量のデータをWebメールサービスを用いて外部に送付していることが判明しました。

　セキュリティの異常を検出したのちに、そのユーザに絞り込んで異常な行動を検出することで、
　不正アクセスの検知だけでなくその結果どういった行動が行われていたのかまで検知することができることを示したデモでした。

　以下は、発表を聴いての私の感想です。

prelertのすごい点

１.お手軽に異常検知をすることができる
　prelertでは、教師なし学習によりモデルを作成するので、
　GUIで学習対象のデータ、学習対象にかける関数を選択するだけで異常検知をしてくれます。
　どういったものが異常で、どういったものが正常であるのかをユーザがいちいち入力しなくても異常検知を行うことができます。


２．豊富な事前処理関数
　prelertでの機械学習では、事前に実行する関数を選択することで、検知観点を選択することができます。
　例えば、最大値、平均値、普段出てこない文言等、様々な観点での異常検知を行うことができます。

prelertを使ってもまだ困る点

１．原因分析にはデータに対する洞察が必要
　異常検知後の追加の分析では、
　検知した事象から、異常が起きうるであろう部分にアタリを付けて分析する必要があり
　データに対する知識のある人でないと分析が難しいのかなと感じました。

　例えば前述のECサイト異常検知では、
　トランザクションの異常検知から、DBサーバで異常な値が出ているはずだと思いつかない場合には、
　様々なデータに対して、手あたり次第で異常検知を行う必要が出てきそうです。

　この辺りは、異常検知をした後に参照できるようなダッシュボードを自分で用意する必要がありそうです。
　あるいは、Prelertで検知した異常と、他のデータとの相関分析のようなことができれば、問題の検出ができそうだと思いました。
　って言うのは簡単なのですけどね！


そんなprelertですが、現在活発に開発がおこなわれているようです。
現在はβ版であれば触ることができます。

2017年上半期にリリース予定、
2017年3月のElasic{on}サンフランシスコでも大きな発表がなされるようですよ。

これはもうサンフランシスコ、行くしかないですね！ 現地でブログを書きます！！

それでは！

Acroquest Technologyでは、キャリア採用を行っています。


  • ビッグデータ（Hadoop/Spark、NoSQL）、データ分析（Elasticsearch、Python関連）、Web開発（SpringCloud/SpringBoot、AngularJS）といった最新のOSSを利用する開発プロジェクトに関わりたい。
  • マイクロサービス、DevOpsなどの技術を使ったり、データ分析、機械学習などのスキルを活かしたい。
  • 社会貢献性の高いプロジェクトや、顧客の価値を創造するようなプロジェクトで、提案からリリースまで携わりたい。
  • 書籍・雑誌等の執筆や、対外的な勉強会の開催・参加を通した技術の発信、社内勉強会での技術情報共有により、エンジニアとして成長したい。

　
少しでも上記に興味を持たれた方は、是非以下のページをご覧ください。

【Elastic search 関連】
Elasticsearchを仕事で使いこみたいデータ分析エンジニア募集中！ - Acroquest Technology株式会社のエンジニア中途・インターンシップ・契約・委託の求人 - Wantedlywww.wantedly.com

【データ分析】
データ分析案件の急増に伴い実践的なデータ分析エンジニアWanted！ - Acroquest Technology株式会社のエンジニア中途・インターンシップ・契約・委託の求人 - Wantedlywww.wantedly.com

Elastic{ON} Tokyo 2016レポート 〜 Elastic Stack バージョン5 〜 #elasticon

Elasticsearch Elastic{on} 2016 in Tokyo レポート elasticon

こんにちは@です。

今日はElastic{ON} Tour 東京が開催されています。
参加者は昨年の2倍ほどに達し、400人近くが参加しているようです。
日本国内では最大級のElasticイベントですね。

主な内容としては
先日リリースされたElastic Stack バージョン5についての説明や、
今後のロードマップ、ユーザーからの事例紹介セッションなどがあります。

Acroquestからは、約20人という大人数で参加していますので、
そのフィードバックを記事にして行きます。

多くのセッションがあったので複数の記事に分けてお送りします。


……というわけで第一弾は私@が担当します！

本日のElastic{ON} Tour 東京最初のパートはElastic社によるセッションで、
CTOであるShay Banonの登壇もありました。

f:id:acro-engineer:20161215165255j:plain:h400

Elastic Stackのこれまでの歩みを簡単に振り返ったのち、
バージョン5で追加された新機能についての紹介がありました。

バージョン5で、性能が改善したことや機能の幅が広がったことはもちろんですが
特に印象的だったのは、
エンジニアでない方にもElastic Stackが使えるようにしたいという思想です。

操作が簡単になるようにUI開発を進めたり、
ユーザーが行う操作ができる限りシンプルになるような仕組みに
力をいれていることが伝わってきました。

特にKibanaのUIが一新され、
画面の見やすさや操作性が飛躍的に向上しました。
また、インストール作業が煩雑だった、
timelionやConsole(旧Sense)といったプラグインもデフォルトで組み込まれるようになりました。
今回の改善は、Kibana 4.xを使っていた方にとっては驚きだったと思います。

その他の重要なトピックとしては、
prelert(機械学習による異常検知ソリューション)やElastic Cloud Enterprise のリリース予定についての話題がありました。

prelertは、Elasticsearchに入っているデータに対して、
プログラミングレスで異常検知を行うことができるプロダクトです。
現在はまだベータ版ですが、prelertがリリースされれば、
Elasticserachに取り込んだデータの異常を簡単に検知できるようになるので
画期的な変化と言えます。

Elastic Cloud Enterprise は、
確保するリソース量を設定するだけで、Elasticsearchのクラスタを自動構築してくれる
オンプレミスのサービスです。
設定手順を間違えるリスクを抑えられ、
なおかつワンアクションでクラスタを構築できるというメリットがあります
Elastic Stack導入の敷居がかなり下がるのではないでしょうか。


上記の2プロダクトによって、
Elastic Stackの運用やユースケースの可能性は
大きく広がると思われるので、今から楽しみです

リリース時期に関してですが、
Elastic Cloud Enterprise は2017年の第一四半期中にGAリリースを目指す。
Prelertはkibanaとより親和するように調整していくとのことですが、
2017年の早いうちにリリースが予定されている。
という状況のようです。


Elastic社によるセッションのフィードバックは以上となります。
他のセッションについてもこの後フィードバックをして行きますので、
ご期待ください(^^)

Acroquest Technologyでは、キャリア採用を行っています。


  • ビッグデータ（Hadoop/Spark、NoSQL）、データ分析（Elasticsearch、Python関連）、Web開発（SpringCloud/SpringBoot、AngularJS）といった最新のOSSを利用する開発プロジェクトに関わりたい。
  • マイクロサービス、DevOpsなどの技術を使ったり、データ分析、機械学習などのスキルを活かしたい。
  • 社会貢献性の高いプロジェクトや、顧客の価値を創造するようなプロジェクトで、提案からリリースまで携わりたい。
  • 書籍・雑誌等の執筆や、対外的な勉強会の開催・参加を通した技術の発信、社内勉強会での技術情報共有により、エンジニアとして成長したい。

　
少しでも上記に興味を持たれた方は、是非以下のページをご覧ください。

【Elastic search 関連】
Elasticsearchを仕事で使いこみたいデータ分析エンジニア募集中！ - Acroquest Technology株式会社のエンジニア中途・インターンシップ・契約・委託の求人 - Wantedlywww.wantedly.com

【データ分析】
データ分析案件の急増に伴い実践的なデータ分析エンジニアWanted！ - Acroquest Technology株式会社のエンジニア中途・インターンシップ・契約・委託の求人 - Wantedlywww.wantedly.com

Elastic{ON} Tokyo 2016 いよいよ開始！ #elasticon

Elastic{on} 2016 in Tokyo レポート Elasticsearch elasticon

どうもこんにちは！
Acroquestで営業をやっているkusunokiです！

今日は、なんと、Elastcit{ON}Tour東京2016に来ています！
せっかく来たので、この会場の盛り上がりを皆さんにもお伝えしたい！
そんな一心でブログを書かせていただきました。

ちなみに、当ブログで本日の各セッションについての記事を書いていますので、ぜひご覧になってください！

まず、開催場所は、
六本木ヒルズ森タワー49階にある、アカデミーヒルズ。

私は、自社が出展するブースの設営を担当していたので、
早めに会場に到着していました。

49階までエレベータで上がり、
会場窓際にある自社用のブーススペースで設営をしていましたが、
これがまた外の眺めが良くてびっくり！
運良く天気に恵まれ、遠くに見える富士山が絶景でした。

f:id:acro-engineer:20161215150703j:plain:h400

さて、会場につき次第、
そそくさとブースの設営をやっていくわけですが、それと並行して、
運営スタッフの方々も事前の最終チェックをしていたんですけど、
会場の後ろのほうで、複数の人影が見えたんです。

会場を眺めながら話あっていた様子だったので、
管理者か何かかなーと気になって見てみたら、
なんとElasticsearch社CTOのShayBanonさんではないですか！！！

しかも、隣を見てみると、ShaneさんもUriさんもいて、
こんな豪華なメンバーがそろっている場面を、しかも登壇している姿ではなく
生で見れるなんて、そうそうない事ですね。。

朝から感動してばっかり^^;


設営が完了し、会場を見渡してみると、座席がもう8割近く埋まっていました。
その時の時刻は、だいたい9時30分でしたかね。
最初の基調講演の開始時間が10時なので、
30分前には、会場がほぼ埋まっていたということになります。

f:id:acro-engineer:20161215150732j:plain:h400

朝早くから賑わいを見せるこのイベント、ピーク時が恐ろしい、、

ちなみに、
去年Elastic{ON}Tour東京2015が開催されましたが、
今年は、申し込みをした人がその2倍らしいです。
だから、最初からこんなに人が居たのか、、、

そして、あれこれしているうちに基調講演に突入したのですが、
登壇したShayBanonさんが話始めると同時に、
PCのキーボードを叩く音が一斉に鳴り始まるわけです。
来場者の方たちの温度感がどれだけ高いか良くわかりますね！


そしてそのあと、ShaneさんやElasticsearch日本支社のエンジニアの
大谷さんなどのセッションがいくつか続き、ついにAMA(Ask Me Anything)タイム突入！

Ask Me Anythingとは、Elasticsearch社のエンジニアが、
「Elasticsearchに関する技術的な質問についてなんでもお答えします」
というコーナーなのですが、直前のセッションが終わったかと思いきや、
ものすごい勢いで人が増えていくんです。

f:id:acro-engineer:20161215150800j:plain:h400

そして私たちのブースにもたくさんの方々が立ち寄ってくれまして、
おかげさまでこの盛況ぶり！！

皆さん、どうもありがとうございます！



実は、今回のイベントの最後のセッションなのですが、
当社の山崎が、自社製品である「ENdoSnipe」という、
可視化、分析ソリューションについて講演を行います。
そのあとには、AMAとネットワーキングタイムもありますので、
是非楽しみにしてください！


それと、私たちのブースでは、その「ENdoSnipe」のデモや、
「Elasticsearchを活用する際にハマりやすい11の罠と対処法」の資料など、
色々ご用意しておりますので、是非遊びに来てください！


また「今日行けなかったけど、Acroquestが配っている11の罠の資料気になるな」
と言う方は、一言ご連絡ください。
当社のノウハウがつまっているため、数量限定でご用意している資料ですが、
このブログを読んでいる方々には、特別にお渡しできるかもしれません。
ご連絡はこちらまで！！
endosnipe@acroquest.co.jp


最後に、Elastic{ON}Tour東京2016は、去年よりも盛り上がっております。
Elasticsearchが日本で広がってきている証拠ですね！
皆さんもこれを機に、一緒にElasticsearchを盛り上げていきましょう！

Acroquest Technologyでは、キャリア採用を行っています。


  • ビッグデータ（Hadoop/Spark、NoSQL）、データ分析（Elasticsearch、Python関連）、Web開発（SpringCloud/SpringBoot、AngularJS）といった最新のOSSを利用する開発プロジェクトに関わりたい。
  • マイクロサービス、DevOpsなどの技術を使ったり、データ分析、機械学習などのスキルを活かしたい。
  • 社会貢献性の高いプロジェクトや、顧客の価値を創造するようなプロジェクトで、提案からリリースまで携わりたい。
  • 書籍・雑誌等の執筆や、対外的な勉強会の開催・参加を通した技術の発信、社内勉強会での技術情報共有により、エンジニアとして成長したい。

　
少しでも上記に興味を持たれた方は、是非以下のページをご覧ください。

【Elastic search 関連】
Elasticsearchを仕事で使いこみたいデータ分析エンジニア募集中！ - Acroquest Technology株式会社のエンジニア中途・インターンシップ・契約・委託の求人 - Wantedlywww.wantedly.com

【データ分析】
データ分析案件の急増に伴い実践的なデータ分析エンジニアWanted！ - Acroquest Technology株式会社のエンジニア中途・インターンシップ・契約・委託の求人 - Wantedlywww.wantedly.com