Taste of Tech Topics

Acroquest Technology株式会社のエンジニアが書く技術ブログ

Elastic{ON} 2017 3日目 | Elastic Cloud活用で運用効率化するために気をつけるべきこと #elasticon

Elastic{ON}2017 レポートのまとめはこちら!!

Good evening, everyone!
営業広報の白井です。

昨晩は、Elastic{ON} Partyが楽しすぎて、ちょっと飲みすぎた感じがあり、
やや二日酔いな感じもしてましたが^^;

セッション参加前には、甘いものを摂取^^
おいしい!
f:id:acro-engineer:20170310015335j:plain:w700

参加セッション

今日は、ユースケース系のセッションを受けまくりました!

私が参加したセッションは以下のとおり。

  1. How Workday Built their Metrics Pipeline with the Elastic Stack
  2. Customer Success @ Elastic: Elastic Stack + Salesforce = <3
  3. Integrating Human Genetic Data to Help Drive Drug Discovery: Elastic @ Merck
  4. Elastic Cloud @ Fandango: How They Shifted Deployment Model to Scale & Meet Their Deadlines
  5. Closing Keynote: Cause Award Honorees and Open Q & A with Elastic Founders

今日は、Elastic Cloudの活用事例をご紹介!

Elastic Cloud @ Fandango: How They Shifted Deployment Model to Scale & Meet Their Deadlines

概要

f:id:acro-engineer:20170310163517j:plain:h500
Fandangoは、アメリカで映画のWebチケット購入、ストリーミング配信、映画レビューサイトの運営と
映画にかかわるすべての事業を行っている会社です。

これまでオンプレミスのElasticと、クラウド上でのElasticを併用しながら、
映画チケットのランキングなどのデータ分析をしていたそうです。

f:id:acro-engineer:20170310163556j:plain:w700

ただ、併用していたところ、そもそも使用していたマシンのスペックもあったようですが、
システムダウンでマーケティング用のデータがふっとんでしまったり、いくつか問題があったようで。。。

f:id:acro-engineer:20170310184501j:plain:w700
f:id:acro-engineer:20170310060803j:plain:w700

しかし、Elastic Cloudを活用することで、比較的移行も簡単に終わり、使用メモリ量や
システムアップデートの時間も減り、問題改善につながったそうです!
さらには、新しいサービスの立ち上げも早くなったとか。

実際に移行してみての移行しやすかったポイントと注意ポイントを語ってくれました。

移行しやすかったポイント

インターフェースが使いやすい!

Elastic Cloudの設定画面が使いやすく、Elastic社のセールスサポートも手厚かったため、
3サービス分の移行がおよそ3日間程度で終わったそうです。
Logstashの設定ファイルの修正も素早く対応できたそう。
f:id:acro-engineer:20170310171717j:plain:w700

注意ポイント

インデックス数を減らすことで、ストレージを節約

移行のタイミングで、インデックス数も減らしていったそうです。
インデックスを減らしたことで、活用するストレージ量も減るので、
トータルでコストが減らせるそうです。
活用効率につながりますね。
f:id:acro-engineer:20170310172657j:plain:w700

本番のログデータは、オンプレとクラウドの両方に移行して、冗長性確保

完全にクラウド化と言えど、一気に本番用のログデータを移行してしまうのではなく、
冗長性を保ったことで、何度か救われたそうです。

最後に

3日間のカンファレンスが終わりました。
ただセッションを聞くだけでなく、ディスカッションがあったり、
パーティーがあったりと、学びあり、盛り上がりあり!の3日間でした。

日本に戻ったら、国内イベントでどんどんフィードバックしていきたい!

Elastic{ON}2017 レポートのまとめはこちら!!

Acroquest Technologyでは、キャリア採用を行っています。

  • ビッグデータHadoop/Spark、NoSQL)、データ分析(Elasticsearch、Python関連)、Web開発(SpringCloud/SpringBoot、AngularJS)といった最新のOSSを利用する開発プロジェクトに関わりたい。
  • マイクロサービスDevOpsなどの技術を使ったり、データ分析機械学習などのスキルを活かしたい。
  • 社会貢献性の高いプロジェクトや、顧客の価値を創造するようなプロジェクトで、提案からリリースまで携わりたい。
  • 書籍・雑誌等の執筆や、対外的な勉強会の開催・参加を通した技術の発信、社内勉強会での技術情報共有により、エンジニアとして成長したい。

 
少しでも上記に興味を持たれた方は、是非以下のページをご覧ください。

Elasticsearchを仕事で使いこみたいデータ分析エンジニア募集中! - Acroquest Technology株式会社のエンジニア中途・インターンシップ・契約・委託の求人 - Wantedlywww.wantedly.com

Elastic{ON} 2017 3日目 | Salesforce+Elastic Stack #elasticon

Elastic{ON}2017 レポートのまとめはこちら!!

こんにちは!
3年目エンジニアのたなけんです。

Elastic{ON}3日目、いよいよ最終日を終えてしまいましたが、
なんといっても、Elasticエンジニアたちの熱を感じた3日間でした。

参加セッション

私が本日参加したセッションはこちら。

  1. Walgreens' Journey To Creating an End-to-End Search Platform
  2. Elastic at Datadog
  3. Customer Success @ Elastic: Elastic Stack + Salesforce = <3
  4. Powering Uber Marketplace’s Real-Time Data Needs with Elasticsearch
  5. What's the Scoop on ES-Hadoop? Spark, Streaming & More
  6. Closing Keynote with Shay Banon: Cause Award Honorees

SalesforceとElasticスタックの活用事例について共有します。

Customer Success @ Elastic: Elastic Stack + Salesforce = <3

Salesforceとは、セールスフォース・ドットコムの提供する製品群のことで、
マーケティングオートメーション、セールスオートメーション、カスタマーサポートサービスなどの
本格的なクラウド型ビジネスアプリケーションとなっています。

Salesforceタワーという新しいオフィスビルを建造中の、
非常に勢いのある会社です。
f:id:acro-engineer:20170310183844j:plain:w700
本社オフィスはElasitc{ON}の会場と同じ、San Franciscoにあります。

導入実績は、
世界で15万社以上と群を抜いています。
そんなSalesforceとElasticスタックの連携について、話を聞いてきました。

こちらのセッションでは、
Elasticスタックをどう顧客の成功に生かせるのか、
実際にElastic社が使用しているSalesforceをより便利にするためにどのようにElasticスタックを活用しているか、
発表されていました。

まず「Customer(顧客)」は、以下のようなレイヤーの情報をもちます。

1番上位の情報が会社名、次に所在情報など。
契約状況、購買状況、そして、プロジェクト情報、プロジェクトで起きている細かいことと続きます。

Elastic社ではライセンスポータルを持っているのですが、
それらライセンスポータルのデータの管理をSalesforceに統合してから、
なんと生産性が下がってしまったそうです。

Salesforce searchを使用していたのですが、探しているトピックやエラーを見つける際に問題があったとのことでした。

そこでSalesforceに貯めて整理したデータを更にElasticsearchに投入して、
Kibanaで可視化することで、検索の問題を解決しました。
f:id:acro-engineer:20170309111028j:plain:w700
このようなデータの流れになっています。

可視化のゴールと使っている技術の概要はこちら。
f:id:acro-engineer:20170309111157j:plain:w700

実際に可視化したダッシュボードのキャプチャが以下です。
f:id:acro-engineer:20170309111348j:plain:w700
顧客情報が可視化されています。

このセッションではキャプチャだけではなく、実際の画面を使ったデモも見せてくれました。
f:id:acro-engineer:20170309111559j:plain:w700
このダッシュボードでは、Elasticスタックを利用している顧客が
Logstashのどのバージョンを使っているのかなど、可視化されています。
今回のデモでは、多くの顧客がqueue systemを使用していることが分かりました。
これらの情報がプロダクトマネージャーによって活用されています。

このように、Kibanaを使って可視化することで、
自分たちのやりたい可視化、分析が出てきたらすぐにVisualizeを追加して実現させていました。

最後に、今後向かう方向を示したスライドがこちら。
f:id:acro-engineer:20170309112116j:plain:w700
やっぱり、ここにもMachine learningが書かれていますね。
まだ、具体的な話はありませんでしたが、
Machine learningが盛り込まれることによってCRMの分析にどのような革新が起こせるか、
非常に楽しみですね!

これからますます勢いを増していくであろうElasticスタック。

Elastic{ON}はあっという間の3日間でしたが、最も印象的だったのは、
Elasticスタックのユーザビリティが非常に高くなったことです。

今までも、簡単に可視化ができることで驚かれるツールではあったのですが、
近い将来には、データを投入してMachine learningによる高度な分析を行うところまでを、
誰でもすぐに実現できるElasticスタックが使えるようになりそうです!

それでは!

Elastic{ON}2017 レポートのまとめはこちら!!

Acroquest Technologyでは、キャリア採用を行っています。

  • ビッグデータHadoop/Spark、NoSQL)、データ分析(Elasticsearch、Python関連)、Web開発(SpringCloud/SpringBoot、AngularJS)といった最新のOSSを利用する開発プロジェクトに関わりたい。
  • マイクロサービスDevOpsなどの技術を使ったり、データ分析機械学習などのスキルを活かしたい。
  • 社会貢献性の高いプロジェクトや、顧客の価値を創造するようなプロジェクトで、提案からリリースまで携わりたい。
  • 書籍・雑誌等の執筆や、対外的な勉強会の開催・参加を通した技術の発信、社内勉強会での技術情報共有により、エンジニアとして成長したい。

 
少しでも上記に興味を持たれた方は、是非以下のページをご覧ください。

Elasticsearchを仕事で使いこみたいデータ分析エンジニア募集中! - Acroquest Technology株式会社のエンジニア中途・インターンシップ・契約・委託の求人 - Wantedlywww.wantedly.com

Elastic{ON} 2017 3日目 | UberがElasticsearchを使って、苦労した話 #elasticon

Elastic{ON}2017 レポートのまとめはこちら!!

こんにちは!@です。
遂に終わってしまいました、Elastic{ON}。
これから日本に帰ります。1日目から3日目まで楽しいセッションが続いていました。

さて、Elastic{ON} 最終日のレポートです。
本日は3つのセッションを聞きました。

  1. Powering Uber Marketplace’s Real-Time Data Needs with Elasticsearch
  2. 'What's the Scoop on ES-Hadoop? Spark, Streaming & More
  3. Closing Keynote

セッションが少ない理由はAsk Me Anything(AMA)で主に質問をしていたからです。
Elastic社の人に質問し、丁寧に回答をいただき、自分の理解も深まりました!

ようやく本題です。「Powering Uber Marketplace’s Real-Time Data Needs with Elasticsearch」を紹介します。

Powering Uber Marketplace’s Real-Time Data Needs with Elasticsearch

f:id:acro-engineer:20170310141453j:plain:w500

Uberは自動車配車アプリのサービスです。
海外に行った時にUberを使用して、
車に乗せてもらうこともあるのではないでしょうか。

そのようなUberのMarket Placeでは、
動的な料金設定やルートの解析を行っています。
これらをリアルタイムに実現するために、Elasticsearchを導入しました。
しかし、大規模なAggregationを行った場合には性能問題が発生していたそうです。

f:id:acro-engineer:20170310155610p:plain:w500

リアルタイム処理を実現するアーキテクチャは次の図です。
SparkやElasticsearchを組み合わせています。

f:id:acro-engineer:20170310134948p:plain:w500

このアーキテクチャに対して、複数のAggregation(Terms Aggregation)をしていたそうです。
ただ、検索結果のデータが膨大になり、OutOfMemoryErrorが発生するようになりました。
これに対しての解決策として、Elasticsearchのクエリ実行前に実行時の候補を見積もり、
適切に検索に制限をかけるようにしています。

f:id:acro-engineer:20170310163808p:plain:w500

Elasticsearchは非常に便利で、簡単にスケールする、
分散するといった面で私も業務の中でかなり使っています。

ただ、ここまで大規模なシステムに対してElasticsearchを使うと
こんな問題にぶちあたるのか・・・と思いました。
日本でもここまで使ってみたいです!

最後に

遂にElastic{ON}が終わってしまいました。
セッションを通して、以前まで知らなかったプロダクト、アーキテクチャを知ることができました。
以前から思っていましたが、想定以上にElastic Stackのプロダクトの進化が早いです!

ただ、初めてのアメリカ、かつ、海外カンファレンスだったので、面白かった!
来年もElastic{ON}に行って情報を仕入れたいと思っています。

フィードバック会も開く予定なので、皆さんぜひ、お越し下さい。

また、どこかでお会いしましょう!See you again!

Elastic{ON}2017 レポートのまとめはこちら!!

Acroquest Technologyでは、キャリア採用を行っています。

  • ビッグデータHadoop/Spark、NoSQL)、データ分析(Elasticsearch、Python関連)、Web開発(SpringCloud/SpringBoot、AngularJS)といった最新のOSSを利用する開発プロジェクトに関わりたい。
  • マイクロサービスDevOpsなどの技術を使ったり、データ分析機械学習などのスキルを活かしたい。
  • 社会貢献性の高いプロジェクトや、顧客の価値を創造するようなプロジェクトで、提案からリリースまで携わりたい。
  • 書籍・雑誌等の執筆や、対外的な勉強会の開催・参加を通した技術の発信、社内勉強会での技術情報共有により、エンジニアとして成長したい。

 
少しでも上記に興味を持たれた方は、是非以下のページをご覧ください。

Elasticsearchを仕事で使いこみたいデータ分析エンジニア募集中! - Acroquest Technology株式会社のエンジニア中途・インターンシップ・契約・委託の求人 - Wantedlywww.wantedly.com

Elastic{ON} 2017 3日目 | 感動必至のKibanaの新機能!!#elasticon

Elastic{ON}2017 レポートのまとめはこちら!!

こんばんは!PlNOKlOです。
本日が最終日!ほんと充実したカンファレンスでした✨

日本の皆さんにこの興奮を
お話しできるのが楽しみです!!

こちらが最終日の私が参加したセッションです。

参加セッション

  1. X-Pack Enablement: Security Workshop
  2. Under the Surface of Optum's Security Big Data Lake
  3. Security @ Slack
  4. Getting Your Data Graph-Ready
  5. Kibana Visualizations Deep Dive
  6. Closing Keynote: Cause Award Honorees


今日はSecurityでのElasticsearch活用例をたくさん聞けました!
全日SIEM関係の発表が多く、
ElasticsearchをSIEM目的で利用している企業が海外では増えてきているのを肌で感じました。

さぁ、日本も続け!!


ただ、こちらでは、私の大好きなKibanaについて紹介された
「Kibana Visualizations Deep Dive」を書きます!

f:id:acro-engineer:20170310065054j:plain:w700

「Kibana Visualizations Deep Dive」ほんと素晴らしかった!!!!
今後追加される予定の機能をDemoをしながら紹介されていました。


新たなVisualization、新たなAggregation、そして新たなMap。。。
過去、私が星野リゾートで可視化していた頃、
「こんな可視化ができたらよいのに!」
とたくさん悩んだ課題が今回の発表ですべて解決されそうです!!


内容のご紹介の前に、みなさん新しいKibanaは試されましたか?
Elastic Stack 5.1ではタグクラウドが増え、
Elastic Stack 5.2ではヒートマップが増えました。
どんどん新しい可視化画面が増えていきますね!!

タグクラウドもヒートマップも知らない方は
以下をぜひ読んでみてください!

タグクラウドについてはこちら

f:id:acro-engineer:20170310065559j:plain:w700

ヒートマップについてはこちら

f:id:acro-engineer:20170310065517j:plain:w700

セッションはこれらのVisualizationのDemoから始まり、
そして怒涛の新機能の紹介がされました。


こちらが紹介された機能です。

  1. Visualization - Vertical bar chart
  2. Aggregation - Top Hit
  3. Visualization - Time Series Visual Builder
  4. Visualization - Vector map
  5. Tile mapの改善 

 

1. Vertical bar chart

 以前、私は線グラフとエリアグラフを同時に表示したかったことがあり、
 Timelionを使って無理やり実現したことがあります。
 (こちらの記事でTimelionでの書き方を紹介しています!)
 
 f:id:acro-engineer:20170310065322j:plain:w700
 
 Verticle bar chartでは、Y-Axis(縦軸)の設定を2つ指定することができるようになり、
 それらは棒グラフ、線グラフなど、種類を選んで表示することができます。
 
 これで簡単に実現できますよ!!
 
 しかもグラフの上下にそれぞれの単位が書かれているので、
 どういう見方をすればよいかも分かりやすいですね😄
 
 

2.Top Hit

 f:id:acro-engineer:20170310065929j:plain:w700

 こちらはAggregationなので、様々なVisualizationにて、
 Y-Axisで設定できるものになります。
 
 Top Hitではフィールドと数字を指定することができ、
 指定のフィールドの、上位何番目までの値を表示する
 といったことが可能になります。
 (もちろん下位何番目というのも表示可能です!)
 
 ランキング表示など前よりずっと、
 やりやすくなりますね😄
 
 

3.Time Series Visual Builder

 f:id:acro-engineer:20170310070303j:plain:w700
 
 こちらはTime Seriesを拡張したもので、
 画面下のDataタブで設定した値を、
 画面上部の5つのタブの中からグラフを選択し、表示することができます!
 
 そして画面下のDataタブでは、
 Timelionで苦労して書いていたクエリを
 ドロップダウンから選択して設定できます!
 
 また、こちらの設定では、
 作成したMetricsを使用して、計算をすることも可能です。
 
 f:id:acro-engineer:20170310070935j:plain:w700
 
 こちらが計算をしているAggregationです。
 Scriptも書くことができるので、
 これで今まで困難だった値の計算が実現できますね😁
 
 
 これらを使いこなすことで以下の画面も作れるようです。
 なんてすごいんだ😳
 
 f:id:acro-engineer:20170310070220j:plain:w700
 
 

4. Vector map

 f:id:acro-engineer:20170310072401j:plain:w700
 
 こちらは、Kibana3のころ実現できていた、
 画面が戻ってきます!
 
 セッションでは、Vector mapのデモも紹介してくれました。
 
 f:id:acro-engineer:20170310072655j:plain:w700
 
 こちらはElastic社が持つHPにアクセスが多い国を
 可視化している画面になります。
 
 アクセスが集中しているところが色が濃くなっており、
 一目で簡単に問題を発見することができますね!!

 

5.Tile mapの改善

 f:id:acro-engineer:20170310072800j:plain:w700
 
 そして細かい修正が多いのですが、
 変わった点としては、
  1)描画されている地域以外の計算がされなくなる
  2)利用されていた地図データが別のものになった
  3)データがあるエリアに色がつくのではなく、値が集中箇所に色がつくようになる
 が変わった箇所です!
 
 上記の変更により、
 描画速度と描画精度が向上します。
 
 また、今後ですが、2つのMetricsを指定することも可能にするそうです。

 それぞれ色を変えて表示すれば、
 相関も分析できるかもしれませんね!!

 
これらが今回Kibana Visualizations Deep Diveの発表になります!

どうでしたか?
私は帰ったらすぐにKibanaを試してみたくなりました😆

こちらのセッションでは、今後のKibanaの方向性についても話がありました。

やはり、過去のKibanaはエンジニア向けのツールでしたが、
徐々にエンジニア以外の人も触れるものにしようと
開発を進めているそうです。

データの表現も、データの計算も自由度が増し、
より親しみやすくなるのではないでしょうか?

ますます今後のElasticの動きから
目が離せなくなりますね😊


読んでいただいている皆様が抱えている課題も、
もしかしたらこちらの新機能で実現できるのではないでしょうか?

ぜひ皆様、新Kibanaをお楽しみにしていてください!



もしElastic{ON}の詳しい情報が知りたい方や、
ビジネスでElasticsearchを活用したいと考えている方は
私が営業としてお話ししますので、
ぜひ一度お尋ねください!!
Elastic{ON}で聞いた最新情報を交えて一緒にお話ししましょう✋️


それではみなさま、日本で会いましょう!

"Please enjoy using Elasticsearch !"

Elastic{ON}2017 レポートのまとめはこちら!!

Acroquest Technologyでは、キャリア採用を行っています。

  • ビッグデータHadoop/Spark、NoSQL)、データ分析(Elasticsearch、Python関連)、Web開発(SpringCloud/SpringBoot、AngularJS)といった最新のOSSを利用する開発プロジェクトに関わりたい。
  • マイクロサービスDevOpsなどの技術を使ったり、データ分析機械学習などのスキルを活かしたい。
  • 社会貢献性の高いプロジェクトや、顧客の価値を創造するようなプロジェクトで、提案からリリースまで携わりたい。
  • 書籍・雑誌等の執筆や、対外的な勉強会の開催・参加を通した技術の発信、社内勉強会での技術情報共有により、エンジニアとして成長したい。

 
少しでも上記に興味を持たれた方は、是非以下のページをご覧ください。

Elasticsearchを仕事で使いこみたいデータ分析エンジニア募集中! - Acroquest Technology株式会社のエンジニア中途・インターンシップ・契約・委託の求人 - Wantedlywww.wantedly.com

Elastic{ON} 2017 3日目 | Beatsの拡張・カスタマイズ #elasticon

Elastic{ON}2017 レポートのまとめはこちら!!

こんにちは。
@です。

いよいよElastic{ON}も最終日、
今日は下記のセッションに参加してきました。

参加セッション

  1. Timelion: Magic, Math, and Everything in the Middle
  2. Ship Your Own Data: Tailoring Beats to Your Use Case
  3. Elasticsearch Search Improvements
  4. Kibana Visualizations Deep Dive
  5. Closing Keynote

今日は、Timelionの使い方や、Beatsの拡張・カスタマイズ方法、
Elasticsearchの検索機能改善に関するセッションなどがありました。
昨日はMachine LearningやKibanaの新機能など、ある意味誰にとってもインパクトのある発表が多かったのに対し、
ある程度使い込んだ人にとって嬉しい情報が盛りだくさんでした!

Timelionのセッションでは、特に目新しい情報はありませんでしたが、使い方を詳細に説明してくれました。
もともと、Timelionは公式のリファレンスにも詳細な使い方が載っておらず、敷居が高いと感じていた方も多いのではないでしょうか?
しかし、複雑な計算処理が可能なので、使いこなすことができれば分析の自由度が大きく広がります。

f:id:acro-engineer:20170309101400j:plain:w700

また、簡単なものであればTimelionでも異常検知を行うことができます。
Machine Learningがリリースされますが、それとの使い分けも今後重要になりそうです。
f:id:acro-engineer:20170309104413j:plain:w700

Ship Your Own Data: Tailoring Beats to Your Use Case

Timelionも印象的でしたが、
今日のセッションの中で特に面白かったのは、Beatsシリーズに関するセッション、「Ship Your Own Data: Tailoring Beats to Your Use Case」です。
こちらのセッションでは、現在提供されている各Beatsの処理フローや仕組みが詳しく説明され、
自分のユースケースに合わせてカスタマイズするにはどうすれば良いのか?というのがメインテーマとなっていました。

f:id:acro-engineer:20170309110132j:plain:w700

Beatsシリーズの基盤となるlibbeatの構成や、
Filebeat・Packetbeat・Metricbeat・Heartbeatなど、各種Beatsの仕組みが説明されています。

libbeat↓
f:id:acro-engineer:20170310154604j:plain:w700

Packetbeat↓
f:id:acro-engineer:20170310160555j:plain:w700

Heartbeat↓
f:id:acro-engineer:20170310160614j:plain:w700

いずれのBeatsもlibbeatを基盤にしていますが、各々違いがありますので
カスタマイズする際にはその違いを理解しておく必要がありそうです。
f:id:acro-engineer:20170310151349p:plain:w700

実際にMetricbeatの機能を拡張して動かすデモも行われました。
短時間で独自のBeatを作成していました。
拡張性を考慮した設計になっているので、非常に便利ですね。

f:id:acro-engineer:20170309114111j:plain:w700

ただ、拡張性があるとは言っても、
他のプロダクトがKibana画面上での一括管理に移行していることを考えると、まだまだ進化の余地があると思います。
Beatsは監視対象となる各サーバに仕込むので、Kibana画面上でBeatsを一括管理できるようになるとさらに使いやすくなりそうですね。
帰ったら早速自分のBeatを構築してみたいと思います。
今後のBeatsの動向に期待しましょう。

おまけ 〜AMA Booth〜

3日間を通じてAMAのブースが常時オープンしていました。
セッションに参加するのとは違い、Elasticのエンジニアと1対1で、しかも自分の話したいことを話せます。
セッションそっちのけで、張り付いても良いくらいの価値が得られると思います。

周辺の様子↓

Post from RICOH THETA. - Spherical Image - RICOH THETA

机はホワイトボードになっていて、図などを描きながら質問することができます。↓
f:id:acro-engineer:20170309122723j:plain:w700

色々な疑問や悩みを話してきました。
日本語を話さないエンジニアがほとんどでしたが、ホワイトボードやElastic Japanの皆さんの助けのおかげで
言語の壁はなんとかなりました笑
Elastic Japanの皆さん、改めてありがとうございました。

さいごに

急速に進化を続けるElastic。
Elastic{ON}全体を通して、そのVisionや思想が伝わってきました。
私は日本で、Elasticsearchテクニカルワークショップの講師を務めています。
日本に帰ったら、この感動を皆さんにできるだけお伝えしたいと思います!

帰国後に、弊社でフィードバックイベントなども企画しておりますので、
ご興味ある方は是非弊社までご連絡ください!

以上、@がお送りしました!

Elastic{ON}2017 レポートのまとめはこちら!!

Acroquest Technologyでは、キャリア採用を行っています。

  • ビッグデータHadoop/Spark、NoSQL)、データ分析(Elasticsearch、Python関連)、Web開発(SpringCloud/SpringBoot、AngularJS)といった最新のOSSを利用する開発プロジェクトに関わりたい。
  • マイクロサービスDevOpsなどの技術を使ったり、データ分析機械学習などのスキルを活かしたい。
  • 社会貢献性の高いプロジェクトや、顧客の価値を創造するようなプロジェクトで、提案からリリースまで携わりたい。
  • 書籍・雑誌等の執筆や、対外的な勉強会の開催・参加を通した技術の発信、社内勉強会での技術情報共有により、エンジニアとして成長したい。

 
少しでも上記に興味を持たれた方は、是非以下のページをご覧ください。

Elasticsearchを仕事で使いこみたいデータ分析エンジニア募集中! - Acroquest Technology株式会社のエンジニア中途・インターンシップ・契約・委託の求人 - Wantedlywww.wantedly.com

Elastic{ON} 2017 レポート 3日目 | What will be improved with new Elasticsearch releases #elasticon

Elastic{ON}2017 レポートのまとめはこちら!!

 Hello! Again.
This is Aung Satt and today, I will share summary of attending to "Elasticsearch Search Improvements" held on last day of Elastic{ON} 2017.

The big categories were

  1. Removing _all field
  2. Unified Highlighter
  3. Multi-token Synonyms

As details,

1. Removing _all field
In today's session, _all field will soon have the time to say good-bye.
You may already know that _all field is added for search ability for you to search even if you don't know anything about mappings.
Although that _all was useful, it has drawbacks which Elastic should not ignore to deal with for performance factor.

The reasons why _ all will be removed are as follow.

  1. Date is duplicated in _all and your other fields.
  2. Numeric data does not compress well since _all is interpreted as a string.
  3. _all has only one analyzer and does not use the pre-field analysis and when querying.
  4. Highlighting faces problems since _all is not being a real field.

So, for 5.1.1+ version of Kibana, _all field might be seen as default-disable and if owner wanna use it will need to change configuration setting.
And this will be absolutely removed after when 6.0 of ELK is released.
By removing _all field, you may get faster performance for indexing since you will not face restrictions in your party.

2. Unified-Highlighter
Highlighter, too, was improved for its performance. Even though there were three Highlighter with three different features such as Query analysis, Sniping , and Scoring.
So that kind of different highlighters make things difficult to maintain.
So, here Unified-Highlighter in order to reduce overheads of previous Highlighter and make things simple to manage.

3. Multi-token Synonyms

This is a big change for elasticsearch, because Lucene Analyzer token stream will give you a problem for your search when you give synonyms or multi-synonyms name to you data.

Since the problem was shown as below. When you add synonyms, previous Analyzer cannot decide synonyms and search words relation properly.

But on near future release, that problem will be solved since the concept and development architecture will be changed as similar as Graph, and thus the relations between data-documents can be checked well.


Fig : Problem with Lucence's Token String and Synonyms


Fig : Problem with Lucence's Token String and Multiple Synonyms


Fig : Concept to resolve Token String and Synonyms problems

It is interesting to watch how elastic will improve its performance upon search when it is released with the features I wrote above.
Thank you.

Elastic{ON}2017 レポートのまとめはこちら!!

Acroquest Technologyでは、キャリア採用を行っています。

  • ビッグデータHadoop/Spark、NoSQL)、データ分析(Elasticsearch、Python関連)、Web開発(SpringCloud/SpringBoot、AngularJS)といった最新のOSSを利用する開発プロジェクトに関わりたい。
  • マイクロサービスDevOpsなどの技術を使ったり、データ分析機械学習などのスキルを活かしたい。
  • 社会貢献性の高いプロジェクトや、顧客の価値を創造するようなプロジェクトで、提案からリリースまで携わりたい。
  • 書籍・雑誌等の執筆や、対外的な勉強会の開催・参加を通した技術の発信、社内勉強会での技術情報共有により、エンジニアとして成長したい。

 
少しでも上記に興味を持たれた方は、是非以下のページをご覧ください。

Elasticsearchを仕事で使いこみたいデータ分析エンジニア募集中! - Acroquest Technology株式会社のエンジニア中途・インターンシップ・契約・委託の求人 - Wantedlywww.wantedly.com

Elastic{ON} 2017 レポート 3日目 | 劇的Before&After!@Walgreens #elasticon

Elastic{ON}2017 レポートのまとめはこちら!!

こんにちは!
Yanagiharaです。

早いもので、3日間のElastic{ON}も終わってしまいました。。

Elastic{ON}では、AMAブースなど、頻繁に議論が行われていたり、
食事やパーティなども充実されていたり、
お祭り的な感じがとても印象的でした!

そしてお目当てであった、Elasticsearchに関する様々な事例が聞けて、
改めて、Elasticsearchって活躍の幅が広い!って感じました😀

参加セッション

そんな最終日、私が参加したセッションは次の通りです。

  1. Walgreens' Journey To Creating an End-to-End Search Platform
  2. Elastic at Datadog
  3. Integrating Human Genetic Data to Help Drive Drug Discovery: Elastic @ Merck
  4. Elasticsearch Search Improvements
  5. The Usual Suspects: Automatic Alerts to Monitor your Cluster
  6. Closing Keynote : Cause Award Honorees

この中でも、大きな事例である、
「Walgreens' Journey To Creating an End-to-End Search Platform」
を、簡単に紹介したいと思います。


Walgreens' Journey To Creating an End-to-End Search Platform

Walgreens

Walgreensはアメリカの薬局チェーンで、店舗数は8000にものぼります。
サンフランシスコでも何店も見かけました😎



そんなWalgreensでも、
ECサイトでの購入と、店舗での購入をつなげることを目指し、
ECサイト上の一般顧客用商品検索にもElasticsearchを使うようにしたそうです。

Before & After!

従来の検索システムには課題がいくつもありました。


  • Analyzer、Scoringに柔軟性がない
  • 改善が、リリースのタイミングに限られる
  • そもそも、システムの中身がブラックボックス化されていてわからない

などなど、たくさんあったそうです😢


ですが、それをElasticsearchにすることでそれらが改善されました。


  • リアルタイムでクエリを調整できる
  • 個々の顧客のデータを取り込むことができるようになった
  • 検索条件を変えてのA/Bテストができるようになった

など、できることが広がったそうです😂

特に、A/Bテストは、変更の柔軟性、反映の手軽さなど、
Elasticsearch化のおかげが大きいですし、
私も取り入れてみたいと思っていたところなので、
ここで事例を知れてよかったです!

Elasticsearch化について

構成はこのような感じでした。

商品情報から各種センサの情報など、多種なソースからのデータを利用して
検索を提供していました。
そこに自動デプロイや、BI可視化の仕組みなどの工夫が組み込まれています。

そして、これらを取り入れたところ・・・
実際にビジネス的な変化も現れました😏


などたくさんの成果があったそうです😉

最後に

改めて振り返ってみて
驚きの最新情報あり、世界的企業のユースケースありで
お腹いっぱいの、非常に濃い3日間でした!

この刺激のまま、日本に帰って、
Elasticsearchをさわり倒したいと思います😚

Elastic{ON}2017 レポートのまとめはこちら!!

Acroquest Technologyでは、キャリア採用を行っています。

  • ビッグデータHadoop/Spark、NoSQL)、データ分析(Elasticsearch、Python関連)、Web開発(SpringCloud/SpringBoot、AngularJS)といった最新のOSSを利用する開発プロジェクトに関わりたい。
  • マイクロサービスDevOpsなどの技術を使ったり、データ分析機械学習などのスキルを活かしたい。
  • 社会貢献性の高いプロジェクトや、顧客の価値を創造するようなプロジェクトで、提案からリリースまで携わりたい。
  • 書籍・雑誌等の執筆や、対外的な勉強会の開催・参加を通した技術の発信、社内勉強会での技術情報共有により、エンジニアとして成長したい。

 
少しでも上記に興味を持たれた方は、是非以下のページをご覧ください。

Elasticsearchを仕事で使いこみたいデータ分析エンジニア募集中! - Acroquest Technology株式会社のエンジニア中途・インターンシップ・契約・委託の求人 - Wantedlywww.wantedly.com