Elastic{ON} 2017 2日目 | What's X-citing in X-Pack #elasticon

Elastic{ON}2017 レポートのまとめはこちら！！

Hi, Everyone.
This is Aung Satt from Acroquest.

Today, I attended to session called "What's X-citing in X-Pack" and there were six presenters presented X-Pack components, such as, Security, Alerting, Monitoring & Management, Reporting, Graph, etc... respectively.

Although, I waited for Machine Learning which was announced to be one component in X-Pack was not appeared in today X-Pack session.
I will summarize by each component as follow.

1. Management & Monitoring

Management will play a role which is not just for Kibana anymore, and which can be used for

1. User Management (v5.0+)
2. Role Management (v5.0+)
3. Search Profiler (v5.1+); which is free with basic license.

Moreover, Monitoring became being able to see overview of Logstash besides of Elasticsearch and Kibana in v5.2.
As revolutions for Monitoring.

1. Cluster Alerts; Proactive, automatic notifications of problems from Watcher
2. Logstash Pipeline Viewer; you can find bottlenecks in your Logstash nodes and plugins.
3. Machine Learning Integration
4. Beats integration

Noticeably changes are Alerts in Monitoring will be always actionable.

2. Security
To make more secure your clusters, Security will remove default password, "changeme" and no more passwords in configuration file and instead of that will single sign on with key authentication.

3. Reporting

Reporting will provides you, more layout options and besides supporting to you downloadable PDF, Reporting will allow you to export you visualization into CSV data.

4. Alerting
Alerting is not changed so much. It will be added Index action which can specify document id for alerting starts from X-Pack v5.3. And Alerting will be powered by Distributed Watch execution which can guarantee for watch execution happens on all nodes and will not do anyworkload on Master node.

Graph

Graph is pretty impressive for its improvement. As you may already know, Graph supports you to understand the relation between documents and Graph has been a stage to make alerts and visualizations on Kibana by just selecting a data node which will be showing in Graph according to your relation of Data.

This can make you to understand more about your data and easier to create reports.
And Graph seems to add new ways to describe your relation of data with Metric table and Swim Lane Table.

In today session, it was good to know the improvements and future possible approaches from x-pack for the value of customers and efficiency.
Be stay in tune, and I will be posting, newest information about ELK from ElasticOn 2017 events.

Thank you.

Elastic{ON}2017 レポートのまとめはこちら！！

Elastic{ON} 2017 2日目 | X-Packに待望のMachine Learningが搭載されます #elasticon

Elastic{ON}2017 レポートのまとめはこちら！！

こんにちは。
@shin0higuchiです。

昨日はBeatsやElasticsearchの新機能・RoadMapなどが公開されましたが、
今日もMachine LearningやKibana、Logstashに関するセッションなどがあり、盛りだくさんな1日でした。

本日も参加したセッションについてフィードバックします。
参加したセッションは下記の通りです。

参加セッション

1. What's the Latest in Logstash?
2. What's X‑citing in X‑Pack?
3. Machine Learning in the Elastic Stack
4. What's Next for Elastic Cloud
5. Elasticsearch SQL
6. Machine Learning and Statistical Methods for Time Series Analysis

今日は面白い内容が盛りだくさんで、全部をブログで伝えるのは難しいほどです。

Logstashのセッションでは、Logstashの設定をKIbana画面から管理できる機能や、
モニタリングに関する発表など、ユーザーにとっての使いやすさが大幅に向上する機能追加が多くありましたし、
X-PackもUI方面での改善がいくつか発表されました。
今回のElastic{ON}は全体的にユーザビリティの向上に重点を置いているようです。

また、ECE(Elastic Cloud Enterprise)の説明もありました。
こちらは、Elastic Cloudのサービスをオンプレミス向けに提供したもので、
GUIからクラスタの作成や監視、細かな設定などを行うことができます。

ある程度大規模なクラスタを運用する際には有力な選択肢の一つになってくるのではないでしょうか。

色々と興味深いセッションがありましたが、
本日の目玉は何と言ってもX-Packに搭載されるMachine Learningですね。

Machine Learning in the Elastic Stack

待望のX-Pack Machine Learningです。
以前からPrelert for Elasticsearchのβ版でElasticsearch・Kibanaと連携できましたが、
ついにX-Packの機能として正式にリリースされます。

教師無しの機械学習によって、
時系列データの異常を検出することができるというものです。

X-PackのMachine Learningでは、データの周期性などを学習して、異常を検知します。
今までのAlerting(Watcher)では、基本的に閾値を指定しておく必要があったのですが、
Machine Learningでは、それを自動判定してくれます。

下のスライドでは、周期性のあるデータからモデルを計算し、異常を検知しています。
また、学習したモデルを使えば、未来のデータ推移を予測することもできます。
現状では予測線を描画する機能はKibanaに実装されていませんが、将来的には実装されると思われます。

人間の目では異常だとわからないデータを抽出したり、
その異常の要因を分析したりと、いままでのElastic Stackでは実現できなかったことが
できるようになり、可能性が大きく広がることでしょう。

実際にX-Packに組み込まれたMachine Learningが、どのように動くのかという話もありました。
クラスタを組んだ時の挙動を理解する上で非常に重要な話を聞くことができました。

デモではセキュリティ方面の利用が多かった印象です。
例えばElasticのデモブースでは、
アクセスログをMachine Learningで解析して不審なIPアドレスを割り出し、
IPアドレスから割り出したアクセス元の位置情報をtilemapで可視化したり、Graphを用いてそのIPアドレスに関連するドメイン名を表示したりしていました。
アクセス解析は一つのメジャーなユースケースになりそうです。

他の分野にも使うことができるか、色々試して見たいですね。
正式リリースはバージョン5.4(4月下旬)とのことなので、今から楽しみです！

ちなみにMachine Learning責任者のSteveさんと写真撮らせてもらいました。

おまけ　〜Elastic{ON} Party〜

2日目はセッションの終了後に盛大なパーティーがありました。
場所はCalifornia Academy of Sciences。なんと博物館での開催でした。

こんな感じ...

Elastic{ON}2017 レポートのまとめはこちら！！

Acroquest Technologyでは、キャリア採用を行っています。

• ビッグデータ（Hadoop/Spark、NoSQL）、データ分析（Elasticsearch、Python関連）、Web開発（SpringCloud/SpringBoot、AngularJS）といった最新のOSSを利用する開発プロジェクトに関わりたい。
• マイクロサービス、DevOpsなどの技術を使ったり、データ分析、機械学習などのスキルを活かしたい。
• 社会貢献性の高いプロジェクトや、顧客の価値を創造するようなプロジェクトで、提案からリリースまで携わりたい。
• 書籍・雑誌等の執筆や、対外的な勉強会の開催・参加を通した技術の発信、社内勉強会での技術情報共有により、エンジニアとして成長したい。

　
少しでも上記に興味を持たれた方は、是非以下のページをご覧ください。

Elasticsearchを仕事で使いこみたいデータ分析エンジニア募集中！ - Acroquest Technology株式会社のエンジニア中途・インターンシップ・契約・委託の求人 - Wantedlywww.wantedly.com

Elastic{ON} 2017 2日目 | Elasticをクラウド上で運用しやすくなるElastic Cloud Enterprise！ #elasticon

Elastic{ON}2017 レポートのまとめはこちら！！

Good evening, everyone!
営業広報の白井です。

今朝は、Women’s Breakfastという企画に参加して、朝食を食べながら、
Elastic社CEOのSteven Schuurman氏やそれぞれの企業で活躍しているcareer womanの方々との、
パネルディスカッションでした！
世界中のcareer womanと話せるなんて、とても新鮮！
これからの女性の働き方について、一緒に話せて、とても刺激となりました！

会の終わりには、Elastic社の方々と記念撮影！

Post from RICOH THETA. - Spherical Image - RICOH THETA

参加セッション

今日も私は可視化的な話のところで、わくわくしました！

私が参加したセッションは以下のとおり。

1. Sustainable Harvesting: How a Few Geeks Learned to Elastic Stack Logs
2. Localizing Kibana for the Global Language Landscape
3. Products, Support, Commerce, and Relevancy: The Story Behind Search on Dell.com
4. Machine Learning in the Elastic Stack
5. What's Next for Elastic Cloud
6. Elastic Cloud Inside Out
7. Machine Learning and Statistical Methods for Time Series Analysis

今日は、ユースケース系のセッションとElastic社発表のセッションを半々くらいで回っていました。
特に気になったのは、最近よく営業でお客様からも話にあがる、Cloudのセッションですね。

What's Next for Elastic Cloud

概要

これまでのElastic Cloudは、Elastic社が用意していたAWS環境上にElastic Cloudを
構築していたのですが、本日紹介されたElastic Cloud Enterpriseが公開されると、
自社持ちのAWSやAzure、自社のプライベートクラウドなどにも簡単に構築できるようになるそうです！

今までは、セキュリティ的な懸念もあり、社内サーバに構築したいと希望される方も多かったので、
かなり構築しやすくなるのではないでしょうか？！

面白いポイント！

テンプレートが用意される

Elasticsearch、Logstash、Kibanaを使用した場合、それぞれのインストーラーをダウンロードして、
インストールして、、、と繰り返していて、手間がかかる部分があったかと思います。
ですが、Elastic Cloud Enterpriseでは、構築用のShellスクリプトが用意されるので、
簡単にElastic Stackが構築できてしまいます！

Admin管理者は、管理UIからなんでも設定できる

Kibanaの画面を見せたいが、ユーザの種類によっては一部の画面は見せたくない、と言った場合がありますよね。
今回は、GUI上で、チェックボックスをポチポチするだけで、
公開範囲やユーザ設定も簡単にできちゃいます！

クラスターの一覧がより見やすく、編集しやすくなる

今までは、どこに何をダウンロードしているかなどがわかりづらかったのが、
一覧が整備されたことで、Elastic Cloud Enterpriseになると、
リソースの管理が簡単にできるようになります！
複数プロジェクトを動かしたい人からするとありがたい機能。

まずは、Beta版として、Platinumライセンス相当の機能が提供されるそうです。

最後に

本日セッション終了後に、Elastic{ON} Partyに参加してきました！
California Academy of Sciencesが貸し切りだったので、夜の博物館を楽しみにながら、
お酒を飲みながら、ダンスパーティー！
踊りつつ、Elastic社の方々と話しつつで、存分に楽しんできました😀

Post from RICOH THETA. - Spherical Image - RICOH THETA

そして、明日はいよいよ最終日。
最後の最後まで、徹底的に調査していくぞ！

Elastic{ON}2017 レポートのまとめはこちら！！

Acroquest Technologyでは、キャリア採用を行っています。

• ビッグデータ（Hadoop/Spark、NoSQL）、データ分析（Elasticsearch、Python関連）、Web開発（SpringCloud/SpringBoot、AngularJS）といった最新のOSSを利用する開発プロジェクトに関わりたい。
• マイクロサービス、DevOpsなどの技術を使ったり、データ分析、機械学習などのスキルを活かしたい。
• 社会貢献性の高いプロジェクトや、顧客の価値を創造するようなプロジェクトで、提案からリリースまで携わりたい。
• 書籍・雑誌等の執筆や、対外的な勉強会の開催・参加を通した技術の発信、社内勉強会での技術情報共有により、エンジニアとして成長したい。

　
少しでも上記に興味を持たれた方は、是非以下のページをご覧ください。

Elasticsearchを仕事で使いこみたいデータ分析エンジニア募集中！ - Acroquest Technology株式会社のエンジニア中途・インターンシップ・契約・委託の求人 - Wantedlywww.wantedly.com

Elastic{ON} 2017 2日目 | Dell.com-検索の裏側 #elasticon

Elastic{ON}2017 レポートのまとめはこちら！！

こんばんは！
Yanagiharaです。

Elastic{ON}2017　2日目！
本日は セッション終了後にパーティがあり、
その会場はなんと、California Academy of Sciencesでした😧
このように変わったパーティ、というのも海外らしいですね😋

では本日も事例を中心にセッション紹介をしていきましょう。

参加セッション

2日目に私が参加したセッションは次の通りです。

1. BoF: Denormalizing Data
2. Products, Support, Commerce, and Relevancy: The Story Behind Search on Dell.com
3. 'Elasticsearch as a Service' in eBay
4. Consensus and Replication in Elasticsearch
5. Ballerina

2日目はECサイト検索を扱った事例もあり、特に印象的だった
「Products, Support, Commerce, and Relevancy: The Story Behind Search on Dell.com」
を、簡単に紹介したいと思います。

Products, Support, Commerce, and Relevancy: The Story Behind Search on Dell.com

概要

おなじみ、ハードウェアで有名なDellは、多国籍向けのマルチテナント検索を行っています。
その規模は、60カ国、21言語以上にのぼり、1日に150万件もの検索があるそうです。

そのような大規模なDell.comの検索基盤にもElasticsearchが使われています。

なぜElasticsearchか

Elasticsearchを使うようになった理由は

• 動かせるまでのシンプルさ
• ローカルで修正が容易なこと
• 今後も進化していくこと

とのことでした。

アーキテクチャはこんな感じになっています。

検索入力の高度な解析

Dell.comでの検索における工夫はこんなにもあるようです😲

その中でも検索において重要なのが、ユーザがその単語で何を探そうとしているか
判別するためのAnalyze（解析）です。

セッションでは、Dell.comにおいて、
入力されたワードが細かく解析される様子をみせてくれました。

「xps 15」と入力すると→「xps-15-***」という商品を探しにいったり、
「8 Giga bites」と入力すると→「MEMORY_8GB」として認識されたり、
様々なルールが適用されていることがわかります。

さらにそのルール決めに使われている辞書も、各言語ごとに用意され、各辞書は3万行にものぼります。

適用したルールが、入力に応じてリアルタイムで適用されているかテストできる、
というデモもみせてくれました。
この仕組みにノウハウが凝縮されていそうです😆

検索の解析ルールの調整を容易にする管理UI

このような高度なルールがありますが、これを設定するのは大変そうです。
そんなルールを設定するための管理画面を自前で作成してありました😍

重み付けを設定したり、

検索対象のON/OFFを設定できたり、と
様々なルールをセットとして登録でき、
国ごとにそれを適用しているようです。

さらに、適用した結果、クエリがどのプロセスで処理されているか、
重み付けによる影響がどの程度の割合か、などを
可視化することができ、これをみてルールを決めることができます。

なんと、この初期版を3〜4ヶ月で作成したそうです😧

これだけリッチな管理UIがあると、検索条件を細かく設定して、
さまざまな顧客やイベントに対してアプローチできそうですね😀

最後に

明日は、Elastic{ON}いよいよ最終日！
明日はWalgreensのセッションもあり、楽しみすぎて今日も眠れません😣

Elastic{ON}2017 レポートのまとめはこちら！！

Acroquest Technologyでは、キャリア採用を行っています。

• ビッグデータ（Hadoop/Spark、NoSQL）、データ分析（Elasticsearch、Python関連）、Web開発（SpringCloud/SpringBoot、AngularJS）といった最新のOSSを利用する開発プロジェクトに関わりたい。
• マイクロサービス、DevOpsなどの技術を使ったり、データ分析、機械学習などのスキルを活かしたい。
• 社会貢献性の高いプロジェクトや、顧客の価値を創造するようなプロジェクトで、提案からリリースまで携わりたい。
• 書籍・雑誌等の執筆や、対外的な勉強会の開催・参加を通した技術の発信、社内勉強会での技術情報共有により、エンジニアとして成長したい。

　
少しでも上記に興味を持たれた方は、是非以下のページをご覧ください。

Elasticsearchを仕事で使いこみたいデータ分析エンジニア募集中！ - Acroquest Technology株式会社のエンジニア中途・インターンシップ・契約・委託の求人 - Wantedlywww.wantedly.com

Elastic{ON} 2017 2日目 | Business EngineとしてのElasticsearch活用事例 #elasticon

Elastic{ON}2017 レポートのまとめはこちら！！

こんにちは。
3年目エンジニアのたなけんです。

Elastic{ON}2日目、参戦してきました。
本日は夜に盛大なパーティーがあり、DJの音楽にノリながらお酒を飲んできました！

写真はKibana開発者のRachidさんとのツーショット。

参加セッション

私が本日参加したセッションはこちら。

1. Microservices, Continuous Delivery, and Elasticsearch at Capital One
2. Tinder: Using the Elastic Stack to Make Connections Around the World
3. Advancing Earth Science with Elasticsearch at Terradue
4. The Engine for Key Security Platforms at Barclays
5. A Standard Query Language for Elasticsearch
6. IT as the Transmission of the Sprint Business Engine

本日は、セッションで発表されたSprint Corporationの事例についてレポートします。

IT as the Transmission of the Sprint Business Engine

発表しているSprint Corporationは、アメリカの加入者数第4位の携帯電話事業者です。
2016年9月末での加入者数は、5919万人。
2013年7月に、ソフトバンクグループが216億ドルで買収し、78%の株式を取得しています。

end to end の監視システムとして、
ライセンスが年に100万ドルと非常にコストがかかるSplunkを使っていたSprint Corporation。
Splunkを導入した際には、「You can see every thing」の言葉にやられたそうです。

Splunkを使ってはいたものの、
Black Fridayのアクセス増加に上手く対応できず、
Solrも並行して使い始めたそうです。

しかしながら、その2か月後、Sprint CorporationはElasticsearchと出会います。

Elasticsearchのみを使って、すべての可視化を行い始めました。

Sprint Corporationのアーキテクチャはこちらの図です。

データの収集には、自社で作成したコレクタを使用し、
今では、データを日に40億レコード、約3TBを収集しています。
ストレージには、Infinidatを使用しています。

当初は可視化にKibanaを使用しておらず、
AngularとD3.jsを使用して可視化していたそうです。

その後、Kibanaを使用するようになったSprint Corporation。
95％の効率化が図れたそうです。

ここからは、Sprintの行っている可視化のユースケースを紹介していきます。

アクセス数の増加するBlack Fridayに乗じて、攻撃を仕掛けてきた場所の監視を行う画面。

MacMiniのキャッシングパフォーマンスを可視化しているのがこちら。

システムアップデートなどがあると、アクセスが増えていることが分かります。

このほかにも、
各国のストアの監視や、クライアントの操作ログ監視などが
発表されていました。

最後には、
Prelert(今後はMachine Learning)による、APIの反応の低下検知について。

Prelertをインストールした２０分後にはこのような結果が見られたとのことで、
最高のツールだと興奮していました！

今回のSprint Corporationの発表のほかにも、各セッションで質問が出るなど、
Machine Learningへの関心が高まっています。

明日はいよいよ最終日。
余すところなく、Elasticの最新情報、入手してきます！

それでは！

Elastic{ON}2017 レポートのまとめはこちら！！

Acroquest Technologyでは、キャリア採用を行っています。

• ビッグデータ（Hadoop/Spark、NoSQL）、データ分析（Elasticsearch、Python関連）、Web開発（SpringCloud/SpringBoot、AngularJS）といった最新のOSSを利用する開発プロジェクトに関わりたい。
• マイクロサービス、DevOpsなどの技術を使ったり、データ分析、機械学習などのスキルを活かしたい。
• 社会貢献性の高いプロジェクトや、顧客の価値を創造するようなプロジェクトで、提案からリリースまで携わりたい。
• 書籍・雑誌等の執筆や、対外的な勉強会の開催・参加を通した技術の発信、社内勉強会での技術情報共有により、エンジニアとして成長したい。

　
少しでも上記に興味を持たれた方は、是非以下のページをご覧ください。

Elasticsearchを仕事で使いこみたいデータ分析エンジニア募集中！ - Acroquest Technology株式会社のエンジニア中途・インターンシップ・契約・委託の求人 - Wantedlywww.wantedly.com

Elastic{ON} 2017 2日目 | Logstashの革新的なNewプラグイン！！#elasticon

Elastic{ON}2017 レポートのまとめはこちら！！

昨日Elastic{ON} 2017 1日目 | General Mills のElasticsearchを使ったWebサイト検索の工夫！ #elasticonを投稿したPlNOKlOです！
こんばんは!

こちらは2日目のPartyが終わって、
かなりテンションが上がっています！

パーティーではElastic社とOEM契約を結んでいる
REDOWLの社長のSteve氏にマーケット戦略について伺ったり、
Kibanaの開発者のRashid Khan氏と写真を撮ったりすることができました😊

さぁ興奮冷めやらぬ状態で、
本日私が参加したセッションをご紹介します！！

参加セッション

1. What's the Latest in Logstash?
2. What's X‑citing in X‑Pack?
3. Strengthen your SIEM: Using Logstash to Connect ArcSight to the Elastic Stack
4. 'Elasticsearch as a Service' in eBay
5. Ballerina
6. Elastic{ON} Party

本日の一押しはやっぱり「What's the Latest in Logstash?」ではないでしょうか！？

私は当社で定期的に行っているElasticハンズオンにて、
司会を務めさせていただいているのですが、
そこでよく参加者から
「Logstashの設定が難しかったです。」
と感想をいただきます。

そうなんです。

現在のLogstashはconfファイルをテキストで記述し、
設定を変更するたびに、コンソール上で動作確認をしなくてはならないため、
初心者の方には少し難しい内容になっているのです。

ハンズオンに参加していなくても、
Logstashを使ったことのある方であれば、
この難しさは理解していただけるのではないでしょうか？

ですが、そんな皆様に朗報です。
LogstashはKibana上で設定を書くことができるようになります！

その名も、Pipeline Visualizerです！！

Logstashではデータの収集、加工、転送を設定するため、
confファイルにそれぞれ、
input,filter,outputを定義しなくてはなりません。

ですが、Pipeline Visualizerを使うことで、
フローチャートのような形でKibanaから設定をすることができます。
そのため、簡単にconfファイルの設定が行えるようになるのです。

なんと簡単なんでしょう😳

また、Pipeline Visualizerでは
Logstash内で行われる各処理の所要時間も把握することができるので、
投入に時間がかかっているか確認することができます。

こちらはLogstashのロードマップで以下のように発表されていました。

いや、具体的にいつになるかが知りたいのに。。。

明日AMAのブースで聞けたら聞いてみようと思います😅

他には「Dissect Filter」などが発表されました。
通常のGrokフィルターと比べて５倍の速度を実現できるそうです！！

「Dissect Filter」など他の発表も知りたい方は、
ぜひAcroquestが開催している個別相談会にご参加ください😄

明日は以下のセッションを聞いてきます！

1. Under the Surface of Optum's Security Big Data Lake
2. Security @ Slack
3. The Elasticsearch Journey at Verizon
4. Closing Keynote with Shay Banon: Cause Award Honorees

最終日もこの中から面白かったものをあげるので、
お楽しみにしてください✋

"Please enjoy using Elasticsearch !"

Elastic{ON}2017 レポートのまとめはこちら！！

Acroquest Technologyでは、キャリア採用を行っています。

• ビッグデータ（Hadoop/Spark、NoSQL）、データ分析（Elasticsearch、Python関連）、Web開発（SpringCloud/SpringBoot、AngularJS）といった最新のOSSを利用する開発プロジェクトに関わりたい。
• マイクロサービス、DevOpsなどの技術を使ったり、データ分析、機械学習などのスキルを活かしたい。
• 社会貢献性の高いプロジェクトや、顧客の価値を創造するようなプロジェクトで、提案からリリースまで携わりたい。
• 書籍・雑誌等の執筆や、対外的な勉強会の開催・参加を通した技術の発信、社内勉強会での技術情報共有により、エンジニアとして成長したい。

　
少しでも上記に興味を持たれた方は、是非以下のページをご覧ください。

Elasticsearchを仕事で使いこみたいデータ分析エンジニア募集中！ - Acroquest Technology株式会社のエンジニア中途・インターンシップ・契約・委託の求人 - Wantedlywww.wantedly.com

Elastic{ON} 2017 2日目 ｜Luceneの新機能の紹介！ #elasticon

Elastic{ON}2017 レポートのまとめはこちら！！

こんにちは！@tereka114です。
Elastic{ON}2日目が終わりました！

2日目はMachine Learningなど注目のセッションが多かったです。
そして、私はPythonistaのBoFに行ってきました。その感想はこちらです。

Elastic{ON} 2017 ２日目｜ BoF: Pythonista Unite!に挑戦しました - Taste of Tech Topics

今日は「Get the Lay of the Lucene Land」を紹介します。
他にも面白いセッションがたくさんありました！
機械学習を主に業務として担当しているので、もちろんこれらも非常に面白かったです。
こちらは、弊社の他の参加者が紹介する予定です！お待ち下さい。

1. Get the Lay of the Lucene Land
2. BoF: Pythonistas, Unite!
3. Machine Learning in the Elastic Stack
4. The Engine for Key Security Platforms at Barclays
5. Machine Learning and Statistical Methods for Time Series Analysis

Get the Lay of the Lucene Land

Luceneの今と今後の話がありました。
LuceneはElasticsearchのバックエンドに使われている検索エンジンです。
Elasticsearchだけではなく、Solrにも使われています。

普段、Elasticsearchを触っていますが、検索のバックエンドまで意識していなかったです。
そのため、Elasticsearchのバックエンドで動いているLuceneがどんな機能・特徴を
持っているのか、非常に楽しみなセッションでした。

概要

最初にLuceneの近況を紹介です。Lucene 4からLucene7までの機能一覧です。

現状リリースされているのは、Lucene 6です。
このセッションの話はLucene 7までにどのような機能が追加されるかの説明です。

新機能紹介

Queryの改善

まずは、Better query parsingにより検索の改善が行われます。

また、Range FieldsもBKD Treeを使って改善するようです。
BKD Treeは検索でよく使われる構造で検索の速度を向上させます。

この2つは明日のセッション（Elasticsearch Search Improvements）で話される予定です。

この後、index Sorting、Sparce Docやその他実装予定の機能の話がありました。

Index Sorting

最初にIndex Sortingの設定の話です。
doc valueをランダムな順序とするか、また、DESC（降順）に並び替えることにより
どれだけ性能が異なるのか紹介がありました。

ランダムな順序よりも、Indexをする時間は増加しました。
しかし、その他Top10取得の計算などの速度は向上しています。

また、検索面の性能も向上していると説明がありました。
これらをどう組み合わせて検索するかが、システムの検索性能向上の鍵になりそうです。

Sparse Doc

話を聞いていて個人的にSparse doc value fieldsは面白かったです。
Sparse Doc保存方法を変更するとディスク消費量が改善されるが、
ソートの時間がかかってしまうとのことです。

その他、Luceneに追加される機能たち

また、Queryをクエリをどのような順番でどう実行するかを構築するQuery Planningや
そのQuery PlanningのBenchmarkなどの検証を行っていました。

そしてLuceneには今後、これらの機能も追加される予定です。

最後に

明日は最終日です。この2日間だけでも多くの新しい情報を得ることができました。
最終日もがんばってきます！！

Elastic{ON}2017 レポートのまとめはこちら！！

Acroquest Technologyでは、キャリア採用を行っています。

• ビッグデータ（Hadoop/Spark、NoSQL）、データ分析（Elasticsearch、Python関連）、Web開発（SpringCloud/SpringBoot、AngularJS）といった最新のOSSを利用する開発プロジェクトに関わりたい。
• マイクロサービス、DevOpsなどの技術を使ったり、データ分析、機械学習などのスキルを活かしたい。
• 社会貢献性の高いプロジェクトや、顧客の価値を創造するようなプロジェクトで、提案からリリースまで携わりたい。
• 書籍・雑誌等の執筆や、対外的な勉強会の開催・参加を通した技術の発信、社内勉強会での技術情報共有により、エンジニアとして成長したい。

　
少しでも上記に興味を持たれた方は、是非以下のページをご覧ください。

Elasticsearchを仕事で使いこみたいデータ分析エンジニア募集中！ - Acroquest Technology株式会社のエンジニア中途・インターンシップ・契約・委託の求人 - Wantedlywww.wantedly.com