こんにちは、@shin0higuchiです😊
昨日は 第40回となる、Elasticsearch勉強会がオンライン開催されました。
www.meetup.com
開催概要（Meetupイベントページより抜粋）
===============================================
■開催日時
2/25(木)19:30～21:00
■内容
登壇
1.株式会社ZOZOテクノロジーズ 有村和真さん
「ZOZOTOWNとElasticsearch(ElasticCloud)のこれまで/これから」
2.Acroquest 樋口慎さん
「Searchable Snapshotでコスト削減」
3.Elastic社 鈴木章太郎さん
「Elastic Stack & Cloud 7.11 Technical Enablement ダイジェスト版」
===============================================
「Searchable Snapshotでコスト削減」の内容
今回私が発表した内容を簡単に紹介します。
詳細はこちらの発表資料をご覧ください。
今回のバージョンでGAとなった「Searchable Snapshot」に関する発表でした。
Searchable Snapshotとは、クラウドストレージなどに置いたSnapshotを、Elasticsearchにマウントして検索できるようにする機能です。
従来であればノード障害に備えてレプリカシャードを保持する必要があったケースでも、
Searchable Snapshotを利用すればプライマリシャードのみ持てば良いので、最大50％のストレージ削減が可能です。
結果としてコストの削減や、シャード数が減ることによるヒープ使用低減が期待できます。
使い方としては、Snapshotを従来通り取得し、Mount Snapshot API を利用して検索可能状態にします。
マウントする際に、SnapshotのファイルがElasticsearchのローカルにコピーされるため、検索のたびにSnapshotにアクセスすることはありません。
（つまりパフォーマンスの大きな劣化がない、クラウドストレージからの読み出しコストが抑えられる）
POST _snapshot/fs_backup/my_snapshot/_mount { "index": "kibana_sample_data_logs", "renamed_index": "kibana_sample_data_logs_snapshot", "index_settings":{ "index.number_of_replicas":0 }, "ignored_index_settings": ["index.refresh_interval"] }
また、Index Lifecycle Management からも制御ができるので、
時系列データのライフサイクルに組み込むのは定石になりそうな予感です。
次のマイナーバージョンである 7.12 では、
Snapshotのうち、検索に必要なメタデータのみをローカルにコピーするオプションも利用可能になる予定で、
ますますストレージを効率的に使うことができるようになりそうです。
リリースが今から楽しみですね。
さいごに
勉強会全体の動画アーカイブはYoutubeにて公開される予定ですので、
興味があれば是非ご覧ください。
お読みいただきありがとうございました。
それでは。
Acroquest Technologyでは、キャリア採用を行っています。
- ディープラーニング等を使った自然言語／画像／音声／動画解析の研究開発
- Elasticsearch等を使ったデータ収集／分析／可視化
- マイクロサービス、DevOps、最新のOSSを利用する開発プロジェクト
- 書籍・雑誌等の執筆や、社内外での技術の発信・共有によるエンジニアとしての成長
少しでも上記に興味を持たれた方は、是非以下のページをご覧ください。【データ分析】
Kaggle Masterと働きたい尖ったエンジニアWanted！ - Acroquest Technology株式会社のデータサイエンティストの求人 - Wantedlywww.wantedly.com
