Taste of Tech Topics

Taste of Tech Topics

Acroquest Technology株式会社のエンジニアが書く技術ブログ

第40回 Elasticsearch勉強会で「Searchable Snapshot」について発表しました

こんにちは、@shin0higuchiです😊

昨日は 第40回となる、Elasticsearch勉強会がオンライン開催されました。
www.meetup.com

開催概要(Meetupイベントページより抜粋)

===============================================
■開催日時
2/25(木)19:30~21:00
■内容
登壇
1.株式会社ZOZOテクノロジーズ 有村和真さん
ZOZOTOWNとElasticsearch(ElasticCloud)のこれまで/これから」

2.Acroquest 樋口慎さん
「Searchable Snapshotでコスト削減」

3.Elastic社 鈴木章太郎さん
「Elastic Stack & Cloud 7.11 Technical Enablement ダイジェスト版」

===============================================

「Searchable Snapshotでコスト削減」の内容

今回私が発表した内容を簡単に紹介します。
詳細はこちらの発表資料をご覧ください。

www2.slideshare.net

今回のバージョンでGAとなった「Searchable Snapshot」に関する発表でした。
Searchable Snapshotとは、クラウドストレージなどに置いたSnapshotを、Elasticsearchにマウントして検索できるようにする機能です。
従来であればノード障害に備えてレプリカシャードを保持する必要があったケースでも、
Searchable Snapshotを利用すればプライマリシャードのみ持てば良いので、最大50%のストレージ削減が可能です。
結果としてコストの削減や、シャード数が減ることによるヒープ使用低減が期待できます。
f:id:shin0higuchi:20210225220209p:plain:w400
f:id:shin0higuchi:20210225215933p:plain:w400


使い方としては、Snapshotを従来通り取得し、Mount Snapshot API を利用して検索可能状態にします。
マウントする際に、SnapshotのファイルがElasticsearchのローカルにコピーされるため、検索のたびにSnapshotにアクセスすることはありません。
(つまりパフォーマンスの大きな劣化がない、クラウドストレージからの読み出しコストが抑えられる)

POST _snapshot/fs_backup/my_snapshot/_mount
{
  "index": "kibana_sample_data_logs",
  "renamed_index": "kibana_sample_data_logs_snapshot",
  "index_settings":{
    "index.number_of_replicas":0
  },
  "ignored_index_settings": ["index.refresh_interval"]
}

www.elastic.co

また、Index Lifecycle Management からも制御ができるので、
時系列データのライフサイクルに組み込むのは定石になりそうな予感です。
f:id:shin0higuchi:20210225220654p:plain:w600

次のマイナーバージョンである 7.12 では、
Snapshotのうち、検索に必要なメタデータのみをローカルにコピーするオプションも利用可能になる予定で、
ますますストレージを効率的に使うことができるようになりそうです。
リリースが今から楽しみですね。

さいごに

勉強会全体の動画アーカイブYoutubeにて公開される予定ですので、
興味があれば是非ご覧ください。

お読みいただきありがとうございました。
それでは。

Acroquest Technologyでは、キャリア採用を行っています。

  • ディープラーニング等を使った自然言語/画像/音声/動画解析の研究開発
  • Elasticsearch等を使ったデータ収集/分析/可視化
  • マイクロサービス、DevOps、最新のOSSを利用する開発プロジェクト
  • 書籍・雑誌等の執筆や、社内外での技術の発信・共有によるエンジニアとしての成長

 
少しでも上記に興味を持たれた方は、是非以下のページをご覧ください。

【データ分析】
Kaggle Masterと働きたい尖ったエンジニアWanted! - Acroquest Technology株式会社のデータサイエンティストの求人 - Wantedlywww.wantedly.com