Taste of Tech Topics

Acroquest Technology株式会社のエンジニアが書く技術ブログ

2024年アドベントカレンダー振り返り、今年は生成AIと検索が大反響

皆さんこんにちは
Acroquestのデータサイエンスチーム「YAMALEX」のチームリーダ、@tereka114です。
YAMALEXチームでは、コンペティションへの参加や自社製品開発、技術研究などに日々取り組んでいます。

今年も、アドベントカレンダーとして、9つの記事を本ブログで投稿しました。
本記事では、今年の記事の傾向や、私個人が特に面白いと感じた記事を紹介します。

本ブログの今年のアドベントカレンダー記事投稿傾向

今年は生成AI関係(主にBedrock)とElasticsearchの記事を執筆しました。
生成AI関係はここ数年、技術の進歩が活発になっており、今年のアドベントカレンダーでも多数の記事が投稿されていました。
そのため、アドベントカレンダーに限らず、当ブログにおいても、非常に執筆記事が増えました。

今年、本ブログで投稿した、アドベントカレンダー記事は以下の通りです。

日付 タイトル Advent Calendarのテーマ
12/11 ElasticsearchでLIKE検索のような部分一致検索を高速に実現する方法 - Taste of Tech Topics
12/13 Elastic CloudでObservabilityを簡単に始める 2024年版 - Taste of Tech Topics
12/16 Amazon Bedrock の新モデル Amazon Nova の精度を確認してみた - Taste of Tech Topics
12/17 Amazon Bedrock Knowledge Baseのクエリフィルター自動生成で検索の精度を向上させる - Taste of Tech Topics
12/17 Elasticsearchのハイブリッド検索を用いて高精度なRAGを簡単に実現する - Taste of Tech Topics
12/23 Amazon Bedrock Knowledge Base の構造化データ取得はどこまで複雑なクエリに対応できるか - Taste of Tech Topics
12/24 Difyの基本!ワークフローとノードのおさらい - Taste of Tech Topics
12/24 vLLMを利用したLLM推論高速化テクニック - Taste of Tech Topics
12/25 PDFドキュメントを画像のまま検索できるColQwen2でマルチモーダル検索を試す - Taste of Tech Topics

特に読んで欲しい記事3選

アドベントカレンダーに投稿した記事の中で私が特に読んで役立つと思った記事を3つ紹介します。

ElasticsearchでLIKE検索のような部分一致検索を高速に実現する方法

MySQLPostgreSQLなどのRDBではLIKE検索は可能ですが、LIKE検索の速度は非常に遅いです。
Elasticsearchは柔軟な検索エンジンであるため、LIKE検索をサポートしていますが、そのLIKE検索の性能を十分に引き出すには工夫が必要になります。
記事では、LIKE検索を実現するためのいくつかのパタンを紹介していますので詳細はぜひ、御覧ください。

acro-engineer.hatenablog.com

PDFドキュメントを画像のまま検索できるColQwen2でマルチモーダル検索を試す

PDFドキュメントに画像が含まれている場合、単純な抽出では正しく検索できません。
その場合、PDFのページを画像化するのが一つの手段です。

本記事では、ドキュメントをVLM(Vision Language Model)で埋め込むColPailに対して、複数言語対応モデル(日本語込)のQwen2-VLを組み込んだColQwen2を活用してPDFに対する画像検索を実施することで期待のページを検索できました。
詳しい内容はこちらの記事を御覧ください。
acro-engineer.hatenablog.com

vLLMを利用したLLM推論高速化テクニック

LLMをHuggingface(transformers)で推論すると現実的に難しい計算時間がかかることがあります。
しかし、本記事で紹介しているvLLMを利用すると、高速に推論できます。
また、vLLMは推論に関する便利な機能を多く実装されており、高速に推論するのみならず、CPUオフロードなどの巨大モデルを運用する機能やGPUメモリ節約のための量子化対応も備わっています。

細かいテクニックは、記事に掲載しましたので御覧ください。

acro-engineer.hatenablog.com

最後に

今年のアドベントカレンダーを紹介してきました。
非常に面白い記事が多く、生成AIをはじめとした検索などの関連技術が大きく伸びた1年に思えます。

来年も引き続き良い情報を提供していきたいと思います!

Acroquest Technologyでは、キャリア採用を行っています。

  • Azure OpenAI/Amazon Bedrock等を使った生成AIソリューションの開発
  • ディープラーニング等を使った自然言語/画像/音声/動画解析の研究開発
  • マイクロサービス、DevOps、最新のOSSクラウドサービスを利用する開発プロジェクト
  • 書籍・雑誌等の執筆や、社内外での技術の発信・共有によるエンジニアとしての成長

少しでも上記に興味を持たれた方は、是非以下のページをご覧ください。

www.wantedly.com