こんにちは、データ分析エンジニアの木介です。
雨の多い6月も終わりに近づき、夏の気配を感じる頃になりました。
今回は新しくAWSから発表されたAmazon Bedrock Managed Knowledge Basesを紹介します。
従来のKnowledge Basesと比較して、何が変わったかを紹介します。
1. はじめに
RAGを構築するには、データソースからの取り込み、文書解析、チャンク分割、Embedding生成、ベクトルDBへの保存、インデックス管理、検索方式、再ランキング、データ更新・削除反映などを検討する必要があります。
Amazon Bedrock Managed Knowledge Bases (以下、Managed KB)では、これらのうち取り込み、変換、ベクトル保存、検索最適化といったRAG基盤の多くがマネージドで提供されるため、開発者はデータソースの選定や検索・回答品質の調整に注力できます。
今回は、このManaged KB を使って、日本語ドキュメントの検索や Agentic Retrieval の動作を試していきます。
2. Managed KBとは？
Managed KBは、RAGに必要なデータソース接続、取り込み、文書変換、チャンク分割、Embedding生成、ベクトルストアへの保存、検索、回答生成時のコンテキスト付与をマネージドに提供する機能です。
従来はこれらを個別に設計・実装・運用する必要がありましたが、Managed KBを利用することで、RAG基盤の構築負荷を抑えながら、独自データを活用した生成AIアプリケーションを構築できます。
- S3、SharePoint、Confluence、Web Crawlerなどのデータソースと連携できる
- 文書の取り込み、変換、チャンク分割、Embeddingをマネージドに実行できる
- ベクトルストアへの保存や検索処理をBedrockから統合的に扱える
- Retrieve API / RetrieveAndGenerate APIにより、検索結果を回答生成に利用できる
- 引用元情報を含めた回答生成がしやすく、根拠確認やハルシネーション抑制に役立つ
これにより、開発者はRAG基盤そのものの作り込みではなく、どのデータを使うか、どのように検索精度を高めるか、回答をどう業務に組み込むかに集中できます。
PoCでは短期間でRAGを試しやすくなり、本番導入ではデータ更新や検索処理の運用負荷を抑えながら、回答品質の改善に注力しやすくなる点が嬉しいポイントです。
2.1 従来のBedrock Knowledge Basesとの違い
従来の Knowledge Bases との主な違いは以下です。
| 項目 | Managed KB | 従来の Knowledge Bases |
|---|---|---|
| ベクトルストア | Bedrock 側で管理 | 利用者が選択・管理 |
| ドキュメント解析方法 | Smart Parsing | 複数方式から選択 |
| 検索方式 | ハイブリッド検索 | セマンティック検索、ハイブリッド検索 |
| Agentic Retrieval | 対応 | 非対応 |
大きな違いは、ドキュメントの解析から検索までのRAG に必要な構成をよりマネージドに扱える点です。
Smart Parsingにより様々なファイルから、自動的に画像や音声、動画といったコンテンツを検出し、最適な解析処理を提供してくれます。
またManaged KBでのみ利用できるAgentic Retrieval では、ユーザーの質問や検索結果に応じて動的に検索クエリを生成し、より柔軟なRAGが可能となります。
また利用する際のコストとしては以下になります。
主に検索対象とするデータ量と検索回数に応じて従量課金される形です。
| 項目 | 料金 |
|---|---|
| インデックスストレージ | $5.00 / GB・月 |
| Standard Retrieval | $1.00 / 1,000 API calls |
| Agentic Retrieval | $4.00 / 1,000 API calls |
| Managed Parser | $0 |
| Embeddings 生成 | $0 |
| Reranking | $0 |
今回は、この Managed KB を使って、日本語 PDF、図表を含むドキュメント、Agentic Retrieval の動作を確認していきます。
3. Managed KB を試してみる
3.1 Managed KB を作成する
では、さっそくManaged KB を試していきましょう。
作成方法は、従来のKnowledge Basesを作成するAWSコンソール上から以下の「Create managed knowledge base」を選択することで可能です。
Managed KB を作成する
データソースとしては、以下を現状サポートしています。
S3 やSharePointに加えて、Google DriveやOneDriveとの連携も可能となっています。
今回はS3 をデータソースとして選択します。
選択できるデータソース
ドキュメントのパース方法については、「Managed Parser」のみを選択できます。
こちらは取り込まれるドキュメントに応じて最適な解析方法を選択してくれるものになります。
ドキュメント解析設定
また、以下の設定からindexに含めるモーダルを選択可能です。
テキストの他にも、画像、音声、動画をサポートしています。
今回は画像だけを有効にして、画像が含まれるPDFやPPTXの内容を取り込めるかも確認します。
詳細設定
以上で、Managed KB を作成することが出来ます。
今回の検証では、以下のIPAで公開されているドキュメントをそれぞれS3 に配置して取り込みを行いました。
PowerPoint/Excel/PDF/Wordに対して、それぞれ検索を試していきたいと思います。
3.2 PowerPointを検索する
まずはPowerPointについて検索をしてみました。
質問
やぶられにくいパスワードについて教えてください
検索対象のドキュメント
- 対象ドキュメント: やぶられにくいパスワード.pptx
検索結果
例えば、ネコがすきな人は「ねこがすき」というフレーズを、ローマ字に直します。 「nekogasuki」となり、これだけで10文字のパスワードになります。 また、アルファベット小文字の他に、アルファベットの大文字、記号、数字など、多くの文字種を使うと、よりやぶられにくいパスワードになります。 そこで、例えば、 ・フレーズ内の助詞は大文字にする ・末尾に「！」を２つ追加する ・またその後ろには好きな野球選手の背番号である「06」を追加する といったルールを設けることで、「nekogasuki」というパスワードを「nekoGAsuki!!06」というパスワードへさらに変化させます。 ...
PowerPointでは日本語の内容でも、スライド内の文字と合わせてメモに記載されている内容も検索出来ました。
3.3 Excelを検索する
次はExcelを検索した結果です。
質問
やぶられにくいパスワードについて教えてください
検索対象のドキュメント
- 対象ドキュメント: サイバーセキュリティ経営可視化ツール.xlsx
検索結果
サイバーセキュリティ経営ガイドラインVer3.0付録A-2チェックシート評価結果 チェックリスト1 指示１：サイバーセキュリティリスクの認識、組織全体での対応方針の策定 指示２：サイバーセキュリティリスク管理体制の構築 指示３：サイバーセキュリティ対策のための資源（予算、人材等）確保 指示４：サイバーセキュリティリスクの把握とリスク対応に関する計画の策定 指示５：サイバーセキュリティリスクに効果的に対応する仕組みの構築 ...
表の構造は壊れてしまいますが、検索できることが分かりました。
3.4 PDFを検索する
次に日本語のPDFをターゲットに検索をしてみます。
質問
ベクトルデータベースについて教えて
検索対象のドキュメント
- 対象ドキュメント: データ利活用・データスペース ガイドブック第 2.1 版
検索対象ドキュメント
検索結果
2 #07 - 1 - +3. LLT. XTOE - 7 - 1 #07 E # - 1 (PDF, - 2 X ( - P. ST 3. AII- Z 3 E AI 1 (X. IN #) 215 OF FAME Itc. 71 1 (2) 3 - TO : - 10 HT 3 , XII - JSON, CSV, XML - [RDB] K3D. 1 - [NoSQL] Etc. ") 11113. 4 - DMBOK KK 111 "/- 111 (P2P) XTLC- SPOF ( 3C1X-I-X 3 : API, .. .X- 1 - LEALT SPOF L - , +723517 1 1- 495, 4 - DMBOK KK 111 "/- 111 (P2P) XTLC- SPOF ( 3C1X-I-X 3 : API, .. .X- 1 - LEALT SPOF L - , +723517 1 1- 495, ...
残念ながら日本語のPDFでは文字化けしたような内容が出力されるのみでした。
まだ日本語PDFを検索することはできないようです。
3.5 Wordを検索する
つぎにWordについても同様に検索していきます。
質問
プロジェクトマネジメントの職種の概要について教えてください
検索対象のドキュメント
- 対象ドキュメント: プロジェクトマネジメント.docx
検索結果
274 © ver.1.1 275 © ver.1.1 / / 276 © IIIII ver.1.1 500 10 50 500 5 10 50 1 10 277 © ver.1.1 IT 278 © ver.1.1 500 10 50 500 5 WBS 10 50 1 10 © 279 ver.1.1 280 © ver.1.1 500 10 PDM(Precedence diagramming 50 500 method) 5 ADM(Arrow diagramming method) Conditional diagramming method 10 50 Critical Path Method, PERT [ ] 10 © 281 ver.1.1 282 © IIIII ver.1.1 500 10 50 500 5 10 50 1 EVM(Earned value management) 00 10 283 © ver.1.1 284 © ver.1.1 500 10 50 500 5 10 50 1 10 285 © ver.1.1 286 © IIII ver.1.1 500 10 50 500 5 ...
残念ながら日本語を含むWordも同様に文字化けした結果となりました。
3.6 Agentic Retrievalを試す
つぎに、Agentic Retrievalを試してみます。
新しく追加されたAgenticRetrieveStream APIを利用することが出来ます。
以下はAWSコンソールからの検索結果例です。
質問
チェックツール 2-2
検索対象のドキュメント
- 対象ドキュメント: サイバーセキュリティ経営可視化ツール
検索時のクエリ
上記は「Iteration 1」⇒「Iteration 2」の順で検索が進んでいます。
「Iteration 1」では検索クエリとして「チェックツール 2-2 チェック項目」が生成され、検索結果を元に「Plan: next stage」で次の検索クエリ生成方針を生成しています。
「Iteration 2」では前回の検索結果・検索クエリ生成方針を元に更に詳細な検索クエリとして「サイバーセキュリティ経営ガイドライン」が生成されています。
上記からIteration を繰り返すことで検索した情報を元に検索クエリを生成出来ていることを確認できました。
4. 制限事項
現状のManaged KBは下記の制限事項が確認できました。
- 日本語が記載されたドキュメントについては、ファイル形式ごとに制限がある場合がありました。
- PowerPoint／Excel → 日本語の内容も解析できた
- Word／PDF → 日本語の内容は文字化けしてしまう
- その他の制限事項
- 検索方式はハイブリッド検索のみ
- データソース作成は非同期
- パース方式やチャンク方式は作成後に変更できない
- Agentic Retrieval は回答生成ではなく、検索結果の取得を行う API
- Google Drive の画像抽出など、一部コネクタでは未対応の機能がある
特に日本語検索については、今回試してみた通り、PDFやWordなどの検索をサポートしていないため対応が待たれます。
5. まとめ
今回は新しく追加されたManaged KB を試してみました。
Agentに必要なRAG環境を簡単に構築することが出来る機能となっていました。
特に「Smart Parsing」で様々なドキュメントに自動的に対応して取り込みを行えることが魅力的だと感じました。
複数種類のドキュメントのRAGが必要なAgentで利用するRAG基盤の候補となりそうです。
Acroquest Technologyでは、キャリア採用を行っています。
- Azure OpenAI／Amazon Bedrock／ChatGPT／Claude／Gemini 等を活用した、生成AI・AIエージェントシステムの開発
- RAG、マルチエージェント、MCP など、LLMを活用した次世代アプリケーションの研究・実装
- 自然言語／画像／音声／動画解析など、ディープラーニングを活用したAIソリューション開発
- マイクロサービス・DevOps・クラウドネイティブ技術を活用したシステム開発
- 技術ブログ、書籍執筆、カンファレンス登壇、OSS活動など、社内外への技術発信も積極推進
少しでも上記に興味を持たれた方は、是非以下のページをご覧ください。
