4. AWS、Crawl4AIとBedrock Knowledge BasesのRAG取り込みパイプラインを公開
技術記事公開：11月2日。 新しいBedrock機能の発売ではなく、Crawl4AIをWebデータ前処理に使う公式サンプル構成です。
なぜ重要か
RAGで誤回答が増える原因はLLMだけでなく、ナビゲーションや古い本文を混ぜたインデックスにあります。本文だけの抽出と出典URL・取得時刻のメタデータ化が有効です。
実装・API
textEventBridge (定期実行)
-> ECS Fargate (Crawl4AI / JS描画 / 本文抽出)
-> S3 (Markdown + metadata sidecar)
-> Bedrock Knowledge Bases StartIngestionJob
-> Retrieve / AgenticRetrieveStream| 項目 | 確認事項 |
|---|---|
| 標準選択 | 通常の公開サイトならManaged Knowledge BaseのWeb Crawlerを優先 |
| カスタム | Crawl4AIでCSS範囲・深さ・ページ数・URLパターンを制御 |
| チャンク | 既定300トークン、重複20%。作成後の戦略変更には新データソース |
| 検索 | Retrieve、生成付きAgenticRetrieveStream |
| 料金 | Fargate 2vCPU/4GB、S3、CloudWatch、KMS、KB等の利用料 |
| 制限 | robots.txt遵守、許可された公開ページのみ。サンプルはログイン非対応 |
注意： メタデータによる検索フィルタはアクセス制御ではありません。重複実行防止、失敗通知、削除同期はサンプルに不足するため本番利用時に追加してください。
要点： AWSは11月2日、Crawl4AIでWebページをMarkdownとメタデータに変換してBedrock Knowledge Basesへ取り込む実装ガイドを公開した。 EventBridge→ECS Fargate→S3→Knowledge Basesの取り込みジョブという構成をCDKで再現できる。 JavaScript描画、本文抽出、URL範囲制限、検索結果の出典管理を自分で調整できる。
一次情報： Amazon Web Services公式記事