翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

# Amazon Bedrock の評価を使用して RAG ソースのパフォーマンスを評価する
<a name="evaluation-kb"></a>

計算されたメトリクスを使用すると、検索拡張生成 (RAG) システムがデータソースから関連情報をどの程度効果的に取得するか、生成されたレスポンスが質問への回答にどの程度効果的であるかを評価できます。RAG 評価の結果を使って、さまざまな Amazon Bedrock ナレッジベースとその他の RAG ソースを比較し、アプリケーションに最適なナレッジベースまたは RAG システムを選択できます。

2 つの異なるタイプの RAG 評価ジョブを設定できます。
+ **取得のみ** – *retrieve-only* RAG 評価ジョブのレポートは、RAG ソースから取得したデータに基づいています。Amazon Bedrock ナレッジベースを評価することも、外部 RAG ソースから独自の推論レスポンスデータを取り込むこともできます。
+ **取得と生成** – *retrieve-and-generate* RAG 評価ジョブのレポートは、ナレッジベースから取得したデータと、レスポンスジェネレーターモデルが生成した概要に基づいています。Amazon Bedrock ナレッジベースとレスポンスジェネレーターモデルを使用することも、外部 RAG ソースから独自の推論レスポンスデータを取り込むこともできます。

## サポートされているモデル
<a name="evaluation-kb-supported"></a>

RAG 評価ジョブを作成するには、以下のリストの評価者モデルのうち、少なくとも 1 つにアクセスできる必要があります。Amazon Bedrock モデルを使用してレスポンスを生成する retrieve-and-generate ジョブを作成するには、リストされているジェネレーターレスポンスモデルの少なくとも 1 つへのアクセス権が付与されている必要があります。

モデルに対するアクセス権の取得とリージョンの可用性の詳細については、「[モデルへのアクセスをリクエストする](model-access.md)」を参照してください。

### サポートされている評価者モデル (組み込みメトリクス)
<a name="evaluation-kb-supported-evaluator"></a>
+ Amazon Nova Pro – `amazon.nova-pro-v1:0`
+ Anthropic Claude 3.5 Sonnet v1 – `anthropic.claude-3-5-sonnet-20240620-v1:0`
+ Anthropic Claude 3.5 Sonnet v2 – `anthropic.claude-3-5-sonnet-20241022-v2:0`
+ Anthropic Claude 3.7 Sonnet – `anthropic.claude-3-7-sonnet-20250219-v1:0`
+ Anthropic Claude 3 Haiku – `anthropic.claude-3-haiku-20240307-v1:0`
+ Anthropic Claude 3.5 Haiku – `anthropic.claude-3-5-haiku-20241022-v1:0`
+ Meta Llama 3.1 70B Instruct – `meta.llama3-1-70b-instruct-v1:0`
+ Mistral Large – `mistral.mistral-large-2402-v1:0`

[クロスリージョン推論](cross-region-inference.md)プロファイルは、上記のモデルでサポートされています。詳細については[サポートされているクロスリージョン推論プロファイル](inference-profiles-support.md#inference-profiles-support-system)を参照してください。

### サポートされている評価者モデル (カスタムメトリクス)
<a name="evaluation-kb-supported-evaluator-custom"></a>
+ Mistral Large 24.02 – `mistral.mistral-large-2402-v1:0`
+ Mistral Large 24.07 – `mistral.mistral-large-2407-v1:0`
+ Anthropic Claude 3.5 Sonnet v1 – `anthropic.claude-3-5-sonnet-20240620-v1:0`
+ Anthropic Claude 3.5 Sonnet v2 – `anthropic.claude-3-5-sonnet-20241022-v2:0`
+ Anthropic Claude 3.7 Sonnet – `anthropic.claude-3-7-sonnet-20250219-v1:0`
+ Anthropic Claude 3 Haiku 3 – `anthropic.claude-3-haiku-20240307-v1:0`
+ Anthropic Claude 3 Haiku 3.5 – `anthropic.claude-3-5-haiku-20241022-v1:0`
+ Meta Llama 3.1 70B Instruct – `meta.llama3-1-70b-instruct-v1:0`
+ Meta Llama 3.3 70B Instruct – `meta.llama3-3-70b-instruct-v1:0`
+ Amazon Nova Pro – `amazon.nova-pro-v1:0`

[クロスリージョン推論](cross-region-inference.md)プロファイルは、上記のモデルでサポートされています。詳細については[サポートされているクロスリージョン推論プロファイル](inference-profiles-support.md#inference-profiles-support-system)を参照してください。

### サポートされているレスポンスジェネレーターモデル
<a name="evaluation-kb-supported-generator"></a>

Amazon Bedrock では、次のモデルタイプを評価ジョブのレスポンスジェネレーターモデルとして使用できます。Amazon Bedrock 以外のモデルから独自の推論レスポンスデータを取り込むこともできます。
+ 基盤モデル – [Bedrock でのモデルの使用](foundation-models-reference.md)
+ Amazon Bedrock Marketplace モデル – [Amazon Bedrock Marketplace](amazon-bedrock-marketplace.md)
+ カスタマイズされた基盤モデル – [モデルをカスタマイズしてユースケースのパフォーマンスを向上させる](custom-models.md)
+ インポートされた基盤モデル – [カスタムモデルのインポートを使用して、カスタマイズされたオープンソースモデルを Amazon Bedrock にインポートする](model-customization-import-model.md)
+ プロンプトルーター – [Amazon Bedrock のインテリジェントなプロンプトルーティングを理解する](prompt-routing.md)
+ プロビジョンドスループットを購入したモデル – [Amazon Bedrock のプロビジョンドスループットでモデル呼び出し容量を増やす](prov-throughput.md)