翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
# SageMaker Canvas の生成 AI 基盤モデル
Amazon SageMaker Canvas には、会話形式のチャットを開始するために使用できる生成系 AI 基盤モデルが用意されています。これらのコンテンツ生成モデルは大量のテキストデータに基づいてトレーニングされ、単語間の統計的パターンや関係を学習します。また、トレーニングに使用したテキストと統計的に類似した一貫性のあるテキストを生成できます。この機能を使用して以下を実行し、生産性を向上させることができます。
+ ドキュメントの概要、レポート、ブログなどのコンテンツを生成する
+ 決算説明会の記録、年次報告書、ユーザーマニュアルの章など、大量のテキストからテキストを要約する
+ 会議の議事録や会話など、大量のテキストからインサイトや重要なポイントを抽出する
+ テキストを改善し、文法上の誤りやタイプミスを発見する
基盤モデルは、Amazon SageMaker JumpStart と [Amazon Bedrock](https://docs.aws.amazon.com/bedrock/latest/userguide/what-is-service.html) の大規模言語モデル (LLM) を組み合わせたものです。Canvas には次のモデルがあります。
| モデル | 型 | 説明 |
| --- | --- | --- |
| Amazon Titan | Amazon Bedrock モデル | Amazon Titan は強力な汎用言語モデルで、要約、テキスト生成 (ブログ投稿の作成など)、分類、自由形式の Q&A、情報抽出などのタスクに使用できます。大規模なデータセットで事前にトレーニングされているため、複雑なタスクや推論に適しています。AI の責任ある使用に関するベストプラクティスの継続的なサポートのため、Amazon Titan の基盤モデルはデータ内の有害なコンテンツを検出して削除し、ユーザー入力に含まれる不適切なコンテンツを拒否し、不適切なコンテンツ (ヘイトスピーチ、冒涜、暴力的コンテンツなど) を含むモデル出力をフィルタリングするように構築されています。 |
| Anthropic Claude Instant | Amazon Bedrock モデル | Anthropic の Claude Instant は、より高速で費用対効果が高く、しかも非常に高性能なモデルです。このモデルは、カジュアルな会話、テキスト分析、要約、文書の質問への回答など、さまざまなタスクを処理できます。Claude-2 と同様に、Claude Instant は各プロンプトで最大 100,000 トークンをサポートできます。これは、約 200 ページの情報に相当します。 |
| Anthropic Claude-2 | Amazon Bedrock モデル | Claude-2 は Anthropic の最も強力なモデルで、洗練された会話やクリエイティブなコンテンツの生成から詳細な指示のフォローまで、幅広いタスクに長けています。Claude-2 は各プロンプトで最大 100,000 トークンをサポートできます。これは、約 200 ページの情報に相当します。前のバージョンと比べて、より長い応答を生成できます。質問への回答、情報の抽出、PII の削除、コンテンツ生成、多肢選択式分類、ロールプレイ、テキストの比較、要約、引用付きの文書 Q&A などのユースケースをサポートします。 |
| Falcon-7B-Instruct | JumpStart モデル | Falcon-7B-Instruct には 70 億のパラメータがあり、チャットと指示のデータセットを組み合わせて微調整されています。これはバーチャルアシスタントとして最適で、指示に従ったり会話をしたりするときに最高のパフォーマンスを発揮します。このモデルは大量の英語ウェブデータでトレーニングされているため、ウェブ上でよく見られる固定観念や偏見があり、英語以外の言語には適していません。Falcon-40B-Instruct と比較すると、Falcon-7B-Instruct は、規模が若干小さくコンパクトなモデルです。 |
| Falcon-40B-Instruct | JumpStart モデル | Falcon-40B-Instruct には 400 億のパラメータがあり、チャットと指示のデータセットを組み合わせて微調整されています。これはバーチャルアシスタントとして最適で、指示に従ったり会話をしたりするときに最高のパフォーマンスを発揮します。このモデルは大量の英語ウェブデータでトレーニングされているため、ウェブ上でよく見られる固定観念や偏見があり、英語以外の言語には適していません。Falcon-7B-Instruct と比較すると、Falcon-40B-Instruct は、規模が若干大きくより強力なモデルです。 |
| Jurassic-2 Mid | Amazon Bedrock モデル | Jurassic-2 Mid は、(現時点では 2022 年半ばまでの) 大量のテキストコーパスでトレーニングされた高性能なテキスト生成モデルです。このモデルは柔軟性と汎用性が高く、人間のようなテキストを作成したり、質問への回答やテキストの分類などの複雑なタスクを実行したりすることができます。このモデルはゼロショット指示機能を備えているため、例を使わずに自然言語のみで指示できます。以前の Jurassic-1 モデルと比較して、最大 30% 高速に動作します。 Jurassic-2 Mid は AI21 の中型モデルで、優れた品質と手頃な価格のバランスを取るように注意深く設計されています。 |
| Jurassic-2 Ultra | Amazon Bedrock モデル | Jurassic-2 Ultra は、(現時点では 2022 年半ばまでの) 大量のテキストコーパスでトレーニングされた高性能なテキスト生成モデルです。このモデルは柔軟性と汎用性が高く、人間のようなテキストを作成したり、質問への回答やテキストの分類などの複雑なタスクを実行したりすることができます。このモデルはゼロショット指示機能を備えているため、例を使わずに自然言語のみで指示できます。以前の Jurassic-1 モデルと比較して、最大 30% 高速に動作します。 Jurassic-2 Mid と比べると、Jurassic-2 Ultra は若干規模が大きく、よりパワフルなモデルです。 |
| Llama-2-7b-Chat | JumpStart モデル | Llama-2-7b-Chat は Meta の基盤モデルであり、意義のある一貫した会話、新しいコンテンツの生成、既存のメモからの回答の抽出に適しています。このモデルは大量の英語インターネットデータでトレーニングされているため、ウェブ上でよく見られる偏見や制限があり、英語での言語にのみ適しています。 |
| Llama-2-13B-Chat | Amazon Bedrock モデル | Meta の Llama-2-13B-Chat は、インターネットデータでの初期トレーニング後に会話データでファインチューニングされています。自然なダイアログとエンゲージメント性の高いチャット機能用に最適化されており、会話エージェントとして最適です。より小規模の Llama-2-7b-Chat と比較して、Llama-2-13B-Chatにはほぼ 2 倍のパラメータがあり、より多くのコンテキストを記憶して、より微妙な会話のレスポンスを生成できます。Llama-2-7b-Chat と同様に、Llama-2-13B-Chat は英語データでトレーニングされており、英語でのタスクに最適です。 |
| Llama-2-70B-Chat | Amazon Bedrock モデル | Llama-2-7b-Chat や Llama-2-13B-Chat と同様に、Meta の Llama-2-70B-Chat モデルは、自然で意義のある対話に対して最適化されています。700 億のパラメータを持つこの大規模な会話モデルは、よりコンパクトなモデルバージョンと比較して、より広範なコンテキストを記憶し、一貫性の高いレスポンスを生成できます。ただし、これにはレスポンスが遅くなり、リソース要件が高くなるというデメリットがあります。Llama-2-70B-Chat は、大量の英語のインターネットデータでトレーニングされており、英語でのタスクに最適です。 |
| Mistral-7B | JumpStart モデル | Mistral.AI の Mistral-7B は、テキスト生成、要約、質問への回答など、広範囲の自然言語 (NLP) タスクに適した、優れた汎用言語モデルです。推論速度を高める GQA (Grouped-Query Attention) を利用することで、2 倍または 3 倍の数のパラメータを使用するモデルと同等のパフォーマンスを発揮します。英語の書籍、ウェブサイト、科学論文などの混合テキストデータでトレーニングされているため、英語のタスクに最適です。 |
| Mistral-7B-Chat | JumpStart モデル | Mistral-7B-Chat は、Mistral-7B に基づく Mistral.AI の会話モデルです。Mistral-7B は一般的な NLP タスクに最適ですが、Mistral-7B-Chat の会話データはさらにファインチューニングされており、自然でエンゲージメント性の高いチャット向けに機能が最適化されています。その結果、Mistral-7B-Chat は人間のようなレスポンスを生成し、以前のレスポンスのコンテキストを記憶します。Mistral-7B と同様に、このモデルは英語のタスクに最適です。 |
| MPT-7B-Instruct | JumpStart モデル | MPT-7B-Instruct は、長文形式の指示タスクを記述するためのモデルで、テキストの要約や質問への回答などのライティングタスクを支援し、時間と労力を節約できます。このモデルは大量の微調整されたデータに基づいてトレーニングされており、複雑な文書などの大量の入力を処理できます。このモデルは、大量のテキストを処理する場合や、モデルで長い応答を生成する場合に使用します。 |
Amazon Bedrock の基盤モデルは、現在、米国東部 (バージニア北部) リージョンと米国西部 (オレゴン) リージョンでのみご利用いただけます。また、Amazon Bedrock の基盤モデルを使用する場合、各モデルプロバイダーが指定した入力トークンと出力トークンの量に基づいて課金されます。詳細については、「[Amazon Bedrock の料金ページ](https://aws.amazon.com/bedrock/pricing/)」を参照してください。JumpStart 基盤モデルが SageMaker AI ホスティングインスタンスにデプロイされ、使用したインスタンスタイプに基づいて使用期間に対して課金されます。さまざまなインスタンスタイプのコストの詳細については、「[SageMaker の料金ページ](https://aws.amazon.com/sagemaker/pricing/)」の「Amazon SageMaker AI ホスティング: リアルタイム推論」セクションを参照してください。
ドキュメントクエリは、Amazon Kendra を使用して、インデックスに保存されているドキュメントのクエリやインサイトの取得に使用できる追加機能です。この機能を使用すると、基盤モデルのトレーニングに使用された大量のデータにおいて一般的なレスポンスとは対照的に、これらのドキュメントのコンテキストからコンテンツを生成し、ビジネスユースケースに固有のレスポンスを受け取ることができます。Amazon Kendra のインデックスの詳細については、[Amazon Kendra デベロッパーガイド](https://docs.aws.amazon.com/kendra/latest/dg/what-is-kendra.html)を参照してください。
データやユースケースに合わせてカスタマイズされた基盤モデルからレスポンスを取得する場合は、基盤モデルをファインチューニングできます。詳細については[基盤モデルをファインチューニングする](canvas-fm-chat-fine-tune.md)を参照してください。
アプリケーションまたはウェブサイトを介して Amazon SageMaker JumpStart 基盤モデルから予測を取得する場合は、モデルを SageMaker AI *エンドポイント* にデプロイできます。モデルは SageMaker AI エンドポイントによってホストされます。エンドポイントにはアプリケーションコードを介してリクエストを送信し、モデルから予測を受け取ることができます。詳細については、「[モデルをエンドポイントにデプロイする](canvas-deploy-model.md)」を参照してください。
# SageMaker Canvas の基盤モデルの前提条件を満たす
以下のセクションでは、基盤モデルを操作し、Canvas でドキュメントクエリ機能を使用するための前提条件について概説します。このページの残りのコンテンツでは、基盤モデルの前提条件を満たしていることが前提となっています。ドキュメントクエリ機能には、追加の権限が必要です。
## 基盤モデルの前提条件
モデルとのやり取りに必要な権限は、Canvas の Ready-to-use モデルの権限に含まれています。Canvas で生成 AI 搭載モデルを使用するには、Amazon SageMaker AI ドメインをセットアップする際に、**[Canvas の Ready-to-use モデルの設定]** アクセス許可を有効にする必要があります。詳細については、「[Amazon SageMaker Canvas を設定するための前提条件](canvas-getting-started.md#canvas-prerequisites)」を参照してください。**Canvas の Ready-to-use モデルの設定**は、[AmazonSageMakerCanvasAIServicesAccess](https://docs.aws.amazon.com/sagemaker/latest/dg/security-iam-awsmanpol-canvas.html#security-iam-awsmanpol-AmazonSageMakerCanvasAIServicesAccess) ポリシーを Canvas ユーザーの AWS Identity and Access Management (IAM) 実行ロールにアタッチします。権限の付与に関して問題が発生した場合は、「[SageMaker AI コンソールを介したアクセス許可の付与に関する問題のトラブルシューティング](canvas-limits.md#canvas-troubleshoot-trusted-services)」のトピックを参照してください。
ドメインを既に設定している場合は、ドメインの設定を編集して権限を有効にできます。ドメインの設定を編集する手順については、「[ドメイン設定を編集する](domain-edit.md)」を参照してください。ドメインの設定を編集する場合は、**[Canvas の設定]** に移動して、**[Canvas の Ready-to-use モデルを有効にする]** オプションを有効にしてください。
一部の JumpStart 基盤モデルでは、SageMaker AI インスタンスクォータの引き上げをリクエストする必要もあります。Canvas は、現在やり取りしているモデルをこれらのインスタンスでホストしていますが、アカウントのデフォルトクォータでは不十分な場合があります。以下のモデルの実行中にエラーが発生した場合は、関連するインスタンスタイプのクォータの増量をリクエストしてください。
+ Falcon-40B – `ml.g5.12xlarge`、`ml.g5.24xlarge`
+ Falcon-13B – `ml.g5.2xlarge`、`ml.g5.4xlarge`、`ml.g5.8xlarge`
+ MPT-7B-Instruct – `ml.g5.2xlarge`、`ml.g5.4xlarge`、`ml.g5.8xlarge`
上記のインスタンスタイプでは、エンドポイントの使用量クォータを 0 から 1 に引き上げることをリクエストしてください。クォータの詳細については、「Service Quotas ユーザーガイド」の「[クォータの増加をリクエスト](https://docs.aws.amazon.com/servicequotas/latest/userguide/request-quota-increase.html)」を参照してください。**
## ドキュメントクエリの前提条件
**注記**
ドキュメントクエリは、 AWS リージョン米国東部 (バージニア北部）、米国東部 (オハイオ）、米国西部 (オレゴン）、欧州 (アイルランド）、アジアパシフィック (シンガポール）、アジアパシフィック (シドニー）、アジアパシフィック (東京）、アジアパシフィック (ムンバイ) でサポートされています。
ドキュメントクエリ機能では、ドキュメントとドキュメントメタデータを保存する Amazon Kendra インデックスが既に用意されている必要があります。Amazon Kendra の詳細については、[Amazon Kendra デベロッパーガイド](https://docs.aws.amazon.com/kendra/latest/dg/what-is-kendra.html)を参照してください。インデックスをクエリするためのクォータの詳細については、*Amazon Kendra デベロッパーガイド*の「[Quotas](https://docs.aws.amazon.com/kendra/latest/dg/quotas.html)」を参照してください。
また、ドキュメントクエリに必要な権限が Canvas ユーザープロファイルにあることを確認する必要もあります。[AmazonSageMakerCanvasFullAccess](https://docs.aws.amazon.com/aws-managed-policy/latest/reference/AmazonSageMakerCanvasFullAccess.html) ポリシーは、Canvas アプリケーションをホストする SageMaker AI ドメインの AWS IAM 実行ロールにアタッチされている必要があります (このポリシーは、デフォルトですべての新規および既存の Canvas ユーザープロファイルにアタッチされています)。また、ドキュメントクエリ権限を明示的に付与し、1 つ以上の Amazon Kendra インデックスへのアクセスを指定する必要があります。
Canvas 管理者が新しいドメインまたはユーザープロファイルを設定している場合は、「[Amazon SageMaker Canvas を設定するための前提条件](canvas-getting-started.md#canvas-prerequisites)」の手順に従ってドメインを設定してください。ドメインの設定中に、**[Canvas の Ready-to-use モデルの設定]** を通じてドキュメントクエリ権限を有効にすることができます。
Canvas 管理者はドキュメントクエリ権限をユーザープロファイルレベルでも管理できます。例えば、管理者が一部のユーザープロファイルにはドキュメントクエリ権限を付与し、他のユーザープロファイルからは権限を削除する場合は、特定のユーザーの権限を編集できます。
特定のユーザープロファイルのドキュメントクエリ権限を有効にするには、次の手順に従います。
1. SageMaker AI コンソール ([https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/)) を開きます。
1. 左のナビゲーションペインで、**[管理設定]** を選択します。
1. **[管理設定]** で、**[ドメイン]** を選択します。
1. ドメインのリストで、ユーザープロファイルのドメインを選択します。
1. **[ドメインの詳細]** ページで、権限を編集する **[ユーザープロファイル]** を選択します。
1. **[ユーザーの詳細]** ページで、**[編集]** を選択します。
1. 左側のナビゲーションペインで、**[Canvas の設定]** を選択します。
1. **[Canvas の Ready-to-use モデルの設定]** セクションで、**[Amazon Kendra を利用してドキュメントクエリを有効にする]** をオンにします。
1. ドロップダウンで、アクセスを許可する 1 つ以上の Amazon Kendra インデックスを選択します。
1. **[送信]** を選択して、ドメインの設定の変更を保存します。
現在は、Canvas 基盤モデルを使用して、指定された Amazon Kendra インデックス内のドキュメントをクエリできます。
# 新しい会話を開始して、コンテンツの生成、抽出、要約を行う
Canvas で生成 AI 基盤モデルの使用を開始するには、モデルの 1 つと新しいチャットセッションを開始します。JumpStart モデルの場合、モデルがアクティブな間は課金されるため、使用する際にモデルを起動し、やり取りが終了したらモデルをシャットダウンする必要があります。JumpStart モデルをシャットダウンしなかった場合、非アクティブ状態が 2 時間続くと Canvas によってモデルがシャットダウンされます。Amazon Bedrock モデル (Amazon Titan など) では、プロンプトごとに課金されます。モデルは既にアクティブであるため、起動またはシャットダウンする必要はありません。これらのモデルの使用に対しては Amazon Bedrock から直接課金されます。
モデルとのチャットを開始するには、次の手順に従います
1. SageMaker Canvas アプリケーションを開きます。
1. 左側のナビゲーションペインで、**[Ready-to-use モデル]** を選択します。
1. **[コンテンツの生成、抽出、要約]** を選択します。
1. ウェルカムページで、デフォルトモデルの起動を勧めるメッセージが表示されます。ユーザーは、推奨モデルを起動することも、ドロップダウンから **[別のモデルを選択]** を選択して別のモデルを選択することもできます。
1. JumpStart 基盤モデルを選択した場合は、使用する前にモデルを起動する必要があります。**[モデルを起動]** をクリックすると、モデルが SageMaker AI インスタンスにデプロイされます。この処理は、完了まで数分かかる場合があります。モデルの準備ができたら、プロンプトを入力してモデルに質問できます。
Amazon Bedrock で基盤モデルを選択した場合は、プロンプトを入力して質問するだけで、すぐに使用を開始できます。
モデルによって、さまざまなタスクを実行できます。例えば、テキストの一節を入力して、モデルに要約させることができます。あるいは、モデルに自分のドメインの市場動向の簡単な要約を作成させることもできます。
チャットでのモデルの応答は、前のプロンプトのコンテキストに基づいています。前の会話トピックとは関係のない新しい質問をチャットで聞きたい場合は、モデルと新たにチャットを開始することをおすすめします。
# ドキュメントクエリを使用してドキュメントから情報を抽出する
**注記**
このセクションでは、上記の「[ドキュメントクエリの前提条件](canvas-fm-chat-prereqs.md#canvas-fm-chat-prereqs-kendra)」のセクションを完了したことを前提としています。
ドキュメントクエリは、Canvas で基盤モデルを操作するときに使用できる機能です。ドキュメントクエリを使用すると、Amazon Kendra *インデックス*に保存されているドキュメントのコーパスにアクセスできます。このインデックスは、ドキュメントの内容を保持し、ドキュメントを検索可能にするように構成されています。Amazon Kendra インデックス内のデータを対象とする特定の質問をすると、基盤モデルによって質問に対する回答が返されます。例えば、IT 情報の内部ナレッジベースをクエリし、「会社のネットワークにはどのように接続したらいいですか?」などの質問をすることができます。インデックスの設定の詳細については、[Amazon Kendra デベロッパーガイド](https://docs.aws.amazon.com/kendra/latest/dg/what-is-kendra.html)を参照してください。
ドキュメントクエリ機能を使用する場合、基盤モデルでは、検索拡張生成 (RAG) と呼ばれる手法を使用して、インデックス内のドキュメントの内容にレスポンスを制限します。この手法は、インデックスから最も関連性の高い情報をユーザーのプロンプトと共にバンドルし、それを基盤モデルに送信してレスポンスを取得します。レスポンスはインデックス内に存在するものに限定され、モデルが外部データに基づいて間違ったレスポンスを提供することがなくなります。このプロセスの詳細については、ブログ記事「[Quickly build high-accuracy Generative AI applications on enterprise data](https://aws.amazon.com/blogs/machine-learning/quickly-build-high-accuracy-generative-ai-applications-on-enterprise-data-using-amazon-kendra-langchain-and-large-language-models/)」を参照してください。
開始するには、Canvas の基盤モデルとのチャットで、ページ上部の **[ドキュメントクエリ]** トグルをオンにします。ドロップダウンから、クエリする Amazon Kendra インデックスを選択します。次に、インデックス内のドキュメントに関連する質問を開始します。
**重要**
ドキュメントクエリは[モデル出力を比較する](canvas-fm-chat-compare.md)機能をサポートしています。モデル出力を比較するための新しいチャットを開始すると、既存のチャット履歴が上書きされます。
# モデルを起動する
**注記**
次のセクションでは、Falcon-40B-Instruct などの JumpStart 基盤モデルにのみ適用されるモデルの起動について説明します。Amazon Titan などの Amazon Bedrock モデルには、いつでも簡単にアクセスできます。
JumpStart モデルは必要な数だけ起動できます。アクティブな JumpStart モデルごとにアカウントに料金が発生するため、現在必要以上のモデルを起動しないことをお勧めします。
別のモデルを起動するには、次の手順に従います。
1. **[コンテンツの生成、抽出、要約]** ページで、**[新しいチャット]** を選択します。
1. ドロップダウンメニューでモデルを選択します。ドロップダウンに表示されていないモデルを選択する場合は、**[別のモデルを起動]** を選択し、起動するモデルを選択します。
1. **[モデルを起動]** を選択します。
モデルが起動し始め、数分以内にモデルとチャットできるようになります。
# モデルをシャットダウンする
使用していないモデルはシャットダウンすることを強くお勧めします。非アクティブ状態が 2 時間続くと、モデルは自動的にシャットダウンします。モデルを手動でシャットダウンするには、次の手順に従います。
1. **[コンテンツの生成、抽出、要約]** ページで、シャットダウンするモデルのチャットを開きます。
1. チャットページで、**[その他のオプション]** アイコン (![\[Vertical ellipsis icon representing a menu or more options.\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/images/studio/canvas/more-options-icon.png)) を選択します。
1. **[モデルをシャットダウン]** を選択します。
1. **[モデルをシャットダウン]** 確認ボックスで、**[シャットダウン]** を選択します。
モデルがシャットダウンし始めます。チャットで 2 つ以上のモデルを比較する場合、チャットページからモデルの **[その他のオプション]** アイコン (![\[Vertical ellipsis icon representing a menu or more options.\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/images/studio/canvas/more-options-icon.png)) を選択し、**[モデルをシャットダウン]** を選択すると、モデルを個別にシャットダウンできます。
# モデル出力を比較する
異なるモデルの出力を並べて比較して、どのモデル出力が好ましいかを確認する場合があります。これにより、どのモデルがユースケースに最も適しているかを判断できます。チャットでは最大 3 つのモデルを比較できます。
**注記**
個々のモデルごとに、アカウントに料金が発生します。
比較するモデルを追加するには、新しいチャットを開始する必要があります。チャットでモデルの出力を並べて比較するには、次の手順に従います。
1. チャットで、**[新しいチャット]** を選択します。
1. **[比較]** を選択し、ドロップダウンメニューを使用して追加するモデルを選択します。3 つ目のモデルを追加するには、もう一度 **[比較]** を選択して別のモデルを追加します。
**注記**
現在アクティブでない JumpStart モデルを使用する場合は、モデルを起動するように求められます。
モデルがアクティブになると、チャットに 2 つのモデルが並んで表示されます。プロンプトを送信すると、次のスクリーンショットに示すように、各モデルが同じチャットで応答します。
![\[2 つのモデルの出力を並べて表示した Canvas インターフェイスのスクリーンショット。\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/images/studio/canvas/canvas-chat-compare-outputs.png)
やり取りが終わったら、追加料金が発生しないように、JumpStart モデルをすべて個別にシャットダウンしてください。
# 基盤モデルをファインチューニングする
Amazon SageMaker Canvas からアクセスできる基盤モデルは、さまざまな汎用タスクに役立ちます。ただし、特定のユースケースがあり、独自のデータに基づいてレスポンスをカスタマイズする場合は、基盤モデルを*ファインチューニング*できます。
基盤モデルをファインチューニングするには、サンプルプロンプトとモデルレスポンスで構成されるデータセットを指定します。次に、データに対して基盤モデルをトレーニングします。最後に、ファインチューニングされた基盤モデルは、より具体的なレスポンスを提供できるようになります。
次のリストには、Canvas でファインチューニングできる基盤モデルが含まれています。
+ Titan Express
+ Falcon-7B
+ Falcon-7B-Instruct
+ Falcon-40B-Instruct
+ Falcon-40B
+ Flan-T5-Large
+ Flan-T5-Xl
+ Flan-T5-Xxl
+ MPT-7B
+ MPT-7B-Instruct
モデルをファインチューニングしながら、Canvas アプリケーションの各基盤モデルに関するより詳細な情報にアクセスできます。詳細については、「[モデルをファインチューニングする](#canvas-fm-chat-fine-tune-procedure-model)」を参照してください。
このトピックでは、Canvas で基盤モデルをファインチューニングする方法について説明します。
## [開始する前に]
基盤モデルをファインチューニングする前に、Canvas で Ready-to-use モデルのアクセス許可と Amazon Bedrock との信頼関係を持つ AWS Identity and Access Management 実行ロールがあることを確認してください。これにより、Amazon Bedrock は基盤モデルをファインチューニングしながらロールを引き受けることができます。
Amazon SageMaker AI ドメインを設定または編集する際は、1) Canvas Ready-to-use モデルの設定アクセス許可を有効にし、2) SageMaker が Amazon Bedrock との信頼関係をアタッチする IAM 実行ロールである Amazon Bedrock ロールを作成または指定する必要があります。これらの設定の実行に関する詳細については、「[Amazon SageMaker Canvas を設定するための前提条件](canvas-getting-started.md#canvas-prerequisites)」を参照してください。
(SageMaker AI がユーザーに代わってロールを作成するのではなく) 独自の IAM 実行ロールを使用する場合は、Amazon Bedrock ロールを手動で設定できます 。Amazon Bedrock との独自の IAM 実行ロールの信頼関係の設定の詳細については、「[Canvas で Amazon Bedrock と生成 AI 機能を使用する権限をユーザーに付与する](canvas-fine-tuning-permissions.md)」を参照してください。
また、大規模言語モデル (LLMs) をファインチューニングするためにフォーマットされたデータセットも必要です。以下は、データセットの要件のリストです。
+ データセットは表形式であり、テキストデータの少なくとも 2 つの列 (モデルへのプロンプト例を含む 1 つの入力列とモデルからのレスポンス例を含む 1 つの出力列) が含まれている必要があります。
例を次に示します。
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/canvas-fm-chat-fine-tune.html)
+ データセットには少なくとも 100 個のテキストペア (対応する入力項目と出力項目の行) を含めることをお勧めします。これにより、ファインチューニングに十分なデータが基盤モデルに確実に含まれ、レスポンスの精度が向上します。
+ 各入力項目と出力項目には、最大 512 文字を含める必要があります。基盤モデルをファインチューニングした際に、それより長いものは 512 文字に短縮されます。
Amazon Bedrock モデルをファインチューニングするときは、Amazon Bedrock のクォータに従う必要があります。詳細については、*Amazon Bedrock ユーザーガイド*の「[Model customization quotas](https://docs.aws.amazon.com/bedrock/latest/userguide/quotas.html#model-customization-quotas)」を参照してください。
Canvas の一般的なデータセットの要件と制限の詳細については、「[データセットの作成](canvas-import-dataset.md)」を参照してください。
## 基盤モデルの微調整
Canvas アプリケーションで次のいずれかの方法を使用して、基盤モデルをファインチューニングできます。
+ 基盤モデルとの **[コンテンツの生成、抽出、要約]** のチャット中に、**[モデルを微調整]** アイコン (![\[Magnifying glass icon with a plus sign, indicating a search or zoom-in function.\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/images/studio/canvas/wrench-icon-small.png)) を選択します。
+ 基盤モデルとのチャット中にレスポンスを 2 回以上再生成した場合は、Canvas によって **[モデルを微調整]** するオプションが表示されます。次のスクリーンショットは、この画面の外観を示しています。
![\[チャットに表示されている [基盤モデルを微調整] オプションのスクリーンショット。\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/images/studio/canvas/fine-tuning-ingress.png)
+ **[自分のモデル]** ページで、**[新しいモデル]** を選択して新しいモデルを作成し、**[基盤モデルを微調整]** を選択します。
+ **Ready-to-use モデル**のホームページで、**[独自のモデルを作成]** を選択し、**[新しいモデルを作成する]** ダイアログボックスで、**[基盤モデルを微調整]** を選択します。
+ **[Data Wrangler]** タブでデータセットを参照している最中に、データセットを選択し、**[モデルを作成する]** を選択できます。次に、**[基盤モデルを微調整]** を選択します。
モデルのファインチューニングを開始したら、次の操作を行います。
### データセットを選択する
モデルのファインチューニングの **[選択]** タブで、基盤モデルをトレーニングするデータを選択します。
既存のデータセットを選択するか、「[[開始する前に]](#canvas-fm-chat-fine-tune-prereqs)」のセクションに記載されている要件を満たす新しいデータセットを作成します。データセットの作成方法の詳細については、「[データセットの作成](canvas-import-dataset.md)」を参照してください。
データセットを選択または作成し、先に進む準備ができたら、**[データセットを選択]** を選択します。
### モデルをファインチューニングする
データを選択すると、トレーニングを開始し、モデルをファインチューニングする準備が整います。
**[微調整]** タブで、次の作業を行います。
1. (オプション) **[基盤モデルの詳細情報]** を選択して、各モデルと、デプロイする基盤モデルの決定に役立つ詳細情報にアクセスします。
1. **[最大 3 つのベースモデルを選択する]** では、ドロップダウンメニューを開き、トレーニングジョブ中にファインチューニングする最大 3 つの基盤モデル (最大 2 つの JumpStart モデルと 1 つの Amazon Bedrock モデル) を選択します。複数の基盤モデルをファインチューニングすることで、パフォーマンスを比較し、ユースケースに最適なモデルを最終的にデフォルトのモデルとして選択できます。デフォルトのモデルの詳細については、「[モデルリーダーボードでモデル候補を表示する](canvas-evaluate-model-candidates.md)」を参照してください。
1. **[入力列を選択]** で、モデルプロンプト例を含むデータセット内のテキストデータの列を選択します。
1. **[出力列を選択]** で、モデルレスポンスの例を含むデータセット内のテキストデータの列を選択します。
1. (オプション) トレーニングジョブの詳細設定を行うには、**[モデルの設定]** を選択します。高度なモデル構築設定の詳細については、「[高度なモデル構築設定](canvas-advanced-settings.md)」を参照してください。
**[モデルの設定]** ポップアップウィンドウで、以下の操作を行います。
1. **[ハイパーパラメータ]** では、選択したモデルごとに ** [エポック数]**、**[バッチサイズ]**、**[学習率]**、**[学習率のウォームアップステップ]** を調整できます。これらのパラメータの詳細については、[JumpStart ドキュメントの「Hyperparameters」のセクション](https://docs.aws.amazon.com/sagemaker/latest/dg/jumpstart-fine-tune.html#jumpstart-hyperparameters)を参照してください。
1. **[データ分割]** では、**[トレーニングセット]** と **[検証セット]** の間でデータを分割する方法の割合を指定できます。
1. **[最大ジョブランタイム]** では、Canvas がビルドジョブを実行する最大時間を設定できます。この機能は JumpStart 基盤モデルでのみ使用できます。
1. 設定を行ったら、 **[保存]** を選択します。
1. **[微調整]** を選択して、選択した基盤モデルのトレーニングを開始します。
ファインチューニングジョブが開始されたら、ページを離れることができます。**[自分のモデル]** ページでモデルが **[準備完了]** と表示されると、モデルの使用準備が整い、ファインチューニングされた基盤モデルのパフォーマンスを分析できるようになります。
### ファインチューニングされた基盤モデルを分析する
ファインチューニングされた基盤モデルの **[分析]** タブでは、モデルのパフォーマンスを確認できます。
このページの **[概要]** タブには、Perplexity および Loss スコアのほか、トレーニング中のモデルの経時的な改善を視覚化する分析が表示されます。次のスクリーンショットは、**[概要]** タブを示しています。
![\[Canvas でファインチューニングされた基盤モデルの [分析] タブ。Perplexity と Loss 曲線を示しています。\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/images/studio/canvas/canvas-fine-tune-analyze-2.png)
このページには、次の視覚化が表示されます。
+ **Perplexity 曲線**は、モデルがシーケンス内の次の単語をどの程度予測するか、またはモデルの出力がどの程度文法的であるかを測定します。トレーニング中にモデルが改善されるにつれて、スコアが下がり、時間の経過とともに低くなってフラット化する曲線となるのが理想です。
+ **Loss 曲線**は、正しい出力とモデルの予測出力の差を定量化します。時間の経過とともに減少してフラット化する Loss 曲線は、モデルが正確な予測を行う能力を向上させていることを示しています。
**[高度なトメトリクス]** タブには、モデルのハイパーパラメータと追加のメトリクスが表示されます。次のスクリーンショットのようになります。
![\[Canvas でファインチューニングされた基盤モデルの [高度なメトリクス] タブのスクリーンショット。\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/images/studio/canvas/canvas-fine-tune-metrics.png)
**[高度なメトリクス]** タブには次の情報が含まれています。
+ **[説明可能性]** セクションには、モデルのファインチューニングを誘導するためにジョブの前に設定された値である **[ハイパーパラメータ]** が含まれています。「[モデルをファインチューニングする](#canvas-fm-chat-fine-tune-procedure-model)」セクションのモデルの高度な設定でカスタムハイパーパラメータを指定しなかった場合は、Canvas によってデフォルトのハイパーパラメータが選択されます。
JumpStart モデルでは、モデルによって生成された概要の品質を評価する高度なメトリクスである [ROUGE (Recall-Oriented Understudy for Gisting Evaluation)](https://en.wikipedia.org/wiki/ROUGE_(metric)) も表示できます。これは、モデルが文章の要点をどの程度うまく要約できるかを測定します。
+ **[アーティファクト]** セクションには、ファインチューニングジョブ中に生成されたアーティファクトへのリンクが表示されます。Amazon S3 に保存されているトレーニングおよび検証データ、およびモデル評価レポートへのリンクにアクセスできます (詳細については、次の段落を参照してください)。
モデル評価のインサイトをさらに取得するには、モデルとデータのバイアスを検出するのに役立つ機能である [SageMaker Clarify](https://docs.aws.amazon.com/sagemaker/latest/dg/clarify-configure-processing-jobs.html) を使用して生成されるレポートをダウンロードします。まず、ページ下部の **[評価レポートの生成]** を選択してレポートを生成します。レポートが生成されたら、**[レポートのダウンロード]** を選択するか、**[アーティファクト]** セクションに戻ることで、レポート全体をダウンロードできます。
Python コードでファインチューニングジョブをレプリケートする方法を示す Jupyter Notebook にアクセスすることもできます。これを使用して、ファインチューニングジョブのレプリケートまたはプログラムによる変更を行うことも、Canvas がモデルをファインチューニングする方法をより深く理解することもできます。モデルノートブックとそのアクセス方法の詳細については、「[モデルノートブックをダウンロードする](canvas-notebook.md)」を参照してください。
ファインチューニングされた基盤モデルの **[分析]** タブで情報を解釈する方法の詳細については、「[モデル評価](canvas-evaluate-model.md)」のトピックを参照してください。
**[概要]** タブと **[高度なメトリクス]** タブを分析した後、**モデルリーダーボード**を開くこともできます。リーダーボードには、ビルド中にトレーニングされたベースモデルのリストが表示されます。Loss スコアが最も低いモデルは、最もパフォーマンスの高いモデルと見なされ、**[分析]** タブに表示される分析のモデルである **[デフォルトのモデル]** として選択されます。テストしてデプロイできるのはデフォルトのモデルのみです。モデルリーダーボードとデフォルトのモデルの変更方法の詳細については、「[モデルリーダーボードでモデル候補を表示する](canvas-evaluate-model-candidates.md)」を参照してください。
### チャットでファインチューニングされた基盤モデルをテストする
ファインチューニングされた基盤モデルのパフォーマンスを分析した後は、それをテストしたり、そのレスポンスをベースモデルと比較したりできます。ファインチューニングされた基盤モデルは、**[コンテンツの生成、抽出、要約]** 機能のチャットでテストできます。
次のいずれかの方法を選択して、ファインチューニングされたモデルとのチャットを開始します。
+ ファインチューニングされたモデルの **[分析]** タブで、**[Ready-to-use 基盤モデルでテストする]** を選択します。
+ Canvas の **[Ready-to-use モデル]** ページで、**[コンテンツの生成、抽出、要約]** を選択します。次に、**[新しいチャット]** を選択し、テストするモデルのバージョンを選択します。
モデルがチャットで起動し、他の基盤モデルと同様に操作できるようになります。チャットにさらにモデルを追加すると、出力を比較できます。チャット機能の詳細については、「[SageMaker Canvas の生成 AI 基盤モデル](canvas-fm-chat.md)」を参照してください。
## ファインチューニングされた基盤モデルを運用する
Canvas でモデルをファインチューニングした後は、以下の操作を実行できます。
+ モデルを SageMaker モデルレジストリに登録して、組織の MLOps プロセスに統合します。詳細については、「[モデルのバージョンを SageMaker AI モデルレジストリに登録する](canvas-register-model.md)」を参照してください。
+ モデルを SageMaker AI エンドポイントにデプロイし、アプリケーションまたはウェブサイトからモデルにリクエストを送信して予測 (または*推論*) を取得します。詳細については、「[モデルをエンドポイントにデプロイする](canvas-deploy-model.md)」を参照してください。
**重要**
登録してデプロイできるのは、Amazon Bedrock ベースのモデルではなく、JumpStart ベースの、ファインチューニングされた基盤モデルのみです。