翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 # ファインチューニングがサポートされている大規模言語モデル Autopilot API を使用すると、ユーザーは Amazon SageMaker JumpStart 対応の大規模言語モデル (LLM) をファインチューニングできます。 **注記** エンドユーザーライセンス契約への同意が必要なモデルをファインチューニングする場合は、AutoML を作成する際に EULA への同意を明示的に宣言する必要があります。事前トレーニング済みモデルをファインチューニングすると、元のモデルの重みが変更されるため、ファインチューニングされたモデルをデプロイするときに後で EULA に同意する必要はありません。 AutoML API を使用してファインチューニングジョブを作成するときに EULA に同意する方法については、「[AutoML API を使用してモデルをファインチューニングするときに EULA への同意を設定する方法](autopilot-create-experiment-finetune-llms.md#autopilot-llms-finetuning-set-eula)」を参照してください。 各モデルの詳細については、こちらの[モデルテーブル](https://sagemaker.readthedocs.io/en/stable/doc_utils/pretrainedmodels.html#built-in-algorithms-with-pre-trained-model-table)で **JumpStart モデル ID** を検索し、**Source** 列のリンクを使用してください。これらの詳細には、モデルでサポートされている言語、モデルが示す可能性のあるバイアス、ファインチューニングに使用されるデータセットなどが含まれます。 次の表に、AutoML ジョブでのファインチューニングがサポートされている JumpStart モデルを示します。 | JumpStart モデル ID | API リクエストの `BaseModelName` | 説明 | | --- | --- | --- | | huggingface-textgeneration-dolly-v2-3b-bf16 | Dolly3B | Dolly 3B は、[pythia-2.8b](https://huggingface.co/EleutherAI/pythia-2.8b#pythia-28b) をベースとした、パラメータ数が 28 億の指示追従型大規模言語モデルです。指示/レスポンス形式のファインチューニングデータセット [databricks-dolly-15k](https://huggingface.co/datasets/databricks/databricks-dolly-15k) を用いてトレーニングされており、ブレインストーミング、分類、質問と回答、テキスト生成、情報抽出、要約などのタスクを実行できます。 | | huggingface-textgeneration-dolly-v2-7b-bf16 | Dolly7B | Dolly 7B は、[pythia-6.9b](https://huggingface.co/EleutherAI/pythia-6.9b) をベースとした、パラメータ数が 69 億の指示追従型大規模言語モデルです。指示/レスポンス形式のファインチューニングデータセット [databricks-dolly-15k](https://huggingface.co/datasets/databricks/databricks-dolly-15k) を用いてトレーニングされており、ブレインストーミング、分類、質問と回答、テキスト生成、情報抽出、要約などのタスクを実行できます。 | | huggingface-textgeneration-dolly-v2-12b-bf16 | Dolly12B | Dolly 12B は、[pythia-12b](https://huggingface.co/EleutherAI/pythia-12b) をベースとした、パラメータ数が 120 億の指示追従型大規模言語モデルです。指示/レスポンス形式のファインチューニングデータセット [databricks-dolly-15k](https://huggingface.co/datasets/databricks/databricks-dolly-15k) を用いてトレーニングされており、ブレインストーミング、分類、質問と回答、テキスト生成、情報抽出、要約などのタスクを実行できます。 | | huggingface-llm-falcon-7b-bf16 | Falcon7B | Falcon 7B は、パラメータ数が 70 億の因果的大規模言語モデルで、厳選されたコーパスで強化された 1 兆 5,000 億個のトークンを用いてトレーニングされています。Falcon-7B は、英語とフランス語のデータでのみトレーニングされており、他の言語に対しては適切に一般化されません。このモデルは大量のウェブデータを用いてトレーニングされているため、オンライン上でよく見られる固定観念やバイアスが伴います。 | | huggingface-llm-falcon-7b-instruct-bf16 | Falcon7BInstruct | Falcon 7B Instruct は、Falcon 7B をベースとした、パラメータ数が 70 億の因果的大規模言語モデルで、チャット/指示形式のデータセットがミックスされた 2 億 5,000 万個のトークンを用いてファインチューニングされています。Falcon 7B Instruct は、主に英語データを用いてトレーニングされており、他の言語に対しては適切に一般化されません。さらに、ウェブという大規模なコーパスを用いてトレーニングされているため、オンライン上で一般的に見られる固定観念やバイアスが伴います。 | | huggingface-llm-falcon-40b-bf16 | Falcon40B | Falcon 40B は、パラメータ数が 400 億の因果的大規模言語モデルで、厳選されたコーパスで強化された 1 兆個のトークンを用いてトレーニングされています。主に英語、ドイツ語、スペイン語、フランス語でトレーニングされており、イタリア語、ポルトガル語、ポーランド語、オランダ語、ルーマニア語、チェコ語、スウェーデン語では機能が制限されています。他の言語に対しては適切に一般化されません。さらに、ウェブという大規模なコーパスを用いてトレーニングされているため、オンライン上で一般的に見られる固定観念やバイアスが伴います。 | | huggingface-llm-falcon-40b-instruct-bf16 | Falcon40BInstruct | Falcon 40B Instruct は、Falcon40B をベースとした、パラメータ数が 400 億の因果的大規模言語モデルで、Baize との混合によってファインチューニングされています。主に英語とフランス語のデータでトレーニングされており、他の言語に対しては適切に一般化されません。さらに、ウェブという大規模なコーパスを用いてトレーニングされているため、オンライン上で一般的に見られる固定観念やバイアスが伴います。 | | huggingface-text2text-flan-t5-large | FlanT5L | [https://huggingface.co/docs/transformers/model_doc/t5](https://huggingface.co/docs/transformers/model_doc/t5) モデルファミリーは、複数のタスクでファインチューニングされ、さらにトレーニングが可能な大規模言語モデルのセットです。これらのモデルは、言語翻訳、テキスト生成、文章の補完、語義の曖昧性解消、要約、質問への回答などのタスクに適しています。Flan T5 L は、多数の言語でトレーニングされた、パラメータ数が 7 億 8,000 万の大規模言語モデルです。Flan T5 L でサポートされている言語のリストについては、JumpStart の[モデルテーブル](https://sagemaker.readthedocs.io/en/stable/doc_utils/pretrainedmodels.html#built-in-algorithms-with-pre-trained-model-table)でモデル ID を使って検索を実行し、表示されたモデルの詳細ページを参照してください。 | | huggingface-text2text-flan-t5-xl | FlanT5XL | [https://huggingface.co/docs/transformers/model_doc/t5](https://huggingface.co/docs/transformers/model_doc/t5) モデルファミリーは、複数のタスクでファインチューニングされ、さらにトレーニングが可能な大規模言語モデルのセットです。これらのモデルは、言語翻訳、テキスト生成、文章の補完、語義の曖昧性解消、要約、質問への回答などのタスクに適しています。Flan T5 XL は、多数の言語でトレーニングされた、パラメータ数が 30 億の大規模言語モデルです。Flan T5 XL でサポートされている言語のリストについては、JumpStart の[モデルテーブル](https://sagemaker.readthedocs.io/en/stable/doc_utils/pretrainedmodels.html#built-in-algorithms-with-pre-trained-model-table)でモデル ID を使って検索を実行し、表示されたモデルの詳細ページを参照してください。 | | huggingface-text2text-flan-t5-xxll | FlanT5XXL | [https://huggingface.co/docs/transformers/model_doc/t5](https://huggingface.co/docs/transformers/model_doc/t5) モデルファミリーは、複数のタスクでファインチューニングされ、さらにトレーニングが可能な大規模言語モデルのセットです。これらのモデルは、言語翻訳、テキスト生成、文章の補完、語義の曖昧性解消、要約、質問への回答などのタスクに適しています。Flan T5 XXL はパラメータ数が 110 億のモデルです。Flan T5 XXL でサポートされている言語のリストについては、JumpStart の[モデルテーブル](https://sagemaker.readthedocs.io/en/stable/doc_utils/pretrainedmodels.html#built-in-algorithms-with-pre-trained-model-table)でモデル ID を使って検索を実行し、表示されたモデルの詳細ページを参照してください。 | | meta-textgeneration-llama-2-7b | Llama2-7B | Llama 2 は、事前にトレーニングされ、かつファインチューニングされた生成テキストモデルのコレクションで、パラメータ数の規模は 70 億 ～ 700 億です。Llama2-7B は、英語での使用を目的としたパラメータ数が 70 億のモデルであり、さまざまな自然言語生成タスクに適応できます。 | | meta-textgeneration-llama-2-7b-f | Llama2-7BChat | Llama 2 は、事前にトレーニングされ、かつファインチューニングされた生成テキストモデルのコレクションで、パラメータ数の規模は 70 億 ～ 700 億です。Llama2-7B は、対話のユースケースに最適化されたパラメータ数が 70 億のチャットモデルです。 | | meta-textgeneration-llama-2-13b | Llama2-13B | Llama 2 は、事前にトレーニングされ、かつファインチューニングされた生成テキストモデルのコレクションで、パラメータ数の規模は 70 億 ～ 700 億です。Llama2-13B は、英語での使用を目的としたパラメータ数が 130 億のモデルであり、さまざまな自然言語生成タスクに適応できます。 | | meta-textgeneration-llama-2-13b-f | Llama2-13BChat | Llama 2 は、事前にトレーニングされ、かつファインチューニングされた生成テキストモデルのコレクションで、パラメータ数の規模は 70 億 ～ 700 億です。Llama2-13B は、対話のユースケースに最適化されたパラメータ数が 130 億のチャットモデルです。 | | huggingface-llm-mistral-7b | Mistral7B | Mistral 7B は、パラメータ数が 70 億の、コードおよび汎用目的の英語テキスト生成モデルです。テキストの要約、分類、テキストの補完、コードの補完など、さまざまなユースケースで使用できます。 | | huggingface-llm-mistral-7b-instruct | Mistral7BInstruct | Mistral 7B Instruct は、会話のユースケース向けに Mistral 7B をファインチューニングしたバージョンです。このモデルは、英語で公開されているさまざまな会話データセットを使用して調整されています。 | | huggingface-textgeneration1-mpt-7b-bf16 | MPT7B | MPT 7B は、67 億のパラメータを持つデコーダースタイルのトランスフォーマー大規模言語モデルで、英語のテキストとコードのトークン 1 兆個を用いてゼロから事前トレーニングされています。長いコンテキストの処理に適しています。 | | huggingface-textgeneration1-mpt-7b-instruct-bf16 | MPT7BInstruct | MPT 7B Instruct は、短い形式の指示追従タスク向けのモデルです。このモデルは、[databricks-dolly-15k](https://huggingface.co/datasets/databricks/databricks-dolly-15k) および [Anthropic Helpful and Harmless (HH-RLHF)](https://huggingface.co/datasets/Anthropic/hh-rlhf) データセットから派生したデータセットを用いて MPT 7B をファインチューニングすることで構築されています。 |