本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

# 支持进行微调的大型语言模型
<a name="autopilot-llms-finetuning-models"></a>

使用 Autopilot API，用户可以微调由亚马逊提供支持的大型语言模型 (LLMs)。 SageMaker JumpStart

**注意**  
对于需要接受最终用户许可协议的微调模型，您必须在创建 AutoML 作业时明确声明接受 EULA。请注意，在对预训练模型进行微调后，原始模型的权重将被更改，因此在部署微调后的模型时，您无需随后接受 EULA。  
有关使用 AutoML API 创建微调作业时如何接受 EULA 的信息，请参阅 [使用 AutoML API 微调模型时如何设置 EULA 接受度](autopilot-create-experiment-finetune-llms.md#autopilot-llms-finetuning-set-eula)。

您可以在下方的模型[表中搜索您的**JumpStart 模型 ID**，然后点击**来源**列中的链接，找到每个模型](https://sagemaker.readthedocs.io/en/stable/doc_utils/pretrainedmodels.html#built-in-algorithms-with-pre-trained-model-table)的完整详细信息。这些细节可能包括模型支持的语言、可能表现出的偏差、用于微调的数据集等。

下表列出了您可以通过 AutoML 作业进行微调的支持的 JumpStart 模型。


| JumpStart 型号 | API 请求中的 `BaseModelName` | 说明 | 
| --- | --- | --- | 
| huggingface-textgeneration-dolly-v2-3b-bf16 | Dolly3B |  Dolly 3B 是基于 [pythia-2.8b](https://huggingface.co/EleutherAI/pythia-2.8b#pythia-28b) 的 28 亿参数指令跟随大型语言模型。它在 instruction/response 微调数据集 [databricks-dolly-15k](https://huggingface.co/datasets/databricks/databricks-dolly-15k) 上进行训练，可以执行包括头脑风暴、分类、问答、文本生成、信息提取和总结在内的任务。  | 
| huggingface-textgeneration-dolly-v2-7b-bf16 | Dolly7B |  Dolly 7B 是基于 [pythia-6.9b](https://huggingface.co/EleutherAI/pythia-6.9b) 的 69 亿参数指令跟随大型语言模型。它在 instruction/response 微调数据集 [databricks-dolly-15k](https://huggingface.co/datasets/databricks/databricks-dolly-15k) 上进行训练，可以执行包括头脑风暴、分类、问答、文本生成、信息提取和总结在内的任务。  | 
| huggingface-textgeneration-dolly-v2-12b-bf16 | Dolly12B |  Dolly 12B 是基于 [pythia-12b](https://huggingface.co/EleutherAI/pythia-12b) 的 120 亿参数指令跟随大型语言模型。它在 instruction/response 微调数据集 [databricks-dolly-15k](https://huggingface.co/datasets/databricks/databricks-dolly-15k) 上进行训练，可以执行包括头脑风暴、分类、问答、文本生成、信息提取和总结在内的任务。  | 
| huggingface-llm-falcon-7b-bf16 | Falcon7B |  Falcon 7B 是一个 70 亿参数的因果大型语言模型，以 15000 亿词库为基础进行训练，并通过精心策划的语料库进行增强。Falcon-7B 仅在英语和法语数据基础上进行了训练，无法适当地推广到其他语言。由于该模型是在大量网络数据的基础上训练出来的，因此带有网上常见的刻板印象和偏见。  | 
| huggingface-llm-falcon-7b-instruct-bf16 | Falcon7BInstruct |  Falcon 7B Instruct是一个70亿个参数的因果关系大型语言模型，建立在Falcon 7B的基础上，并在2.5亿个代币的数据集混合物上进行了微调。 chat/instruct Falcon 7B Instruct 主要是在英语数据上进行训练的，并不能适当地推广到其他语言。此外，由于它是在具有代表性的大规模网络语料库中训练出来的，因此带有网上常见的刻板印象和偏见。  | 
| huggingface-llm-falcon-40b-bf16 | Falcon40B |  Falcon 40B 是拥有 400 亿个参数的因果大型语言模型，以 1 万亿个词库为基础进行训练，并通过精心策划的语料库进行增强。它主要接受英语、德语、西班牙语和法语训练，在意大利语、葡萄牙语、波兰语、荷兰语、罗马尼亚语、捷克语和瑞典语方面能力有限。它不能适当地推广到其他语言。此外，由于它是在具有代表性的大规模网络语料库中训练出来的，因此带有网上常见的刻板印象和偏见。  | 
| huggingface-llm-falcon-40b-instruct-bf16 | Falcon40BInstruct |  Falcon 40B Instruct 是一个基于 Falcon40B 的 400 亿参数因果大型语言模型，并在 Baize 的混合基础上进行了微调。它主要是在英语和法语数据上进行训练的，并不能适当地推广到其他语言。此外，由于它是在具有代表性的大规模网络语料库中训练出来的，因此带有网上常见的刻板印象和偏见。  | 
| huggingface-text2text-flan-t5-large | FlanT5L |  [https://huggingface.co/docs/transformers/model_doc/t5](https://huggingface.co/docs/transformers/model_doc/t5) 模型系列是一组大型语言模型，可在多个任务中进行微调，并可进一步训练。这些模型非常适合语言翻译、文本生成、句子补全、词义消歧、摘要或问题解答等任务。Flan T5 L 是一个 7.8 亿参数的大型语言模型，以多种语言为基础进行训练。[您可以在模型表中按型号 ID 搜索的模型详细信息中找到 Flan T5 L 支持的语言列表。 JumpStart](https://sagemaker.readthedocs.io/en/stable/doc_utils/pretrainedmodels.html#built-in-algorithms-with-pre-trained-model-table)  | 
| huggingface-text2text-flan-t5-xl | FlanT5XL |  [https://huggingface.co/docs/transformers/model_doc/t5](https://huggingface.co/docs/transformers/model_doc/t5) 模型系列是一组大型语言模型，可在多个任务中进行微调，并可进一步训练。这些模型非常适合语言翻译、文本生成、句子补全、词义消歧、摘要或问题解答等任务。Flan T5 XL 是一个 30 亿参数的大型语言模型，经过多种语言的训练。[您可以在模型表中按型号 ID 搜索的模型详细信息中找到 Flan T5 XL 支持的语言列表。 JumpStart](https://sagemaker.readthedocs.io/en/stable/doc_utils/pretrainedmodels.html#built-in-algorithms-with-pre-trained-model-table)  | 
| huggingface-text2text-flan-t5-xxll | FlanT5XXL |  [https://huggingface.co/docs/transformers/model_doc/t5](https://huggingface.co/docs/transformers/model_doc/t5) 模型系列是一组大型语言模型，可在多个任务中进行微调，并可进一步训练。这些模型非常适合语言翻译、文本生成、句子补全、词义消歧、摘要或问题解答等任务。Flan T5 XXL 是一个 110 亿参数模型。[您可以在模型表中按型号 ID 搜索的模型详细信息中找到 Flan T5 XXL 支持的语言列表。 JumpStart](https://sagemaker.readthedocs.io/en/stable/doc_utils/pretrainedmodels.html#built-in-algorithms-with-pre-trained-model-table)  | 
| meta-textgeneration-llama-2-7b | Llama2-7B |  Llama 2 是一组经过预训练和微调的文本生成模型，参数规模从 70 亿到 700 亿不等。Llama2-7B 是用于英语的 70 亿参数模型，可适用于各种自然语言生成任务。  | 
| meta-textgeneration-llama-2-7b-f | Llama2-7BChat |  Llama 2 是一组经过预训练和微调的文本生成模型，参数规模从 70 亿到 700 亿不等。Llama2-7B 是 70 亿参数聊天模型，针对对话使用场景进行了优化。  | 
| meta-textgeneration-llama-2-13b | Llama2-13B |  Llama 2 是一组经过预训练和微调的文本生成模型，参数规模从 70 亿到 700 亿不等。Llama2-13B 是用于英语的 130 亿参数模型，适用于各种自然语言生成任务。  | 
| meta-textgeneration-llama-2-13b-f | Llama2-13BChat |  Llama 2 是一组经过预训练和微调的文本生成模型，参数规模从 70 亿到 700 亿不等。Llama2-13B 是 130 亿参数聊天模型，针对对话使用场景进行了优化。  | 
| huggingface-llm-mistral-7b | Mistral7B |  Mistral 7B 是一个 70 亿参数代码和通用英语文本生成模型。它可用于各种使用场景，包括文本摘要、分类、文本补全或代码补全。  | 
| huggingface-llm-mistral-7b-instruct | Mistral7BInstruct |  Mistral 7B Instruct 是 Mistral 7B 的微调版本，适用于对话使用场景。它是利用各种公开的英语会话数据集专门设计的。  | 
| huggingface-textgeneration1-mpt-7b-bf16 | MPT7B |  MPT 7B 是一个具有 67 亿个参数的解码器式转换器大型语言模型，在 1 万亿个英语文本和代码词块上从头开始预训练。它可以处理较长的上下文。  | 
| huggingface-textgeneration1-mpt-7b-instruct-bf16 | MPT7BInstruct |  MPT 7B Instruct 是一种针对任务的简短指导模式。它是通过在 [databricks-dolly-15k](https://huggingface.co/datasets/databricks/databricks-dolly-15k) 和 [Anthropic Helpful and Harmless (HH-RLHF)](https://huggingface.co/datasets/Anthropic/hh-rlhf) 数据集基础上对 MPT 7B 进行微调而构建的。  |