本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。 # JumpStart 基础模型用法 通过 Amazon Studio 或 Amazon SageMaker Studio Class SageMaker ic 选择、训练或部署 JumpStart 基础模型，通过 SageMaker Python软件开发工具包以编程方式使用 JumpStart 基础模型，或者直接通过 SageMaker AI 控制台发现基础模型。 **Topics** + [在 Studio 中使用基础模型](jumpstart-foundation-models-use-studio-updated.md) + [在 Amazon SageMaker Studio 经典版中使用基础模型](jumpstart-foundation-models-use-studio.md) + [在 SageMaker Python SDK 中使用基础模型](jumpstart-foundation-models-use-python-sdk.md) + [在 SageMaker AI 控制台中探索基础模型](jumpstart-foundation-models-use-console.md) # 在 Studio 中使用基础模型 Amazon SageMaker Studio 允许您直接通过 Studio 用户界面微调、部署和评估公开和专有 JumpStart 基础模型。 **重要** 截至 2023 年 11 月 30 日，之前的亚马逊 SageMaker Studio 体验现在被命名为 Amazon St SageMaker udio Classic。以下部分专门介绍如何使用更新后的 Studio 体验。有关使用 Studio Classic 应用程序的信息，请参阅 [亚马逊 SageMaker Studio 经典版](studio.md)。 要开始使用，请导航至 Amazon SageMaker Studio 的 JumpStart 登录页面。您可以从**主页**页面或左侧面板菜单访问它。在**JumpStart**登录页面上，您可以浏览公开和专有模型提供商提供的模型中心，并搜索模型。 在每个模型中心中，您可以按**最喜欢次数**、**下载次数最多**、**最近更新次数**对模型进行排序，也可以按任务对模型进行筛选。选择一个模型，查看其详情卡。在模型详情卡上，您可以根据可用选项选择**微调**、**部署**或**评估**模型。请注意，并非所有模型都可用于微调或评估。 有关开始使用 Amazon SageMaker Studio 的更多信息，请参阅[亚马逊 SageMaker Studio](studio-updated.md)。 **Topics** + [在 Studio 中微调模型](jumpstart-foundation-models-use-studio-updated-fine-tune.md) + [在 Studio 中部署模型](jumpstart-foundation-models-use-studio-updated-deploy.md) + [在 Studio 中评估模型](jumpstart-foundation-models-use-studio-updated-evaluate.md) + [在 Amazon Bedrock 中使用你的 SageMaker JumpStart 模型](jumpstart-foundation-models-use-studio-updated-register-bedrock.md) # 在 Studio 中微调模型 微调过程在新数据集上训练已经预训练的模型，而无需从头开始训练。这个过程也称为转移学习，可以使用较小数据集和较短的训练时间生成准确模型。要微调 JumpStart基础模型，请导航到 Studio 用户界面中的模型详细信息卡。有关如何在 Studio JumpStart 中打开的更多信息，请参阅[JumpStart 在工作室中打开](studio-jumpstart.md#jumpstart-open-studio)。导航到您选择的模型详情卡后，选择右上角的**训练**。请注意，并非所有模型都有微调功能。 **重要** 有些基础模型要求在微调前明确接受最终用户许可协议 (EULA)。有关更多信息，请参阅 [亚马逊 SageMaker Studio 接受最终用户许可协议](jumpstart-foundation-models-choose.md#jumpstart-foundation-models-choose-eula-studio)。 ## 模型设置 在 Amazon SageMaker Studio 中使用预训练 JumpStart 的基础模型时，默认情况下会填充**模型构件位置（Amazon S3 URI）**。要编辑默认的 Amazon S3 URI，请选择**输入模型构件位置**。并非所有模型都支持更改模型构件的位置。 ## 数据设置 在**数据**字段中，提供指向您的训练数据集位置的 Amazon S3 URI。默认的 Amazon S3 URI 指向一个示例训练数据集。要编辑默认的 Amazon S3 URI，请选择**输入训练数据集**并更改 URI。请务必查看 Amazon SageMaker Studio 中的模型详情卡，了解有关格式化训练数据的信息。 ## 超参数 您可以自定义用于微调模型的训练作业的超参数。每个可微调模型的可用超参数因模型而异。 以下超参数在模型中很常见： + **纪元** – 一个纪元是遍历整个数据集的一个周期。通过多个时间间隔完成一个批次，通过多个批次最终完成一个纪元。系统运行多个纪元，直到模型的准确性达到可接受的水平，或者说当错误率降至可接受的水平以下时。 + **学习率** – 各个纪元之间应该变化的值的数量。随着模型的优化，其内部权重将被调整，并检查错误率以确定模型是否有所改善。典型的学习率为 0.1 或 0.01，其中 0.01 是一个小得多的调整，可能会导致训练需要很长时间才能收敛，而 0.1 则要大得多，可能会导致训练过度。这是在训练模型时可能会调整的主要超参数之一。请注意，对于文本模型，小得多的学习率（BERT 为 5e-5）可以生成更准确的模型。 + **Batch siz** e — 要从数据集中为每个间隔选择的记录数量，然后发送到 GPUs 进行训练。 查看 Studio 用户界面中模型详情卡的工具提示和其他信息，了解所选模型特定超参数的更多信息。 有关可用超参数的更多信息，请参阅 [通常支持的微调超参数](jumpstart-foundation-models-fine-tuning.md#jumpstart-foundation-models-fine-tuning-hyperparameters)。 ## 部署 为训练作业指定训练实例类型和输出构件位置。在微调 Studio 用户界面中，您只能选择与所选模型兼容的实例。默认输出项目位置是 SageMaker AI 默认存储桶。要更改输出构件位置，请选择**输入输出构件位置**，然后更改 Amazon S3 URI。 ## 安全性 指定用于训练任务的安全设置，包括 A SageMaker I 用于训练模型的 IAM 角色、您的训练作业是否应连接到虚拟私有云 (VPC)，以及用于保护数据的任何加密密钥。 ## 附加信息 在**其他信息**字段中，您可以编辑训练作业名称。您还可以添加和删除键值对形式的标签，以帮助组织和分类您的微调训练作业。 提供微调配置信息后，选择**提交**。如果您选择微调的预训练基础模型要求在训练前明确同意最终用户许可协议 (EULA)，则会在弹出窗口中提供 EULA。要接受 EULA 的条款，请选择**接受**。在下载或使用模型之前，您有责任查看和遵守任何适用的许可证条款，并确保您的使用场景可以接受这些条款。 # 在 Studio 中部署模型 要部署 JumpStart 基础模型，请导航到 Studio 用户界面中的模型详细信息卡。有关如何在 Studio JumpStart 中打开的更多信息，请参阅[JumpStart 在工作室中打开](studio-jumpstart.md#jumpstart-open-studio)。导航到所选模型的详情页面后，在 Studio 用户界面的右上角选择**部署**。然后，按照[使用 SageMaker Studio 部署模型中的步骤进行](https://docs.aws.amazon.com/sagemaker/latest/dg/realtime-endpoints-deploy-models.html#deploy-models-studio)操作。 **重要** 一些基础模型在部署之前，要求明确接受最终用户许可协议 (EULA)。有关更多信息，请参阅 [亚马逊 SageMaker Studio 接受最终用户许可协议](jumpstart-foundation-models-choose.md#jumpstart-foundation-models-choose-eula-studio)。 # 在 Studio 中评估模型 亚马逊 SageMaker JumpStart 已与 Studio 中的 Cl SageMaker arify 基础模型评估 (FME) 集成。如果 JumpStart 模型具有内置评估功能，则可以在 JumpStart Studio 用户界面中模型详情页面的右上角选择**评估**。有关更多信息，请参阅[评估基础模型](https://docs.aws.amazon.com/sagemaker/latest/dg/jumpstart-foundation-models-evaluate.html)。 # 在 Amazon Bedrock 中使用你的 SageMaker JumpStart 模型 您可以将已从亚马逊部署的模型注册 SageMaker JumpStart 到 Amazon Bedrock。您可通过 Amazon Bedrock，在多个端点后面托管模型。您还可以使用 Amazon Bedrock 特征，例如座席和知识库。有关使用 Amazon Bedrock 模型的更多信息，请参阅 [https://docs.aws.amazon.com/bedrock/latest/userguide/amazon-bedrock-marketplace.html](https://docs.aws.amazon.com/bedrock/latest/userguide/amazon-bedrock-marketplace.html)。 **重要** 要将您的模型迁移到 Amazon Bedrock，我们建议将[AmazonBedrockFullAccess](https://docs.aws.amazon.com/aws-managed-policy/latest/reference/AmazonBedrockFullAccess.html)策略附加到您的 IAM 角色。如果无法附加托管策略，请确保您的 IAM 角色拥有下列权限： **** ``` { "Version":"2012-10-17", "Statement": [ { "Sid": "BedrockAll", "Effect": "Allow", "Action": [ "bedrock:*" ], "Resource": "*" }, { "Sid": "DescribeKey", "Effect": "Allow", "Action": [ "kms:DescribeKey" ], "Resource": "arn:*:kms:*:::*" }, { "Sid": "APIsWithAllResourceAccess", "Effect": "Allow", "Action": [ "iam:ListRoles", "ec2:DescribeVpcs", "ec2:DescribeSubnets", "ec2:DescribeSecurityGroups" ], "Resource": "*" }, { "Sid": "MarketplaceModelEndpointMutatingAPIs", "Effect": "Allow", "Action": [ "sagemaker:CreateEndpoint", "sagemaker:CreateEndpointConfig", "sagemaker:CreateModel", "sagemaker:CreateInferenceComponent", "sagemaker:DeleteInferenceComponent", "sagemaker:DeleteEndpoint", "sagemaker:UpdateEndpoint" ], "Resource": [ "arn:aws:sagemaker:*:*:endpoint/*", "arn:aws:sagemaker:*:*:endpoint-config/*", "arn:aws:sagemaker:*:*:model/*" ], "Condition": { "StringEquals": { "aws:CalledViaLast": "bedrock.amazonaws.com" } } }, { "Sid": "BedrockEndpointTaggingOperations", "Effect": "Allow", "Action": [ "sagemaker:AddTags", "sagemaker:DeleteTags" ], "Resource": [ "arn:aws:sagemaker:*:*:endpoint/*", "arn:aws:sagemaker:*:*:endpoint-config/*", "arn:aws:sagemaker:*:*:model/*" ] }, { "Sid": "MarketplaceModelEndpointNonMutatingAPIs", "Effect": "Allow", "Action": [ "sagemaker:DescribeEndpoint", "sagemaker:DescribeEndpointConfig", "sagemaker:DescribeModel", "sagemaker:DescribeInferenceComponent", "sagemaker:ListEndpoints", "sagemaker:ListTags" ], "Resource": [ "arn:aws:sagemaker:*:*:endpoint/*", "arn:aws:sagemaker:*:*:endpoint-config/*", "arn:aws:sagemaker:*:*:model/*" ], "Condition": { "StringEquals": { "aws:CalledViaLast": "bedrock.amazonaws.com" } } }, { "Sid": "BedrockEndpointInvokingOperations", "Effect": "Allow", "Action": [ "sagemaker:InvokeEndpoint", "sagemaker:InvokeEndpointWithResponseStream" ], "Resource": [ "arn:aws:sagemaker:*:*:endpoint/*" ], "Condition": { "StringEquals": { "aws:CalledViaLast": "bedrock.amazonaws.com" } } }, { "Sid": "DiscoveringMarketplaceModel", "Effect": "Allow", "Action": [ "sagemaker:DescribeHubContent" ], "Resource": [ "arn:aws:sagemaker:*:aws:hub-content/SageMakerPublicHub/Model/*", "arn:aws:sagemaker:*:aws:hub/SageMakerPublicHub" ] }, { "Sid": "AllowMarketplaceModelsListing", "Effect": "Allow", "Action": [ "sagemaker:ListHubContents" ], "Resource": "arn:aws:sagemaker:*:aws:hub/SageMakerPublicHub" }, { "Sid": "RetrieveSubscribedMarketplaceLicenses", "Effect": "Allow", "Action": [ "license-manager:ListReceivedLicenses" ], "Resource": [ "*" ] }, { "Sid": "PassRoleToSageMaker", "Effect": "Allow", "Action": [ "iam:PassRole" ], "Resource": [ "arn:aws:iam::*:role/*Sagemaker*ForBedrock*" ], "Condition": { "StringEquals": { "iam:PassedToService": [ "sagemaker.amazonaws.com", "bedrock.amazonaws.com" ] } } }, { "Sid": "PassRoleToBedrock", "Effect": "Allow", "Action": [ "iam:PassRole" ], "Resource": "arn:aws:iam::*:role/*AmazonBedrock*", "Condition": { "StringEquals": { "iam:PassedToService": [ "bedrock.amazonaws.com" ] } } } ] } ``` Amazon Bedrock Full Access 策略仅提供对 Amazon Bedrock API 的权限。要在中使用 Amazon Bedrock AWS 管理控制台，您的 IAM 角色还必须具有以下权限： ``` { "Sid": "AllowConsoleS3AccessForBedrockMarketplace", "Effect": "Allow", "Action": [ "s3:GetObject", "s3:GetBucketCORS", "s3:ListBucket", "s3:ListBucketVersions", "s3:GetBucketLocation" ], "Resource": "*" } ``` 如果您要自行编写策略，则必须附上支持对资源执行 Amazon Bedrock Marketplace 操作的策略声明。例如，以下策略支持 Amazon Bedrock 对已部署到端点的模型使用 `InvokeModel` 操作。 **** ``` { "Version":"2012-10-17", "Statement": [ { "Sid": "BedrockAll", "Effect": "Allow", "Action": [ "bedrock:InvokeModel" ], "Resource": [ "arn:aws:bedrock:us-east-1:111122223333:marketplace/model-endpoint/all-access" ] }, { "Sid": "VisualEditor1", "Effect": "Allow", "Action": ["sagemaker:InvokeEndpoint"], "Resource": "arn:aws:sagemaker:us-east-1:111122223333:endpoint/*", "Condition": { "StringEquals": { "aws:ResourceTag/project": "example-project-id", "aws:CalledViaLast": "bedrock.amazonaws.com" } } } ] } ``` 部署模型后，您可能就能够在 Amazon Bedrock 中使用该模型了。要查看是否可以在 Amazon Bedrock 中使用该模型，请导航至 Studio 用户界面中的模型详情卡。如果模型卡片上写着 **Bedrock 就绪**，则可以在 Amazon Bedrock 中注册该模型。 **重要** 默认情况下，Amazon SageMaker JumpStart 会禁用您部署的模型的网络访问权限。如果您启用了网络访问权限，则将无法在 Amazon Bedrock 中使用该模型。如果您想在 Amazon Bedrock 中使用该模型，则必须在禁用网络访问权限的情况下重新部署该模型。 要在 Amazon Bedrock 中使用该模型，请导航至**端点详细信息**页面，然后在 Studio 用户界面右上角选择**配合 Bedrock 使用**。看到弹出窗口后，选择**注册到 Bedrock**。 # 在 Amazon SageMaker Studio 经典版中使用基础模型 您可以通过 Studio Classic 用户界面微调和部署公开和专有 JumpStart基础模型。 **重要** 截至 2023 年 11 月 30 日，之前的亚马逊 SageMaker Studio 体验现在被命名为 Amazon St SageMaker udio Classic。以下部分专门介绍如何使用 Studio Classic 应用程序。有关使用更新的 Studio 体验的信息，请参阅 [亚马逊 SageMaker Studio](studio-updated.md)。 Studio Classic 仍针对现有工作负载进行维护，但不再可供入门使用。您只能停止或删除现有的 Studio Classic 应用程序，不能创建新的应用程序。我们建议您将[工作负载迁移到全新 Studio 体验](studio-updated-migrate.md)。 要通过 Studio Classic 开始使用，请参阅 [推出亚马逊 SageMaker Studio 经典版](studio-launch.md)。 ![\[JumpStart foundation models available in Amazon SageMaker Studio Classic.\]](http://docs.aws.amazon.com/zh_cn/sagemaker/latest/dg/images/jumpstart/jumpstart-fm-studio.png) 打开 Amazon SageMaker Studio Classic 后**，在导航窗格的 SageMaker JumpStart 部分选择型号、笔记本电脑、解决方案**。然后，根据您的使用案例，向下滚动以找到**基础模型：文本生成**或**基础模型：图像生成**部分。 您可以在建议的基础模型卡片上选择**查看模型**，也可以选择**浏览所有模型**以查看所有可用于文本生成或图像生成的基础模型。如果您选择查看所有可用模型，则可以按任务、数据类型、内容类型或框架进一步筛选可用模型。您还可以直接在**搜索栏**中搜索模型名称。如果您需要有关选择模型的指导，请参阅[可用的基础模型](jumpstart-foundation-models-latest.md)。 **重要** 某些基础模型要求明确接受最终用户许可协议 (EULA)。有关更多信息，请参阅 [亚马逊 SageMaker Studio 接受最终用户许可协议](jumpstart-foundation-models-choose.md#jumpstart-foundation-models-choose-eula-studio)。 当您在 Studio Classic 中为所选基础模型选择了**查看模型**后，可以部署该模型。有关更多信息，请参阅 [部署模型](jumpstart-deploy.md)。 您也可以选择**在笔记本中运行**部分中的**打开笔记本**，直接在 Studio Classic 中运行基础模型的示例笔记本。 **注意** 要在 Studio Classic 中部署专有基础模型，您必须先在 AWS Marketplace中订阅该模型。该 AWS Marketplace 链接在 Studio Classic 中的相关示例笔记本中提供。 如果模型可以微调，您也可以对模型进行微调。有关更多信息，请参阅 [微调模型](jumpstart-fine-tune.md)。有关哪些 JumpStart 基础模型可以微调的列表，请参阅。[用于微调的基础模型和超参数](jumpstart-foundation-models-fine-tuning.md) # 在 SageMaker Python SDK 中使用基础模型 所有 JumpStart 基础模型均可用于使用 SageMaker Python SDK 进行编程部署。 要部署公开可用的基础模型，您可以使用其模型 ID。您可以在[带有预训练模型表 IDs 的内置算法中找到所有公开基础模型的模型](https://sagemaker.readthedocs.io/en/stable/doc_utils/pretrainedmodels.html)。在**搜索**栏中搜索基础模型名称。使用**显示条目**下拉列表或分页控件浏览可用的模型。 在 AWS Marketplace中订阅模型后，必须使用模型软件包信息部署专有模型。 您可以在中找到 JumpStart 可用型号的列表[可用的基础模型](jumpstart-foundation-models-latest.md)。 **重要** 某些基础模型要求明确接受最终用户许可协议 (EULA)。有关更多信息，请参阅 [使用 SDK 接受最终用户许可协议 SageMaker Python](jumpstart-foundation-models-choose.md#jumpstart-foundation-models-choose-eula-python-sdk)。 下面几节将介绍如何使用 `JumpStartEstimator` 类微调公开可用的基础模型，使用 `JumpStartModel` 类部署公开可用的基础模型，以及使用 `ModelPackage` 类部署专有基础模型。 **Topics** + [使用 `JumpStartEstimator` 类微调公开可用的基础模型](jumpstart-foundation-models-use-python-sdk-estimator-class.md) + [使用 `JumpStartModel` 类部署公开可用的基础模型](jumpstart-foundation-models-use-python-sdk-model-class.md) + [使用 `ModelPackage` 类部署专有基础模型](jumpstart-foundation-models-use-python-sdk-proprietary.md) # 使用 `JumpStartEstimator` 类微调公开可用的基础模型 **注意** 有关在私有策管中心微调基础模型的说明，请参阅 [微调策管中心模型](jumpstart-curated-hubs-fine-tune.md)。 使用 SDK，您只需几行代码即可对内置算法或预训练模型进行微调。 SageMaker Python 1. 首先，在[内置算法与预训练模型表](https://sagemaker.readthedocs.io/en/stable/doc_utils/pretrainedmodels.html)中找到所选模型的模型 ID。 1. 使用模型 ID 将您的训练作业定义为 JumpStart估算器。 ``` from sagemaker.jumpstart.estimator import JumpStartEstimator model_id = "huggingface-textgeneration1-gpt-j-6b" estimator = JumpStartEstimator(model_id=model_id) ``` 1. 在模型上运行 `estimator.fit()`，指向用于微调的训练数据。 ``` estimator.fit( {"train": training_dataset_s3_path, "validation": validation_dataset_s3_path} ) ``` 1. 然后，使用 `deploy` 方法自动部署模型进行推理。在此示例中，我们使用 Hugging Face 的 GPT-J 6B 模型。 ``` predictor = estimator.deploy() ``` 1. 然后，您就可以使用 `predict` 方法对已部署的模型进行推理。 ``` question = "What is Southern California often abbreviated as?" response = predictor.predict(question) print(response) ``` **注意** 此示例使用基础模型 GPT-J 6B，该模型适用于各种文本生成使用场景，包括问题解答、命名实体识别、摘要等。有关模型使用场景的更多信息，请参阅 [可用的基础模型](jumpstart-foundation-models-latest.md)。 创建 `JumpStartEstimator` 时，您可以选择指定模型版本或实例类型。有关该`JumpStartEstimator `类及其参数的更多信息，请参见[JumpStartEstimator](https://sagemaker.readthedocs.io/en/stable/api/inference/model.html#sagemaker.jumpstart.estimator.JumpStartEstimator)。 ## 检查默认实例类型 在使用 `JumpStartEstimator` 类对预训练模型进行微调时，您可以选择包含特定的模型版本或实例类型。所有 JumpStart 模型都有默认的实例类型。使用以下代码读取默认训练实例类型： ``` from sagemaker import instance_types instance_type = instance_types.retrieve_default( model_id=model_id, model_version=model_version, scope="training") print(instance_type) ``` 您可以使用`instance_types.retrieve()`方法查看给定 JumpStart 模型的所有支持的实例类型。 ## 检查默认超参数 要检查用于训练的默认超参数，可以使用 `hyperparameters` 类中的 `retrieve_default()` 方法。 ``` from sagemaker import hyperparameters my_hyperparameters = hyperparameters.retrieve_default(model_id=model_id, model_version=model_version) print(my_hyperparameters) # Optionally override default hyperparameters for fine-tuning my_hyperparameters["epoch"] = "3" my_hyperparameters["per_device_train_batch_size"] = "4" # Optionally validate hyperparameters for the model hyperparameters.validate(model_id=model_id, model_version=model_version, hyperparameters=my_hyperparameters) ``` 有关可用超参数的更多信息，请参阅 [通常支持的微调超参数](jumpstart-foundation-models-fine-tuning.md#jumpstart-foundation-models-fine-tuning-hyperparameters)。 ## 检查默认指标定义 您还可以检查默认指标定义： ``` print(metric_definitions.retrieve_default(model_id=model_id, model_version=model_version)) ``` # 使用 `JumpStartModel` 类部署公开可用的基础模型 使用 SageMaker Python SDK，只需几行代码即可将内置算法或预训练模型部署到 SageMaker AI 终端节点。 1. 首先，在[内置算法与预训练模型表](https://sagemaker.readthedocs.io/en/stable/doc_utils/pretrainedmodels.html)中找到所选模型的模型 ID。 1. 使用模型 ID 将您的模型定义为 JumpStart 模型。 ``` from sagemaker.jumpstart.model import JumpStartModel model_id = "huggingface-text2text-flan-t5-xl" my_model = JumpStartModel(model_id=model_id) ``` 1. 使用 `deploy` 方法自动部署模型进行推理。在本例中，我们使用了来自 Hugging Face 的 FLAN-T5 XL 模型。 ``` predictor = my_model.deploy() ``` 1. 然后，您就可以使用 `predict` 方法对已部署的模型进行推理。 ``` question = "What is Southern California often abbreviated as?" response = predictor.predict(question) print(response) ``` **注意** 此示例使用的基础模型 FLAN-T5 XL 适用于各种文本生成使用场景，包括问题解答、摘要、聊天机器人创建等。有关模型使用场景的更多信息，请参阅 [可用的基础模型](jumpstart-foundation-models-latest.md)。 有关该`JumpStartModel `类及其参数的更多信息，请参见[JumpStartModel](https://sagemaker.readthedocs.io/en/stable/api/inference/model.html#sagemaker.jumpstart.model.JumpStartModel)。 ## 检查默认实例类型 在使用 `JumpStartModel` 类对预训练模型进行部署时，您可以选择包含特定的模型版本或实例类型。所有 JumpStart 模型都有默认的实例类型。使用以下代码读取默认部署实例类型： ``` from sagemaker import instance_types instance_type = instance_types.retrieve_default( model_id=model_id, model_version=model_version, scope="inference") print(instance_type) ``` 使用`instance_types.retrieve()`方法查看给定 JumpStart 模型的所有支持的实例类型。 ## 使用推理组件将多个模型部署到共享端点 推理组件是一个 SageMaker AI 托管对象，可用于将一个或多个模型部署到终端节点，以提高灵活性和可扩展性。您必须将 JumpStart 模型更改`endpoint_type`为， inference-component-based而不是默认的基于模型的端点。 ``` predictor = my_model.deploy( endpoint_name = 'jumpstart-model-id-123456789012', endpoint_type = EndpointType.INFERENCE_COMPONENT_BASED ) ``` 有关使用推理组件创建端点和部署 SageMaker AI 模型的更多信息，请参阅[多种模式的资源共享利用](realtime-endpoints-deploy-models.md#deployed-shared-utilization)。 ## 检查有效的输入和输出推理格式 要检查有效的数据输入和输出格式以进行推理，您可以使用 `Serializers` 和 `Deserializers` 类中的 `retrieve_options()` 方法。 ``` print(sagemaker.serializers.retrieve_options(model_id=model_id, model_version=model_version)) print(sagemaker.deserializers.retrieve_options(model_id=model_id, model_version=model_version)) ``` ## 检查支持的内容和接受类型 同样，您也可以使用 `retrieve_options()` 方法来检查模型支持的内容和接受类型。 ``` print(sagemaker.content_types.retrieve_options(model_id=model_id, model_version=model_version)) print(sagemaker.accept_types.retrieve_options(model_id=model_id, model_version=model_version)) ``` 有关实用程序的更多信息，请参阅[实用工具 APIs](https://sagemaker.readthedocs.io/en/stable/api/utility/index.html)。 # 使用 `ModelPackage` 类部署专有基础模型 在 AWS Marketplace中订阅模型后，必须使用模型软件包信息部署专有模型。有关 SageMaker 人工智能和的更多信息 AWS Marketplace，请参阅[中的买入和出售 Amazon SageMaker AI 算法和模型 AWS Marketplace](https://docs.aws.amazon.com/sagemaker/latest/dg/sagemaker-marketplace.html)。要查找最新专有机型的 AWS Marketplace 链接，请参阅 [Amazon 入门 SageMaker JumpStart](https://aws.amazon.com/sagemaker/jumpstart/getting-started/?sagemaker-jumpstart-cards.sort-by=item.additionalFields.priority&sagemaker-jumpstart-cards.sort-order=asc&awsf.sagemaker-jumpstart-filter-product-type=product-type%23foundation-model&awsf.sagemaker-jumpstart-filter-text=*all&awsf.sagemaker-jumpstart-filter-vision=*all&awsf.sagemaker-jumpstart-filter-tabular=*all&awsf.sagemaker-jumpstart-filter-audio-tasks=*all&awsf.sagemaker-jumpstart-filter-multimodal=*all&awsf.sagemaker-jumpstart-filter-RL=*all&sagemaker-jumpstart-cards.q=proprietary&sagemaker-jumpstart-cards.q_operator=AND)。 在中订阅您选择的模型后 AWS Marketplace，您可以使用与模型提供者关联的 SageMaker Python SDK 和软件开发工具包来部署基础模型。例如， AI21 Labs、Cohere 和 Cohere 分别 LightOn 使用`"ai21[SM]"``cohere-sagemaker`、和`lightonsage`软件包。 例如，要使用 AI21实验室中的 Jurassic-2 Jumbo Instruct 定义 JumpStart 模型，请使用以下代码： ``` import sagemaker import ai21 role = get_execution_role() sagemaker_session = sagemaker.Session() model_package_arn = "arn:aws:sagemaker:us-east-1:865070037744:model-package/j2-jumbo-instruct-v1-1-43-4e47c49e61743066b9d95efed6882f35" my_model = ModelPackage( role=role, model_package_arn=model_package_arn, sagemaker_session=sagemaker_session ) ``` step-by-step例如，在 SageMaker Studio Classic 中查找并运行与您选择的专有基础型号相关的笔记本电脑。请参阅[在 Amazon SageMaker Studio 经典版中使用基础模型](jumpstart-foundation-models-use-studio.md)了解更多信息。有关 SageMaker Python SDK 的更多信息，请参阅[https://sagemaker.readthedocs.io/en/stable/api/inference/model.html#sagemaker.model.ModelPackage](https://sagemaker.readthedocs.io/en/stable/api/inference/model.html#sagemaker.model.ModelPackage)。 # 在 SageMaker AI 控制台中探索基础模型 您可以直接通过 Amazon A SageMaker I 控制台探索 JumpStart 基础模型。 1. 打开 Amazon A SageMaker I 控制台，网址为[https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/)。 1. 在左侧导航面板**JumpStart**上查找，然后选择**基础模型**。 1. 浏览模型或搜索特定模型。如果您需要有关选择模型的指导，请参阅[可用的基础模型](jumpstart-foundation-models-latest.md)。选择**查看模型**可查看所选基础模型的模型详情页面。 1. 如果模型是专有模型，请在模型详细信息页面右上角选择**订阅**以在 AWS Marketplace中订阅该模型。您应该会收到一封确认您订阅了所选模型的电子邮件。有关 SageMaker 人工智能和的更多信息 AWS Marketplace，请参阅[中的买入和出售 Amazon SageMaker AI 算法和模型 AWS Marketplace](https://docs.aws.amazon.com/sagemaker/latest/dg/sagemaker-marketplace.html)。公开可用的基础模型不需要订阅。 1. 要在中查看示例笔记本 GitHub，请选择模型详情页面右上角的**查看代码**。 1. 要直接在 Amazon SageMaker Studio Classic 中查看和运行示例**笔记本，请选择模型详情页面右上角的 “在 Studio 中打开笔记本**”。