本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

# SageMaker Canvas 中的生成式 AI 基礎模型
<a name="canvas-fm-chat"></a>

Amazon SageMaker Canvas 提供生成式 AI 基礎模型，您可以使用這些模型開始對話聊天。這些內容產生模型會根據大量的文字資料進行訓練，以學習單字之間的統計模式和關係，並且可以產生與訓練文字在統計學上類似的連貫文字。若要使用此功能來提高生產力，請執行下列操作：
+ 產生內容，例如文件大綱、報告和部落格
+ 將來自大型語料庫的文字進行摘要，例如法說會文字記錄、年度報告或使用者手冊章節
+ 從大型文字段落，例如會議筆記或敘述中提取洞察和關鍵要點
+ 改善文字並抓取語法錯誤或拼寫錯誤

基礎模型是 Amazon SageMaker JumpStart 和[ Amazon Bedrock](https://docs.aws.amazon.com/bedrock/latest/userguide/what-is-service.html) 大型語言模型 (LLM) 的組合。Canvas 提供下列模型：


| 模型 | Type | 說明 | 
| --- | --- | --- | 
|  Amazon Titan  | Amazon Bedrock 模型 |  Amazon Titan 是功能強大的一般用途語言模型，可用於摘要、文字產生 (例如建立部落格文章)、分類、開放式問答集和資訊擷取等任務。它在大型資料集上進行了預先訓練，因此適用於複雜的任務和推理。為了繼續支援以負責任方式使用 AI 的最佳實務，Amazon Titan 基礎模型可偵測並移除資料中的有害內容、拒絕使用者輸入中的不當內容，以及篩選包含不適當內容 (例如仇恨言論、褻瀆和暴力) 的模型輸出。  | 
|  Anthropic Claude Instant  | Amazon Bedrock 模型 |  Anthropic 的 Claude Instant 是一個更快、更具成本效益，但能力依舊相當好的模型。該模型可以處理一系列任務，包括一般對話、文字分析、摘要和文件問題答案。Claude Instant 就像 Claude-2 一樣，在每個提示中最多可以支援 100,000 個權杖，等同於大約 200 頁的資訊。  | 
|  Anthropic Claude-2  | Amazon Bedrock 模型 |  Claude-2 是 Anthropic 最強大的模型，擅長各種包括複雜的對話和創意內容產生到遵循詳細說明等任務。Claude-2 可以在每個提示中最多支援 100,000 個權杖，等同於大約 200 頁的資訊。與以前的版本相比，它可以產生更長的回應。它支援的使用案例諸如問題回答、資訊擷取、移除 PII、內容產生、多重選擇分類、角色扮演、比較文字、摘要以及有引用的文件問答。  | 
|  Falcon-7B-Instruct  | JumpStart 模型 |  Falcon-7B-Instruct 具有 70 億個參數，並在聊天和指導資料集的混合中進行微調。它適合作為虛擬助手，並且在遵循說明或進行對話時表現最佳。由於該模型是針對大量英語網路資料進行訓練，因此有線上常見的刻板印象和偏見，並且不適合英語以外的語言。與 Falcon-40B-Instruct 相比，Falcon-7B-Instruct 是一個更小、更精簡的模型。  | 
|  Falcon-40B-Instruct  | JumpStart 模型 |  Falcon-40B-Instruct 具有 400 億個參數，並在聊天和指導資料集的混合物進行了微調。它適合作為虛擬助手，並且在遵循說明或進行對話時表現最佳。由於該模型是針對大量英語網路資料進行訓練，因此有線上常見的刻板印象和偏見，並且不適合英語以外的語言。與 Falcon-7B-Instruct 相比，Falcon-40B-Instruct 是一個更大、功能更強的模型。  | 
|  Jurassic-2 Mid  | Amazon Bedrock 模型 |  Jurassic-2 Mid 是一個高效能的文字產生模型，經過了大量的文字語料庫的訓練 (目前直到 2022 年中期)。它具有高度通用的一般用途，並且能夠撰寫類似人類的文字並解決複雜的任務，例如問題答案、文字分類等。該模型提供零樣本指示功能，允許僅使用自然語言進行定向，而無需使用範例。它的執行速度比其前身 Jurassic-1 模型快 30％。 Jurassic-2 Mid 是 AI21 的中型模型號，經過精心設計，旨在在卓越的品質和實惠性之間取得適當平衡。  | 
|  Jurassic-2 Ultra  | Amazon Bedrock 模型 |  Jurassic-2 Ultra 是一個高效能的文字產生模型，經過了大量的文字語料庫的訓練 (目前直到 2022 年中期)。它具有高度通用的一般用途，並且能夠撰寫類似人類的文字並解決複雜的任務，例如問題答案、文字分類等。該模型提供零樣本指示功能，允許僅使用自然語言進行定向，而無需使用範例。它的執行速度比其前身 Jurassic-1 模型快 30％。 與 Jurassic-2 中期相比，Jurassic-2 Ultra 規模稍大，是功能更強大的模型。  | 
|  Llama-2-7b-Chat  | JumpStart 模型 |  Llama-2-7b-Chat 是 Meta 的基礎模型，適合參與有意義的連貫對話、產生新內容，以及從現有筆記擷取答案。由於該模型是針對大量英語網路資料進行訓練，因此有線上常見的偏差和限制，最適合英文任務。  | 
|  Llama-2-13B-Chat  | Amazon Bedrock 模型 |  在對網際網路資料進行初始訓練之後，Llama-2-13B-Chat by Meta 已針對對話式資料進行微調。它針對自然對話和互動聊天功能進行了最佳化，使其非常適合做為對話代理程式。與較小的 Llama-2-7b-Chat 比較，Llama-2-13B-Chat 具有近兩倍的參數，可讓其記住更多內容並產生更細微的對話回應。如同 Llama-2-7b-Chat，Llama-2-13B-Chat 已針對英文資料進行訓練，最適合英文任務。  | 
|  Llama-2-70B-Chat  | Amazon Bedrock 模型 |  如同 Llama-2-7b-Chat 和 Llama-2-13B-Chat，Meta 的 Llama-2-70B-Chat 模型已針對參與自然且有意義的對話進行最佳化。透過 700 億個參數，相較於更精簡的模型版本，這個大型對話模型可以記住更廣泛的內容，並產生高度一致的回應。不過，代價是回應速度變慢和資源要求增加。Llama-2-70B-Chat 已針對大量英文網際網路資料進行訓練，最適合英文任務。  | 
|  Mistral-7B  | JumpStart 模型 |  Mistral-7B by Mistral.AI 是一種絕佳的一般用途語言模型，適用於各種自然語言 (NLP) 任務，例如文字產生、摘要和問答。它利用分組查詢注意力 (GQA)，允許更快的推論速度，使其效能與兩倍或三倍參數的模型相當。它是以文字資料混合方式進行訓練，包括英文書籍、網站和科學論文，因此最適合英文任務。  | 
|  Mistral-7B-Chat  | JumpStart 模型 |  Mistral-7B-Chat 是 Mistral.AI 以 Mistral-7B 為基礎的對話式模型。雖然 Mistral-7B 最適合一般 NLP 任務，但 Mistral-7B-Chat 已進一步針對對話式資料進行微調，以最佳化其自然、吸引人的聊天能力。因此，Mistral-7B-Chat 會產生更多類似人類的回應，並記住先前回應的內容。如同 Mistral-7B，此模型最適合英文任務。  | 
|  MPT-7B-Instruct  | JumpStart 模型 |  MPT-7B-Instruct 是一種用於跟隨任務的長形指令的模型，可以幫助您完成寫作任務，包括文字摘要和問答，以節省您的時間和精力。這個模型是針對大量微調資料進行訓練，可以處理較大的輸入，例如複雜的文件。當您要處理大型文字內文或希望模型產生較長的回應時，請使用此模型。  | 

Amazon Bedrock 的基礎模型目前僅適用於美國東部 (維吉尼亞北部) 和美國西部 (奧勒岡) 區域。此外，使用 Amazon Bedrock 的基礎模型時，會根據每個模型供應商指定的輸入權杖和輸出權杖數量向您收費。如需更多資訊，請參閱 [Amazon Bedrock 定價頁面](https://aws.amazon.com/bedrock/pricing/)。JumpStart 基礎模型會部署在 SageMaker AI 託管執行個體上，並根據使用的執行個體類型向您基於用量持續時間收取費用。如需有關不同執行個體類型成本的詳細資訊，請參閱 [SageMaker 定價頁面](https://aws.amazon.com/sagemaker/pricing/)上的 Amazon SageMaker AI 託管：即時推論一節。

文件查詢是一項額外功能，您可以使用 Amazon Kendra 從存放在索引中的文件查詢和取得洞察。您可以使用此功能，從這些文件的前後關聯產生內容，並獲得特定於您的商業使用案例的回應，而非針對已訓練基礎模型之大量資料的一般回應。如需 Amazon Kendra 索引的更多相關資訊，請參閱 [Amazon Kendra 開發人員指南](https://docs.aws.amazon.com/kendra/latest/dg/what-is-kendra.html)。

如果您想要從根據您資料和使用案例自訂的任何基礎模型取得回應，您可以微調基礎模型。如需詳細資訊，請參閱 [微調基礎模型](canvas-fm-chat-fine-tune.md)。

如果您想要透過應用程式或網站從 Amazon SageMaker JumpStart 基礎模型取得預測，您可以將模型部署到 SageMaker AI *端點*。SageMaker AI 端點託管您的模型，而且您可以透過應用程式程式碼將請求傳送至端點，以接收來自模型的預測。如需詳細資訊，請參閱[將模型部署到端點](canvas-deploy-model.md)。

# 完成 SageMaker Canvas 中基礎模型的先決條件
<a name="canvas-fm-chat-prereqs"></a>

以下各節概述了與基礎模型交互動以及在 Canvas 中使用文件查詢功能的先決條件。本頁面的其餘內容假設您已符合基礎模型的先決條件。文件查詢功能需要其他許可。

## 基礎模型的先決條件
<a name="canvas-fm-chat-prereqs-fm"></a>

與模型互動所需的許可包含在 Canvas 即用型模型許可中。若要在 Canvas 中使用生成式 AI 模型，您必須在設定 Amazon SageMaker AI 網域時開啟 **Canvas 即用型模型組態**許可。如需詳細資訊，請參閱[設定 Amazon SageMaker Canvas 的先決條件](canvas-getting-started.md#canvas-prerequisites)。**Canvas 即用型模型組態**將 [AmazonSageMakerCanvasAIServicesAccess](https://docs.aws.amazon.com/sagemaker/latest/dg/security-iam-awsmanpol-canvas.html#security-iam-awsmanpol-AmazonSageMakerCanvasAIServicesAccess) 政策連接到了您的 Canvas 使用者的 AWS Identity and Access Management (IAM)執行角色。如果您在授予許可時遇到任何問題，請參閱主題[針對透過 SageMaker AI 主控台授予許可的問題進行故障診斷](canvas-limits.md#canvas-troubleshoot-trusted-services)。

如果您已設定網域，則可以編輯網域設定並開啟許可。如需如何編輯網域設定的指示，請參閱[編輯網域設定](domain-edit.md)。編輯網域的設定時，請前往 **Canvas 設定**，然後開啟**啟用 Canvas 即用型模型**選項。

某些 JumpStart 基礎模型也會要求您請求增加 SageMaker AI 執行個體配額。Canvas 會在這些執行個體上託管您目前與之互動的模型，但您的帳戶的預設配額可能不足。如果您在執行下列任何模型時發生錯誤，請求增加已關聯的執行個體類型的配額：
+ Falcon-40B – `ml.g5.12xlarge`、`ml.g5.24xlarge`
+ Falcon-13B – `ml.g5.2xlarge`、`ml.g5.4xlarge`、`ml.g5.8xlarge`
+ MPT-7B-Instruct - `ml.g5.2xlarge`、`ml.g5.4xlarge`、`ml.g5.8xlarge`

針對前面的 執行個體類型，請求端點用量配額從 0 增加到 1。如需關於如何提高您的帳戶的執行個體配額更多相關資訊，請參閱 *Service Quotas 使用者指南*中的[請求增加配額](https://docs.aws.amazon.com/servicequotas/latest/userguide/request-quota-increase.html)。

## 文件查詢的先決條件
<a name="canvas-fm-chat-prereqs-kendra"></a>

**注意**  
下列支援文件查詢 AWS 區域：美國東部 （維吉尼亞北部）、美國東部 （俄亥俄）、美國西部 （奧勒岡）、歐洲 （愛爾蘭）、亞太區域 （新加坡）、亞太區域 （雪梨）、亞太區域 （東京） 和亞太區域 （孟買）。

文件查詢功能要求您已經擁有儲存文件和文件中繼資料的 Amazon Kendra 索引。如需 Amazon Kendra 的更多相關資訊，請參閱 [Amazon Kendra 開發人員指南](https://docs.aws.amazon.com/kendra/latest/dg/what-is-kendra.html)。若要進一步了解查詢索引的配額，請參閱 *Amazon Kendra 開發人員指南*中的[配額](https://docs.aws.amazon.com/kendra/latest/dg/quotas.html)。

您還必須確保 Canvas 使用者設定檔具有文件查詢所需的許可。必須在託管 Canvas 應用程式的 SageMaker AI 網域上，將 [AmazonSageMakerCanvasFullAccess](https://docs.aws.amazon.com/aws-managed-policy/latest/reference/AmazonSageMakerCanvasFullAccess.html) 政策連接至 AWS IAM 執行角色 (此政策預設會連接至所有新的與現有 Canvas 使用者設定檔)。您還必須特別授予文件查詢許可，並指定對一或多個 Amazon Kendra 索引的存取權。

如果您的 Canvas 管理員正在設定新網域或使用者設定檔，請依照[設定 Amazon SageMaker Canvas 的先決條件](canvas-getting-started.md#canvas-prerequisites)中的指示設定網域。在設定網域時，他們可以透過 **Canvas 即用型模型組態**開啟文件查詢許可。

Canvas 管理員也可以在使用者設定檔等級上管理文件查詢許可。例如，如果管理員想要將文件查詢許可授予某些使用者設定檔，但要移除其他使用者的權限，則他們可以編輯特定使用者的許可。

以下程序示範如何開啟特定使用者設定檔的文件查詢許可：

1. 開啟位在 [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/) 的 SageMaker AI 主控台。

1. 在左側導覽窗格中，選擇**管理員組態**。

1. 在**管理員組態**下，選擇**網域**。

1. 從網域清單中選取使用者設定檔的網域。

1. 在**網域詳細資訊**頁面上，選擇您要編輯其許可的**使用者設定檔**。

1. 在** User Details** (使用者詳細資訊) 頁面選擇 **Edit (編輯)**。

1. 在左側導覽窗格中，選擇** Canvas 設定**。

1. 在 **Canvas 即用型模型組態**區段中，開啟**啟用使用 Amazon Kendra 文件查詢**切換開關。

1. 在下拉式清單中，選取您要授予存取權的一個或多個 Amazon Kendra 索引。

1. 選擇**提交**，將變更儲存至您的網域設定。

您現在應該可以使用 Canvas 基礎模型來查詢指定 Amazon Kendra 索引中的文件。

# 開始新的對話以產生、擷取或摘要內容
<a name="canvas-fm-chat-new"></a>

若要在 Canvas 中開始使用生成式 AI 基礎模型，您可以使用其中一個模型啟動新的聊天工作階段。針對 JumpStart 模型，會在模型處於作用中狀態時向您收費，因此您必須在要使用模型時啟動模型，並在完成互動後將其關閉。如果您沒有關閉 JumpStart 模型，則 Canvas 會在非作用中 2 小時後將其關閉。針對 Amazon Bedrock 模型 (例如 Amazon Titan)，系統會根據提示向您收費；模型已經在使用中，不需要啟動或關閉。Amazon Bedrock 會直接向您收取使用這些模型的費用。

若要用模型開始對話，請執行下列動作：

1. 開啟 SageMaker Canvas 應用程式。

1. 在左側導覽窗格中選擇**即用型模型**。

1. 選擇**產生、擷取與摘要內容**。

1. 在歡迎頁面上，您會收到啟動預設模型的建議。您可以啟動建議的模型，也可以從下拉式清單中**選擇其他模型**以選擇其他不同模型。

1. 如果您選取了 JumpStart 基礎模型，則必須先將其啟動然後才能使用。選擇**啟動模型**，然後模型會部署到 SageMaker AI 執行個體。這可能需要幾分鐘才能完成。當模型準備就緒時，您可以輸入提示並詢問模型問題。

   如果您從 Amazon Bedrock 選擇了基礎模型，則可以透過輸入提示並提出問題，立即開始使用它。

根據不同的模型，您可以執行各種任務。例如您可以輸入一段文字，並要求模型對其進行摘要。或者您可以要求模型提出您領域中市場趨勢的簡短總結。

聊天中模型的回應是基於您先前提示的內容而定。如果您想在聊天中提出與上一個對話主題無關的新問題，我們建議您使用該模型開始新的聊天。

# 使用文件查詢從文件擷取資訊
<a name="canvas-fm-chat-query"></a>

**注意**  
本章節假設您已完成以上章節[文件查詢的先決條件](canvas-fm-chat-prereqs.md#canvas-fm-chat-prereqs-kendra)。

文件查詢是您可以在 Canvas 中與基礎模型互動時使用的功能。您可以透過文件查詢，存取儲存在 Amazon Kendra *索引*中的文件語料庫，該索引會儲存文件內容，且其結構以可搜尋文件的方式架構。您可以針對 Amazon Kendra 索引中的資料提出特定問題，基礎模型就會傳回問題的答案。例如，您可以查詢 IT 資訊的內部知識庫，並提出諸如 “如何連線至公司的網路？” 等問題 如需設定索引的更多相關資訊 ，請參閱 [Amazon Kendra 開發人員指南](https://docs.aws.amazon.com/kendra/latest/dg/what-is-kendra.html)。

使用文件查詢功能時，基礎模型會使用稱為擷取增強產生 (RAG) 的技術，限制其對索引中文件內容的回應。這種技術將索引中最相關的資訊與使用者的提示綁定在一起，並將其發送到基礎模型以獲得回應。回應僅限於索引中可以找到的內容，以防止模型根據外部資料給您不正確的回應。如需有關此程序的更多相關資訊，請參閱部落格文章[快速針對企業資料建置高準確度的生成式 AI 應用程式](https://aws.amazon.com/blogs/machine-learning/quickly-build-high-accuracy-generative-ai-applications-on-enterprise-data-using-amazon-kendra-langchain-and-large-language-models/)。

若要開始使用，請在 Canvas 中與基礎模型的聊天裡，開啟頁面頂端的**文件查詢**切換開關。從下拉式清單中選取您要查詢的 Amazon Kendra 索引。然後，您可以開始詢問與索引中的文件相關的問題。

**重要**  
文件查詢支援 [比較模型輸出](canvas-fm-chat-compare.md)功能。當您開始新聊天時，任何現有的聊天歷史記錄都會被覆蓋，以便比較模型輸出。

# 啟動模型
<a name="canvas-fm-chat-manage"></a>

**注意**  
下節描述啟動模型，這些描述僅適用於 JumpStart 基礎模型，例如 Falcon-40B-Instruct。您可以隨時存取 Amazon Bedrock 模型，如 Amazon Titan。

您可以根據需要啟動任意數量的 JumpStart 模型。每個作用中的 JumpStart 模型都會讓您的帳戶產生費用，因此我們建議您啟動的模型數量不要超過目前使用的模型數量。

若要啟動另一個模型，您可以執行下列動作：

1. 在**產生、擷取和摘要內容**頁面上，選擇**新聊天**。

1. 從下拉式清單選擇模型。如果您要選擇未顯示在下拉式清單中的模型，請選擇**啟動其他模型**，然後選取您要啟動的模型。

1. 選擇**啟動模型**。

模型應該開始啟動，幾分鐘之內您就可以與模型聊天。

# 關閉模型
<a name="canvas-fm-chat-shut-down"></a>

我們強烈建議您關閉未使用的模型。模型在非作用中 2 小時後自動關閉。但是，若要手動關閉模型，您可以執行下列動作：

1. 在**產生、擷取和摘要內容**頁面上，開啟您要關閉的模型聊天。

1. 在聊天頁面上，選擇**更多選項**圖示 (![\[Vertical ellipsis icon representing a menu or more options.\]](http://docs.aws.amazon.com/zh_tw/sagemaker/latest/dg/images/studio/canvas/more-options-icon.png))。

1. 選擇**關閉模型**。

1. 在**關閉模型**確認方塊中，選擇**關閉**。

模型開始關閉。如果您的聊天比較兩個以上的模型，您可以在聊天頁面中選擇該模型的**更多選項** 圖示 (![\[Vertical ellipsis icon representing a menu or more options.\]](http://docs.aws.amazon.com/zh_tw/sagemaker/latest/dg/images/studio/canvas/more-options-icon.png))，然後選擇**關閉模型**，以關閉個別模型。

# 比較模型輸出
<a name="canvas-fm-chat-compare"></a>

您可能需要並排比較不同模型的輸出，以決定您喜歡的模型輸出。這可以幫助您決定哪種模型最適合您的使用案例。您最多可以在聊天中比較三種模型。

**注意**  
每個個別模型都會對您的帳戶產生費用。

您必須開始新聊天才能新增模型進行比較。要在聊天中並排比較模型的輸出，請執行以下操作：

1. 在聊天中，選擇**新的聊天**。

1. 選擇**比較**，然後使用下拉式清單選取您要新增的模型。若要新增第三個模型，請再次選擇 **比較**來新增另一項模型。
**注意**  
如果您要使用目前未作用中的 JumpStart 模型，系統會提示您啟動模型。

當模型處於活動狀態時，您會在聊天中並排看到兩個模型。您可以提交您的提示，並且每個模型都在同一個聊天中作出回應，如下列螢幕擷取畫面所示。

![\[Canvas 介面的螢幕擷取畫面，並排顯示兩個模型的輸出。\]](http://docs.aws.amazon.com/zh_tw/sagemaker/latest/dg/images/studio/canvas/canvas-chat-compare-outputs.png)


完成互動後，請務必個別關閉任何 JumpStart 模型，以避免產生進一步的費用。

# 微調基礎模型
<a name="canvas-fm-chat-fine-tune"></a>

您可以透過 Amazon SageMaker Canvas 存取的基礎模型可協助您處理一系列的一般用途任務。不過，如果您有特定的使用案例，並且想要根據自己的資料自訂回應，您可以*微調*基礎模型。

若要微調基礎模型，請提供資料集，其中包含範例提示和模型回應。然後，您可以針對資料訓練基礎模型。最後，微調的基礎模型能夠為您提供更具體的回應。

下列清單包含您可以在 Canvas 中微調的基礎模型：
+ Titan Express
+ Falcon-7B
+ Falcon-7B-Instruct
+ Falcon-40B-Instruct
+ Falcon-40B
+ Flan-T5-Large
+ FLAN-T5 超大
+ Flan-T5-Xxl
+ MPT-7B
+ MPT-7B-Instruct

您可以存取 Canvas 應用程式中每個基礎模型的詳細資訊，同時微調模型。如需詳細資訊，請參閱[微調模型](#canvas-fm-chat-fine-tune-procedure-model)。

本主題描述如何在 Canvas 中微調基礎模型。

## 開始之前
<a name="canvas-fm-chat-fine-tune-prereqs"></a>

在微調基礎模型之前，請確定您擁有 Canvas Ready-to-use模型的許可，以及與 Amazon Bedrock 具有信任關係的 AWS Identity and Access Management 執行角色，這可讓 Amazon Bedrock 在微調基礎模型時擔任您的角色。

設定或編輯 Amazon SageMaker AI 網域時，您必須 1) 開啟 Canvas 即用型模型組態許可，以及 2) 建立或指定 Amazon Bedrock 角色，這是 SageMaker AI 連接至其中的 IAM 執行角色，其與 Amazon Bedrock 有信任關係。如需設定這些設定的詳細資訊，請參閱[設定 Amazon SageMaker Canvas 的先決條件](canvas-getting-started.md#canvas-prerequisites)。

如果您寧願使用自己的 IAM 執行角色 (而不是讓 SageMaker AI 代表您建立角色)，您可以手動設定 Amazon Bedrock 角色。如需設定您自己的 IAM 執行角色與 Amazon Bedrock 的信任關係的詳細資訊，請參閱[授予使用者在 Canvas 中使用 Amazon Bedrock 和生成式 AI 功能的許可](canvas-fine-tuning-permissions.md)。

您還必須擁有已針對微調大型語言模型 (LLM) 進行格式化的資料集。以下是您資料集的要求清單：
+ 資料集必須是表格式，並包含至少兩欄文字資料：一個輸入欄 (其中包含模型的範例提示) 和一個輸出欄 (其中包含來自模型的範例回應)。

  以下是範例：    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_tw/sagemaker/latest/dg/canvas-fm-chat-fine-tune.html)
+ 我們建議資料集至少有 100 個文字對 (對應輸入和輸出項目的資料列)。這可確保基礎模型有足夠的資料進行微調，並提高其回應的準確性。
+ 每個輸入和輸出項目最多可包含 512 個字元。微調基礎模型時，只要長度超過該字元數就會減少至 512 個字元。

微調 Amazon Bedrock 模型時，您必須遵循 Amazon Bedrock 配額。如需詳細資訊，請參閱《Amazon Bedrock 使用者指南》**中的[模型自訂配額](https://docs.aws.amazon.com/bedrock/latest/userguide/quotas.html#model-customization-quotas)。

如需 Canvas 中一般資料集要求和限制的詳細資訊，請參閱[建立資料集](canvas-import-dataset.md)。

## 微調基礎模型
<a name="canvas-fm-chat-fine-tune-procedure"></a>

您可以在 Canvas 應用程式中使用下列任一方法來微調基礎模型：
+ 與基礎模型進行**產生、擷取和摘要說明內容**聊天時，選擇**微調模型**圖示 (![\[Magnifying glass icon with a plus sign, indicating a search or zoom-in function.\]](http://docs.aws.amazon.com/zh_tw/sagemaker/latest/dg/images/studio/canvas/wrench-icon-small.png))。
+ 在與基礎模型聊天時，如果您已重新產生回應兩次或更多次，則 Canvas 會為您提供**微調模型**的選項。以下螢幕擷取畫面顯示這看起來像什麼。  
![\[聊天中顯示的微調基礎模型選項的螢幕擷取畫面。\]](http://docs.aws.amazon.com/zh_tw/sagemaker/latest/dg/images/studio/canvas/fine-tuning-ingress.png)
+ 在**我的模型**頁面上，您可以選擇**新模型**來建立新的模型，然後選取**微調基礎模型**。
+ 在**即用型模型**首頁上，您可以選擇**建立自己的模型**，然後在**建立新模型**對話方塊中，選擇**微調基礎模型**。
+ 在 **Data Wrangler** 索引標籤中瀏覽您的資料集時，您可以選取資料集，然後選擇**建立模型**。然後，選擇**微調基礎模型**。

開始微調模型後，請執行下列動作：

### 選取資料集
<a name="canvas-fm-chat-fine-tune-procedure-select"></a>

在微調模型的**選取**索引標籤上，您可以選擇要對其訓練基礎模型的資料。

選取現有的資料集，或建立一個符合[開始之前](#canvas-fm-chat-fine-tune-prereqs)一節中所列要求的新資料集。如需如何建立資料集的詳細資訊，請參閱[建立資料集](canvas-import-dataset.md)。

當您已選取或建立資料集並準備好繼續進行時，請選擇**選取資料集**。

### 微調模型
<a name="canvas-fm-chat-fine-tune-procedure-model"></a>

選取您的資料後，您現在可以開始訓練和微調模型。

在**微調**索引標籤上，執行以下動作：

1. (選用) 選擇**進一步了解我們的基礎模型**，以存取每個模型的詳細資訊，並協助您決定要部署的基礎模型。

1. 對於**最多選取 3 個基礎模型**，開啟下拉式功能表，並檢查最多 3 個您想要在訓練任務期間微調的基礎模型 (最多 2 個 JumpStart 模型和 1 個 Amazon Bedrock 模型)。透過微調多個基礎模型，您可以比較其效能，最終選擇最適合您使用案例的模型做為預設模型。如需預設模型的詳細資訊，請參閱[在模型排行榜中檢視模型候選項目](canvas-evaluate-model-candidates.md)。

1. 針對**選取輸入欄**，選取資料集中包含範例模型提示的文字資料欄。

1. 針對**選取輸出欄**，選取資料集中包含範例模型回應的文字資料欄。

1. (選用) 若要設定訓練任務的進階設定，請選擇**設定模型**。如需進階模型建置設定的詳細資訊，請參閱[進階模型建置組態](canvas-advanced-settings.md)。

   在**設定模型**快顯視窗中，執行下列動作：

   1. 針對**超參數**，您可以調整每個所選模型的 **Epoch 計數**、**批次大小**、**學習率**和**學習率暖機步驟**。如需這些參數的詳細資訊，請參閱 [JumpStart 文件中的超參數一節](https://docs.aws.amazon.com/sagemaker/latest/dg/jumpstart-fine-tune.html#jumpstart-hyperparameters)。

   1. 針對**資料分割**，您可以指定如何在**訓練集**與**驗證集**之間分割資料的百分比。

   1. 針對**最長任務執行時期**，您可以設定 Canvas 執行建置任務的時間上限。此功能僅適用於 JumpStart 基礎模型。

   1. 設定完設定後，請選擇**儲存**。

1. 選擇**微調**以開始訓練您選取的基礎模型。

微調任務開始後，您可以離開頁面。當模型在**我的模型**頁面上顯示為**就緒**時，即可使用，而且您現在可以分析微調基礎模型的效能。

### 分析微調基礎模型
<a name="canvas-fm-chat-fine-tune-procedure-analyze"></a>

在微調基礎模型的**分析**索引標籤上，您可以查看模型的效能。

此頁面上的**概觀**索引標籤會顯示困惑度和損失分數，以及視覺化模型在訓練期間隨時間改善的分析。下列螢幕擷取畫面顯示**概觀**索引標籤。

![\[Canvas 中微調基礎模型的 [分析] 索引標籤，其中顯示困惑度和損失曲線。\]](http://docs.aws.amazon.com/zh_tw/sagemaker/latest/dg/images/studio/canvas/canvas-fine-tune-analyze-2.png)


在此頁面上，您可以看到下列視覺化：
+ **困惑度曲線**會衡量模型在序列中預測下一個單字的準確程度，或模型輸出的語法程度。理想情況下，隨著模型在訓練期間改善，分數會降低並產生隨著時間降低和扁平化的曲線。
+ **損失曲線**會量化正確輸出與模型預測輸出之間的差異。隨著時間降低和扁平化的損失曲線表示模型正在改善其進行準確預測的能力。

**進階指標**索引標籤會顯示模型的超參數和其他指標。看起來就像下列螢幕擷取畫面：

![\[Canvas 中微調基礎模型的進階指標索引標籤的螢幕擷取畫面。\]](http://docs.aws.amazon.com/zh_tw/sagemaker/latest/dg/images/studio/canvas/canvas-fine-tune-metrics.png)


**進階指標**索引標籤包含下列資訊：
+ **可解釋性**區段包含**超參數**，這是在任務之前設定的值，以引導模型的微調。如果您未在[微調模型](#canvas-fm-chat-fine-tune-procedure-model)區段的模型進階設定中指定自訂超參數，則 Canvas 會為您選取預設超參數。

  對於 JumpStart 模型，您也可以看到進階指標 [ROUGE (Recall-Oriented Understudy for Gisting Evaluation)](https://en.wikipedia.org/wiki/ROUGE_(metric))，其會評估模型產生的摘要品質。它會衡量模型總結段落要點的程度。
+ **成品**區段為您提供在微調任務期間產生的成品連結。您可以存取 Amazon S3 中儲存的訓練和驗證資料，以及模型評估報告的連結 (若要進一步了解，請參閱以下段落)。

若要取得更多模型評估洞見，您可以下載一份使用 [SageMaker Clarify](https://docs.aws.amazon.com/sagemaker/latest/dg/clarify-configure-processing-jobs.html) 產生的報告，這項功能可協助您偵測模型和資料中的偏差。首先，選擇頁面底部的**產生評估報告**來產生報告。產生報告後，您可以選擇**下載報告**或返回**成品**區段來下載完整報告。

您也可以存取 Jupyter 筆記本，展示如何在 Python 程式碼中複寫微調任務。您可以使用此項來複寫或對微調任務進行程式設計變更，或深入了解 Canvas 如何微調模型。若要進一步了解模型筆記本以及如何存取它們，請參閱[下載模型筆記本](canvas-notebook.md)。

如需如何解譯微調基礎模型的**分析**索引標籤中資訊的詳細資訊，請參閱主題[模型評估](canvas-evaluate-model.md)。

分析**概觀**和**進階指標**索引標籤後，您也可以選擇開啟**模型排行榜**，為您顯示建置期間訓練的基礎模型清單。損失分數最低的模型會被視為效能最佳的模型，並被選為**預設模型**，這是您在**分析**索引標籤中看到其分析的模型。您只能測試和部署預設模型。如需模型排行榜以及如何變更預設模型的詳細資訊，請參閱[在模型排行榜中檢視模型候選項目](canvas-evaluate-model-candidates.md)。

### 在聊天中測試微調的基礎模型
<a name="canvas-fm-chat-fine-tune-procedure-test"></a>

在分析微調基礎模型的效能之後，您可能想要測試該模型，或將其回應與基礎模型進行比較。您可以在**產生、擷取和摘要說明內容**功能中透過聊天測試微調基礎模型。

選擇下列其中一種方法，與微調模型開始聊天：
+ 在微調模型的**分析**索引標籤上，選擇**即用型基礎模型中的測試**。
+ 在 Canvas **即用型模型**頁面上，選擇**產生、擷取和摘要說明內容**。然後，選擇**新增聊天**，然後選取您要測試的模型版本。

模型會在聊天中啟動，而且像任何其他基礎模型一樣您可以與其互動。您可以將更多模型新增至聊天，並比較其輸出。如需聊天功能的詳細資訊，請參閱[SageMaker Canvas 中的生成式 AI 基礎模型](canvas-fm-chat.md)。

## 操作微調基礎模型
<a name="canvas-fm-chat-fine-tune-mlops"></a>

在 Canvas 中微調模型之後，您可以執行下列動作：
+ 將模型註冊到 SageMaker 模型註冊庫，以整合到您的組織 MLOps 程序。如需詳細資訊，請參閱[在 SageMaker AI 模型註冊庫中註冊模型版本。](canvas-register-model.md)。
+ 將模型部署至 SageMaker AI 端點，並從您的應用程式或網站將請求傳送至模型，以取得預測 (或*推論*)。如需詳細資訊，請參閱[將模型部署到端點](canvas-deploy-model.md)。

**重要**  
您只能註冊和部署 JumpStart 型微調基礎模型，而不是 Amazon Bedrock 型模型。