本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

# 微調基礎模型
<a name="canvas-fm-chat-fine-tune"></a>

您可以透過 Amazon SageMaker Canvas 存取的基礎模型可協助您處理一系列的一般用途任務。不過，如果您有特定的使用案例，並且想要根據自己的資料自訂回應，您可以*微調*基礎模型。

若要微調基礎模型，請提供資料集，其中包含範例提示和模型回應。然後，您可以針對資料訓練基礎模型。最後，微調的基礎模型能夠為您提供更具體的回應。

下列清單包含您可以在 Canvas 中微調的基礎模型：
+ Titan Express
+ Falcon-7B
+ Falcon-7B-Instruct
+ Falcon-40B-Instruct
+ Falcon-40B
+ Flan-T5-Large
+ FLAN-T5 超大
+ Flan-T5-Xxl
+ MPT-7B
+ MPT-7B-Instruct

您可以存取 Canvas 應用程式中每個基礎模型的詳細資訊，同時微調模型。如需詳細資訊，請參閱[微調模型](#canvas-fm-chat-fine-tune-procedure-model)。

本主題描述如何在 Canvas 中微調基礎模型。

## 開始之前
<a name="canvas-fm-chat-fine-tune-prereqs"></a>

在微調基礎模型之前，請確定您擁有 Canvas Ready-to-use模型的許可，以及與 Amazon Bedrock 具有信任關係的 AWS Identity and Access Management 執行角色，這可讓 Amazon Bedrock 在微調基礎模型時擔任您的角色。

設定或編輯 Amazon SageMaker AI 網域時，您必須 1) 開啟 Canvas 即用型模型組態許可，以及 2) 建立或指定 Amazon Bedrock 角色，這是 SageMaker AI 連接至其中的 IAM 執行角色，其與 Amazon Bedrock 有信任關係。如需設定這些設定的詳細資訊，請參閱[設定 Amazon SageMaker Canvas 的先決條件](canvas-getting-started.md#canvas-prerequisites)。

如果您寧願使用自己的 IAM 執行角色 (而不是讓 SageMaker AI 代表您建立角色)，您可以手動設定 Amazon Bedrock 角色。如需設定您自己的 IAM 執行角色與 Amazon Bedrock 的信任關係的詳細資訊，請參閱[授予使用者在 Canvas 中使用 Amazon Bedrock 和生成式 AI 功能的許可](canvas-fine-tuning-permissions.md)。

您還必須擁有已針對微調大型語言模型 (LLM) 進行格式化的資料集。以下是您資料集的要求清單：
+ 資料集必須是表格式，並包含至少兩欄文字資料：一個輸入欄 (其中包含模型的範例提示) 和一個輸出欄 (其中包含來自模型的範例回應)。

  以下是範例：    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_tw/sagemaker/latest/dg/canvas-fm-chat-fine-tune.html)
+ 我們建議資料集至少有 100 個文字對 (對應輸入和輸出項目的資料列)。這可確保基礎模型有足夠的資料進行微調，並提高其回應的準確性。
+ 每個輸入和輸出項目最多可包含 512 個字元。微調基礎模型時，只要長度超過該字元數就會減少至 512 個字元。

微調 Amazon Bedrock 模型時，您必須遵循 Amazon Bedrock 配額。如需詳細資訊，請參閱《Amazon Bedrock 使用者指南》**中的[模型自訂配額](https://docs.aws.amazon.com/bedrock/latest/userguide/quotas.html#model-customization-quotas)。

如需 Canvas 中一般資料集要求和限制的詳細資訊，請參閱[建立資料集](canvas-import-dataset.md)。

## 微調基礎模型
<a name="canvas-fm-chat-fine-tune-procedure"></a>

您可以在 Canvas 應用程式中使用下列任一方法來微調基礎模型：
+ 與基礎模型進行**產生、擷取和摘要說明內容**聊天時，選擇**微調模型**圖示 (![\[Magnifying glass icon with a plus sign, indicating a search or zoom-in function.\]](http://docs.aws.amazon.com/zh_tw/sagemaker/latest/dg/images/studio/canvas/wrench-icon-small.png))。
+ 在與基礎模型聊天時，如果您已重新產生回應兩次或更多次，則 Canvas 會為您提供**微調模型**的選項。以下螢幕擷取畫面顯示這看起來像什麼。  
![\[聊天中顯示的微調基礎模型選項的螢幕擷取畫面。\]](http://docs.aws.amazon.com/zh_tw/sagemaker/latest/dg/images/studio/canvas/fine-tuning-ingress.png)
+ 在**我的模型**頁面上，您可以選擇**新模型**來建立新的模型，然後選取**微調基礎模型**。
+ 在**即用型模型**首頁上，您可以選擇**建立自己的模型**，然後在**建立新模型**對話方塊中，選擇**微調基礎模型**。
+ 在 **Data Wrangler** 索引標籤中瀏覽您的資料集時，您可以選取資料集，然後選擇**建立模型**。然後，選擇**微調基礎模型**。

開始微調模型後，請執行下列動作：

### 選取資料集
<a name="canvas-fm-chat-fine-tune-procedure-select"></a>

在微調模型的**選取**索引標籤上，您可以選擇要對其訓練基礎模型的資料。

選取現有的資料集，或建立一個符合[開始之前](#canvas-fm-chat-fine-tune-prereqs)一節中所列要求的新資料集。如需如何建立資料集的詳細資訊，請參閱[建立資料集](canvas-import-dataset.md)。

當您已選取或建立資料集並準備好繼續進行時，請選擇**選取資料集**。

### 微調模型
<a name="canvas-fm-chat-fine-tune-procedure-model"></a>

選取您的資料後，您現在可以開始訓練和微調模型。

在**微調**索引標籤上，執行以下動作：

1. (選用) 選擇**進一步了解我們的基礎模型**，以存取每個模型的詳細資訊，並協助您決定要部署的基礎模型。

1. 對於**最多選取 3 個基礎模型**，開啟下拉式功能表，並檢查最多 3 個您想要在訓練任務期間微調的基礎模型 (最多 2 個 JumpStart 模型和 1 個 Amazon Bedrock 模型)。透過微調多個基礎模型，您可以比較其效能，最終選擇最適合您使用案例的模型做為預設模型。如需預設模型的詳細資訊，請參閱[在模型排行榜中檢視模型候選項目](canvas-evaluate-model-candidates.md)。

1. 針對**選取輸入欄**，選取資料集中包含範例模型提示的文字資料欄。

1. 針對**選取輸出欄**，選取資料集中包含範例模型回應的文字資料欄。

1. (選用) 若要設定訓練任務的進階設定，請選擇**設定模型**。如需進階模型建置設定的詳細資訊，請參閱[進階模型建置組態](canvas-advanced-settings.md)。

   在**設定模型**快顯視窗中，執行下列動作：

   1. 針對**超參數**，您可以調整每個所選模型的 **Epoch 計數**、**批次大小**、**學習率**和**學習率暖機步驟**。如需這些參數的詳細資訊，請參閱 [JumpStart 文件中的超參數一節](https://docs.aws.amazon.com/sagemaker/latest/dg/jumpstart-fine-tune.html#jumpstart-hyperparameters)。

   1. 針對**資料分割**，您可以指定如何在**訓練集**與**驗證集**之間分割資料的百分比。

   1. 針對**最長任務執行時期**，您可以設定 Canvas 執行建置任務的時間上限。此功能僅適用於 JumpStart 基礎模型。

   1. 設定完設定後，請選擇**儲存**。

1. 選擇**微調**以開始訓練您選取的基礎模型。

微調任務開始後，您可以離開頁面。當模型在**我的模型**頁面上顯示為**就緒**時，即可使用，而且您現在可以分析微調基礎模型的效能。

### 分析微調基礎模型
<a name="canvas-fm-chat-fine-tune-procedure-analyze"></a>

在微調基礎模型的**分析**索引標籤上，您可以查看模型的效能。

此頁面上的**概觀**索引標籤會顯示困惑度和損失分數，以及視覺化模型在訓練期間隨時間改善的分析。下列螢幕擷取畫面顯示**概觀**索引標籤。

![\[Canvas 中微調基礎模型的 [分析] 索引標籤，其中顯示困惑度和損失曲線。\]](http://docs.aws.amazon.com/zh_tw/sagemaker/latest/dg/images/studio/canvas/canvas-fine-tune-analyze-2.png)


在此頁面上，您可以看到下列視覺化：
+ **困惑度曲線**會衡量模型在序列中預測下一個單字的準確程度，或模型輸出的語法程度。理想情況下，隨著模型在訓練期間改善，分數會降低並產生隨著時間降低和扁平化的曲線。
+ **損失曲線**會量化正確輸出與模型預測輸出之間的差異。隨著時間降低和扁平化的損失曲線表示模型正在改善其進行準確預測的能力。

**進階指標**索引標籤會顯示模型的超參數和其他指標。看起來就像下列螢幕擷取畫面：

![\[Canvas 中微調基礎模型的進階指標索引標籤的螢幕擷取畫面。\]](http://docs.aws.amazon.com/zh_tw/sagemaker/latest/dg/images/studio/canvas/canvas-fine-tune-metrics.png)


**進階指標**索引標籤包含下列資訊：
+ **可解釋性**區段包含**超參數**，這是在任務之前設定的值，以引導模型的微調。如果您未在[微調模型](#canvas-fm-chat-fine-tune-procedure-model)區段的模型進階設定中指定自訂超參數，則 Canvas 會為您選取預設超參數。

  對於 JumpStart 模型，您也可以看到進階指標 [ROUGE (Recall-Oriented Understudy for Gisting Evaluation)](https://en.wikipedia.org/wiki/ROUGE_(metric))，其會評估模型產生的摘要品質。它會衡量模型總結段落要點的程度。
+ **成品**區段為您提供在微調任務期間產生的成品連結。您可以存取 Amazon S3 中儲存的訓練和驗證資料，以及模型評估報告的連結 (若要進一步了解，請參閱以下段落)。

若要取得更多模型評估洞見，您可以下載一份使用 [SageMaker Clarify](https://docs.aws.amazon.com/sagemaker/latest/dg/clarify-configure-processing-jobs.html) 產生的報告，這項功能可協助您偵測模型和資料中的偏差。首先，選擇頁面底部的**產生評估報告**來產生報告。產生報告後，您可以選擇**下載報告**或返回**成品**區段來下載完整報告。

您也可以存取 Jupyter 筆記本，展示如何在 Python 程式碼中複寫微調任務。您可以使用此項來複寫或對微調任務進行程式設計變更，或深入了解 Canvas 如何微調模型。若要進一步了解模型筆記本以及如何存取它們，請參閱[下載模型筆記本](canvas-notebook.md)。

如需如何解譯微調基礎模型的**分析**索引標籤中資訊的詳細資訊，請參閱主題[模型評估](canvas-evaluate-model.md)。

分析**概觀**和**進階指標**索引標籤後，您也可以選擇開啟**模型排行榜**，為您顯示建置期間訓練的基礎模型清單。損失分數最低的模型會被視為效能最佳的模型，並被選為**預設模型**，這是您在**分析**索引標籤中看到其分析的模型。您只能測試和部署預設模型。如需模型排行榜以及如何變更預設模型的詳細資訊，請參閱[在模型排行榜中檢視模型候選項目](canvas-evaluate-model-candidates.md)。

### 在聊天中測試微調的基礎模型
<a name="canvas-fm-chat-fine-tune-procedure-test"></a>

在分析微調基礎模型的效能之後，您可能想要測試該模型，或將其回應與基礎模型進行比較。您可以在**產生、擷取和摘要說明內容**功能中透過聊天測試微調基礎模型。

選擇下列其中一種方法，與微調模型開始聊天：
+ 在微調模型的**分析**索引標籤上，選擇**即用型基礎模型中的測試**。
+ 在 Canvas **即用型模型**頁面上，選擇**產生、擷取和摘要說明內容**。然後，選擇**新增聊天**，然後選取您要測試的模型版本。

模型會在聊天中啟動，而且像任何其他基礎模型一樣您可以與其互動。您可以將更多模型新增至聊天，並比較其輸出。如需聊天功能的詳細資訊，請參閱[SageMaker Canvas 中的生成式 AI 基礎模型](canvas-fm-chat.md)。

## 操作微調基礎模型
<a name="canvas-fm-chat-fine-tune-mlops"></a>

在 Canvas 中微調模型之後，您可以執行下列動作：
+ 將模型註冊到 SageMaker 模型註冊庫，以整合到您的組織 MLOps 程序。如需詳細資訊，請參閱[在 SageMaker AI 模型註冊庫中註冊模型版本。](canvas-register-model.md)。
+ 將模型部署至 SageMaker AI 端點，並從您的應用程式或網站將請求傳送至模型，以取得預測 (或*推論*)。如需詳細資訊，請參閱[將模型部署到端點](canvas-deploy-model.md)。

**重要**  
您只能註冊和部署 JumpStart 型微調基礎模型，而不是 Amazon Bedrock 型模型。