本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。
使用 Amazon SageMaker Model Monitor 進行資料和模型品質監控
Amazon SageMaker Model Monitor 會監控生產中 Amazon SageMaker AI 機器學習模型的品質。使用 Model Monitor，您可以設定：
-
使用即時端點進行持續監控。
-
使用定期執行的批次轉換任務進行持續監控。
-
針對非同步批次轉換任務進行排程監控。
使用模型監控，您可以設定警示在模型品質出現偏差時通知您。及早主動偵測這些偏差可讓您採取更正動作。您可以採取重新訓練模型、稽核上游系統或修正品質問題等動作，而無需手動監控模型或建置額外的工具。您可以使用預先建置監控功能的模型監控，不需要撰寫程式碼。您也可以撰寫程式碼來提供自訂分析，靈活地監控模型。
模型監控會提供下列類型的監控：
-
資料品質 - 監控資料品質的偏離。
-
模型品質 - 監控模型品質指標中的偏離，例如準確性。
-
生產中模型的偏差偏離 - 監控模型預測中的偏差。
-
生產中模型的特徵屬性偏離 - 監控功能屬性的偏離。
主題
Amazon SageMaker Model Monitor 的運作方式
Amazon SageMaker Model Monitor 會自動監控生產環境中的機器學習 (ML) 模型，並在發生品質問題時通知您。模型監控會使用規則來偵測模型中的偏離，並在發生偏離時向您提出警示。下圖顯示在將模型部署到即時端點的情況下，此程序如何運作。
您也可以使用模型監控來監控批次轉換工作，而不是即時端點。在這種情況下，Model Monitor 將監控推論輸入和輸出，而不是接收端點的請求並追蹤預測。下圖顯示監控批次轉換工作的程序。
若要啟用模型監控，請採取下列步驟。這些步驟會循著資料的路徑通過各種資料收集、監控和分析程序。
-
對於即時端點，啟用端點將傳入請求中的資料擷取到受過訓練的機器學習 (ML) 模型，以及產生的模型預測。
-
對於批次轉換工作，啟用批次轉換輸入和輸出的資料擷取。
-
從用來訓練模型的資料集建立基準。基準會計算指標，並建議指標的限制條件。來自模型的即時或批次預測會與限制條件進行比較。如果它們超出限制值，則會將其報告為違規。
-
建立監控排程，指定要收集哪些資料、收集資料的頻率、如何分析資料，以及要產生哪些報告。
-
檢查將最新資料與基準進行比較的報告。留意來自 Amazon CloudWatch 的任何回報違規、指標和通知。
備註
-
模型監控只會計算表格式資料的模型指標和統計資料。例如，將影像做為輸入並根據該影像輸出標籤的影像分類模型仍可受監控。模型監控能夠計算輸出的指標和統計資料，而不是輸入。
-
模型監控目前僅支援託管單一模型的端點，不支援監控多模型端點。如需有關使用多模型端點的資訊，請參閱多模型端點。
-
Model Monitor 支援監控推論管道。不過，擷取和分析資料是針對整個管道完成的，而不是針對管道中的單個容器。
-
為了避免對推論要求造成影響，資料擷取會停止擷取需要高磁碟使用量的要求。我們建議您將磁碟使用率保持在 75% 以下，以確保資料擷取持續擷取請求。
-
如果您在自訂 Amazon VPC 中啟動 SageMaker Studio，則必須建立 VPC 端點，讓 Model Monitor 可與 Amazon S3 和 CloudWatch 進行通訊。如需有關 VPC 端點的詳細資訊，請參閱 Amazon Virtual Private Cloud 使用者指南中的 VPC 端點。如需有關在自訂 VPC 中啟動 SageMaker Studio 的資訊，請參閱將 VPC 中的 Studio 筆記本連線至外部資源。
Model Monitor 範例筆記本
如需逐步說明使用 Model Monitor 搭配即時端點進行端對端工作流程的範例筆記本，請參閱 Amazon SageMaker Model Monitor 簡介
如需可針對監控排程中所選執行來視覺化 statistics.json 檔案的範例筆記本，請參閱 Model Monitor 視覺化
如需如何建立並存取 Jupyter 筆記本執行個體以用來執行 SageMaker 中範例的指示，請參閱Amazon SageMaker 筆記本執行個體。建立並開啟筆記本執行個體後，請選擇 SageMaker AI 範例索引標籤，查看所有 SageMaker AI 範例清單。若要開啟筆記本，請選擇筆記本的使用索引標籤，然後選擇建立複本。
