View a markdown version of this page

進階提示最佳化的運作方式 - Amazon Bedrock

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

進階提示最佳化的運作方式

概觀

進階提示最佳化 (AdvPO) 可讓您最佳化 Bedrock 上任何模型的提示,同時將原始提示與最多 5 個模型的最佳化提示進行比較。如果您要遷移到新模型,或只是想要在目前的模型上獲得更好的效能,則可以使用此功能。如果您要變更模型,請選取目前模型做為基準,以及最多 4 個其他模型。如果您不變更模型,只要選取您目前的模型,即可在最佳化之前和之後查看。最佳化工具會採用您的提示範本 (每個任務最多 10 個)、變數值的範例使用者輸入 (評估範例、每個提示範本最多 100 個)、基本事實答案,以及評估指標來引導最佳化。它甚至與 jpeg、png 或 PDF 等多模態輸入相容。您可以提供 LLM-as-a-judge rubric、Lambda 函數或簡短自然語言轉向條件。評估會引導提示最佳化。最佳化工具可在評估型回饋迴圈中運作,以最佳化提示和產生的模型回應,並使用評估分數、成本估算和延遲來輸出原始提示範本和最終提示範本。

如果您想要從非 Bedrock 模型遷移提示,但仍希望side-by-side比較,您可以採取的一種方法是分別在非 Bedrock 模型上執行推論,然後套用 自訂 Lambda 評估器來為這些結果評分。然後,為 Bedrock 目標模型使用相同的 Lambda 函數評估器建立進階提示最佳化任務。如此一來,您可以在提示最佳化之前和之後,直接比較舊模型與新模型。

最佳化迴圈的運作方式

您的評估範例會注入提示範本中的預留位置變數,然後使用目標模型傳送以進行推論 ()。多模態輸入 (影像和 PDFs) 會在承載中隨提示一起傳送至模型,但不應在雙大括號{{placeholder}}變數中參考。回應會根據您的評估方法進行分級。服務會分析評估結果,並自動重寫您的提示,然後將它們傳回模型。此回饋迴圈會根據專有的內部最佳化參數重複並完成。

請務必盡可能精確地定義評估方法和條件,因為評估會引導提示最佳化。

資料集和指標/lambda 程式碼都會塑造最佳化品質。系統會使用您的資料集來測試提示候選項目,並讀取您的指標程式碼 (來源文字和文件字串),以了解「良好」的意義,並診斷提示失敗的位置。

您收到的內容

在最佳化任務結束時,您會收到:

  • 最佳化前後的提示範本

  • 每個評估範例的評估分數

  • 每個模型的延遲 (第一個字符的時間,或 TTFT)

  • 每個模型的成本估算

Cost

AWS 您的帳戶中執行的所有推論和 Lambda 函數叫用。Lambda 操作會依 Lambda 的公有定價收費。推論定價 (包括 LLM-as-a-judge 評估) 是根據 Bedrock 針對隨需推論的公有定價收費。除了推論成本之外,沒有個別的進階提示最佳化服務費用。目前的預設 LLM-as-a-judge 模型是 Anthropic Claude Sonnet 4.6,除非您為自訂 LLMJ 提示選取不同的模型。

請參閱提示最佳化下的 Bedrock 公有定價頁面,以及計算方法的進階提示最佳化,以估計執行最佳化的成本。

預期持續時間

對於只有幾個評估範例的單一提示,任務可以執行 15 到 20 分鐘。對於許多提示,每個都有大量評估範例,任務可能會執行超過一小時,可能持續數小時。這是因為每個提示範本都會根據您提供的每個評估範例記錄,經歷多回合的推論、評估和重寫迴圈。