View a markdown version of this page

在 Amazon Bedrock 中最佳化和遷移提示 - Amazon Bedrock

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

在 Amazon Bedrock 中最佳化和遷移提示

Amazon Bedrock 提供即時最佳化,這是一種模型遷移和最佳化工具,可協助您從基礎模型獲得最佳效能。Amazon Bedrock 提供兩個提示最佳化選項。

  • 簡單最佳化會針對一個模型執行一個簡短提示的快速、啟發式重寫。

  • 進階提示最佳化 (AdvPO) 可讓您最佳化 Bedrock 上任何模型的提示,同時將原始提示與最多 5 個模型的最佳化提示進行比較。

    如果您要遷移到新模型,或只是想要在目前的模型上獲得更好的效能,則可以使用此功能。如果您要變更模型,請選取目前模型做為基準,以及最多 4 個其他模型。如果您不變更模型,只要選取您目前的模型,即可在最佳化之前和之後查看。最佳化工具會取得您的提示範本 (每個任務最多 10 個),以及變數值的使用者輸入範例 (每個提示範本最多 100 個)。它還需要基本事實答案和評估指標來引導最佳化。它甚至與 jpeg、png 或 PDF 等多模態輸入相容。您可以提供 LLM-as-a-judge rubric、Lambda 函數或簡短自然語言轉向條件。評估會引導提示最佳化。最佳化工具可在評估型回饋迴圈中運作,以最佳化提示和產生的模型回應。它會輸出具有評估分數、成本預估和延遲的原始和最終提示範本。

選擇最佳化方法

簡單最佳化 進階提示最佳化
使用案例 簡短提示的基本單一提示重寫 彈性的反覆最佳化,評估會引導提示重寫,以進行模型遷移和效能調校
最適合 短提示 (大約 1k 個字符或更少) 適用於模型內容視窗之任何長度的提示範本
輸入 單一提示文字 最多 10 個具有評估範例的提示範本,包括多模態
  模型 1 個模型 最多 5 個模型同時比較
評估 無 (啟發式重寫) 您的選擇:轉向條件、LLM-as-judge rubric 或自訂 Lambda 函數
輸出 重寫提示 (即時) 最佳化範本,具有每個模型的評估分數、成本估算和延遲
執行 同步 (秒) 非同步任務 (15 分鐘至 小時,取決於提示範本和評估範例的數量)
多模態 是 (影像、PDFs)
模型遷移 部分: 可以重寫提示,但無法並排比較 是,並排比較目前模型與候選者