本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
在 Amazon Bedrock 中最佳化和遷移提示
Amazon Bedrock 提供即時最佳化,這是一種模型遷移和最佳化工具,可協助您從基礎模型獲得最佳效能。Amazon Bedrock 提供兩個提示最佳化選項。
-
簡單最佳化會針對一個模型執行一個簡短提示的快速、啟發式重寫。
-
進階提示最佳化 (AdvPO) 可讓您最佳化 Bedrock 上任何模型的提示,同時將原始提示與最多 5 個模型的最佳化提示進行比較。
如果您要遷移到新模型,或只是想要在目前的模型上獲得更好的效能,則可以使用此功能。如果您要變更模型,請選取目前模型做為基準,以及最多 4 個其他模型。如果您不變更模型,只要選取您目前的模型,即可在最佳化之前和之後查看。最佳化工具會取得您的提示範本 (每個任務最多 10 個),以及變數值的使用者輸入範例 (每個提示範本最多 100 個)。它還需要基本事實答案和評估指標來引導最佳化。它甚至與 jpeg、png 或 PDF 等多模態輸入相容。您可以提供 LLM-as-a-judge rubric、Lambda 函數或簡短自然語言轉向條件。評估會引導提示最佳化。最佳化工具可在評估型回饋迴圈中運作,以最佳化提示和產生的模型回應。它會輸出具有評估分數、成本預估和延遲的原始和最終提示範本。
選擇最佳化方法
| 簡單最佳化 | 進階提示最佳化 | |
|---|---|---|
| 使用案例 | 簡短提示的基本單一提示重寫 | 彈性的反覆最佳化,評估會引導提示重寫,以進行模型遷移和效能調校 |
| 最適合 | 短提示 (大約 1k 個字符或更少) | 適用於模型內容視窗之任何長度的提示範本 |
| 輸入 | 單一提示文字 | 最多 10 個具有評估範例的提示範本,包括多模態 |
| 模型 | 1 個模型 | 最多 5 個模型同時比較 |
| 評估 | 無 (啟發式重寫) | 您的選擇:轉向條件、LLM-as-judge rubric 或自訂 Lambda 函數 |
| 輸出 | 重寫提示 (即時) | 最佳化範本,具有每個模型的評估分數、成本估算和延遲 |
| 執行 | 同步 (秒) | 非同步任務 (15 分鐘至 小時,取決於提示範本和評估範例的數量) |
| 多模態 | 否 | 是 (影像、PDFs) |
| 模型遷移 | 部分: 可以重寫提示,但無法並排比較 | 是,並排比較目前模型與候選者 |