內容領域 3: 基礎模型的應用
領域 3 涵蓋基礎模型的應用,佔考試計分內容的 28%。
任務
任務説明 3.1: 描述使用基礎模型 (FM) 的應用程式設計考量。
目標:
識別選擇準則以選擇預先訓練的模型 (例如:成本、模態、延遲、多語系、模型大小、模型複雜度、自訂、輸入/輸出長度、提示快取)。
描述推論參數對模型回應的影響 (例如:溫度、輸入/輸出長度)。
定義檢索增強生成 (RAG),並描述其商業應用程式 (例如:Amazon Bedrock 知識庫)。
識別協助在向量資料庫中儲存嵌入項目的 AWS 服務 (例如:Amazon OpenSearch Service、Amazon Aurora、Amazon Neptune、Amazon RDS for PostgreSQL)。
說明 FM 自訂的各種方法的成本抵換 (例如:預先訓練、微調、上下文學習、RAG)。
描述代理程式在多步驟任務中的角色 (例如:Amazon Bedrock 代理程式、代理式 AI、模型上下文協定)。
任務説明 3.2: 選擇有效的提示詞工程技術。
目標:
定義提示詞工程的概念和結構 (例如:上下文、指令、負面提示、模型隱含空間、提示路由)。
定義提示詞工程技術 (例如:思路鏈、零樣本、單一樣本、少樣本、提示範本)。
識別並描述提示詞工程的好處和最佳實務 (例如:回應品質改進、實驗、防護機制、發現、特異性和簡潔性、使用多評論)。
定義提示詞工程的潛在風險和限制 (例如:曝險、中毒、劫持、越獄)。
任務説明 3.3: 描述 FM 的訓練和微調流程。
目標:
描述訓練 FM 的關鍵要素 (例如:預先訓練、微調、持續預先訓練、蒸餾)。
定義微調 FM 的方法 (例如:指令調校、適應特定領域的模型、轉移學習、持續預先訓練)。
描述如何準備資料以微調 FM (例如:資料策管、管控、大小、標記、代表性、人類回饋的強化學習 [RLHF])。
任務説明 3.4: 描述評估 FM 效能的方法。
目標:
確定用於評估 FM 效能的方法 (例如:人力評估、基準資料集、Amazon Bedrock 模型評估)。
識別相關指標以評估 FM 效能 (例如:召回率導向的摘要評估 [ROUGE]、雙語替換評測 [BLEU]、BERTScore)。
判斷 FM 是否有效地符合商業目標 (例如:生產力、使用者參與度、任務工程)。
識別評估使用 FM (例如:RAG、代理程式、工作流程) 建置的應用程式效能的方法。