Dominio del contenuto 3: Applicazioni dei modelli di fondazione
Il dominio 3 tratta le applicazioni dei modelli di fondazione e rappresenta il 28% dei contenuti a punteggio dell'esame.
Attività
Obiettivo 3.1: Illustrazione delle considerazioni di progettazione per le applicazioni che utilizzano modelli di fondazione (FM)
Obiettivi:
Individuare i criteri per la scelta di FM, ad esempio costi, modalità, latenza, modelli multilingue, dimensioni del modello, complessità del modello, personalizzazione, lunghezza di input/output, caching dei prompt.
Descrivere l'effetto dei parametri di inferenza sulle risposte dei modelli, ad esempio, temperatura e lunghezza di input/output.
Definire la generazione potenziata da recupero dati (RAG) e descrivere le relative applicazioni aziendali, ad esempio Knowledge Base per Amazon Bedrock.
Identificare i servizi AWS che consentono di memorizzare gli embedding all'interno di database vettoriali, ad esempio Servizio OpenSearch di Amazon, Amazon Aurora, Amazon Neptune e Amazon RDS per PostgreSQL.
Spiegare i compromessi in termini di costo relativi ai vari approcci alla personalizzazione degli FM, ad esempio pre-addestramento, fine-tuning, apprendimento contestuale, RAG e distillazione di modelli.
Definire il ruolo degli agenti IA e descriverne le applicazioni aziendali.
Obiettivo 3.2: Scelta delle tecniche efficaci per la progettazione dei prompt
Obiettivi:
Definire i concetti e i costrutti della progettazione dei prompt (ad esempio, contesto, istruzioni, prompt negativi).
Definire le tecniche per la progettazione dei prompt (ad esempio, catena di pensiero, zero-shot, single-shot, few-shot e template di prompt).
Identificare e descrivere i vantaggi e le best practice per la progettazione dei prompt (ad esempio, miglioramento della qualità della risposta, sperimentazione, guardrail, individuazione, specificità e concisione e utilizzo di più commenti).
Definire i potenziali rischi e limiti della progettazione dei prompt (ad esempio, esposizione, poisoning, hijacking e jailbreaking).
Descrivere il versionamento dei prompt e le strategie di gestione che utilizzano Amazon Bedrock Prompt Management.
Obiettivo 3.3: Descrizione del processo di addestramento e fine-tuning per gli FM
Obiettivi:
Descrivere gli elementi chiave dell'addestramento di un FM (ad esempio, pre-addestramento, fine-tuning, pre-addestramento continuo e distillazione).
Definire i metodi per il fine-tuning di un FM (ad esempio, tuning delle istruzioni, adattamento dei modelli a domini specifici, apprendimento per trasferimento e pre-addestramento continuo).
Descrivere come preparare i dati per il fine-tuning di un FM, ad esempio data curation, governance, dimensioni, etichettatura, rappresentatività, apprendimento per rinforzo da feedback umano (RLHF).
Obiettivo 3.4: Descrizione dei metodi per valutare le prestazioni degli FM
Obiettivi:
Stabilire approcci per valutare le prestazioni degli FM, ad esempio valutazione human-in-the-loop (HITL), set di dati di benchmark, valutazione del modello in Amazon Bedrock.
Individuare le metriche pertinenti per valutare le prestazioni degli FM, ad esempio Recall-Oriented Understudy for Gisting Evaluation (ROUGE), valutazione bilingue (BLEU), BERTScore, LLM-as-a-judge.
Stabilire se un FM soddisfa in modo efficace gli obiettivi aziendali, ad esempio produttività, coinvolgimento degli utenti, progettazione delle attività.
Individuare approcci per valutare le prestazioni delle applicazioni create con FM, ad esempio RAG, agenti, flussi di lavoro.
Individuare metriche di allineamento degli obiettivi aziendali per applicazioni di IA, ad esempio percentuale di completamento delle attività, soddisfazione degli utenti, costo per interazione.
