Domínio do conteúdo 3: Aplicações de modelos de base
O domínio 3 abrange aplicações de modelos de base e representa 28% do conteúdo pontuado no exame.
Tarefas
Declaração de tarefa 3.1: Descrever as considerações sobre design de aplicações que usam modelos de base (FMs).
Objetivos:
Identificar os critérios de seleção para escolher modelos pré-treinados (por exemplo, custo, modalidade, latência, multilíngue, tamanho do modelo, complexidade do modelo, personalização, tamanho da entrada/saída e armazenamento em cache de prompts).
Descrever o efeito dos parâmetros de inferência nas respostas do modelo (por exemplo, temperatura e tamanho da entrada/saída).
Definir a geração aumentada via recuperação (RAG) e descrever suas aplicações empresariais (por exemplo, bases de conhecimento do Amazon Bedrock).
Identificar os serviços da AWS que ajudam a armazenar incorporações em bancos de dados de vetores (por exemplo, Amazon OpenSearch Service, Amazon Aurora, Amazon Neptune e Amazon RDS para PostgreSQL).
Explicar as compensações de custos de várias abordagens para a personalização do FM (por exemplo, pré-treinamento, ajuste fino, aprendizado em contexto e RAG).
Descrever a função dos agentes em tarefas de várias etapas (por exemplo, agentes para Amazon Bedrock, IA agêntica, protocolo de contexto para modelos).
Declaração de tarefa 3.2: Escolher técnicas eficazes de engenharia de prompts.
Objetivos:
Descrever os conceitos e os componentes da engenharia de prompts (por exemplo, contexto, instrução, prompts negativos, espaço latente do modelo e roteamento de prompts).
Definir as técnicas de engenharia de prompts (por exemplo, modelos de cadeia de pensamento, zero shot, single shot, few shot e de prompt).
Identificar e descrever os benefícios e as práticas recomendadas da engenharia de prompts (por exemplo, melhoria da qualidade da resposta, experimentação, barreiras de proteção, descoberta, especificidade e concisão e uso de vários comentários).
Definir os possíveis riscos e limitações da engenharia de prompts (por exemplo, exposição, envenenamento, sequestro e jailbreaking).
Declaração de tarefa 3.3: Descrever o processo de treinamento e ajuste fino dos FMs.
Objetivos:
Descrever os principais elementos do treinamento de um FM (por exemplo, pré-treinamento, ajuste fino, pré-treinamento contínuo e destilação).
Definir os métodos de ajuste fino de um FM (por exemplo, ajuste de instruções, adaptação de modelos para domínios específicos, aprendizado por transferência e pré-treinamento contínuo).
Descrever como preparar dados para o ajuste fino de um FM [por exemplo, curadoria de dados, governança, tamanho, rotulagem, representatividade e aprendizado por reforço com feedback humano (RLHF)].
Declaração de tarefa 3.4: Descrever os métodos para avaliar o desempenho do FM.
Objetivos:
Determinar abordagens para avaliar o desempenho do FM (por exemplo, avaliação humana, conjuntos de dados de referência e Avaliação de Modelo do Amazon Bedrock).
Identificar métricas relevantes para avaliar o desempenho do FM [por exemplo, ROUGE (Recall-Oriented Understudy for Gisting Evaluation), BLEU (Bilingual Evaluation Understudy) e BERTScore].
Determinar se um FM atende efetivamente aos objetivos empresariais (por exemplo, produtividade, envolvimento dos usuários e engenharia de tarefas).
Identificar abordagens para avaliar o desempenho de aplicações criadas com FMs (por exemplo, RAG, agentes, fluxos de trabalho).
