As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

# Avaliação e comparação dos modelos de classificação de SageMaker JumpStart texto da Amazon
<a name="jumpstart-text-classification-evaluation"></a>

SageMaker JumpStart A IA oferece vários modelos de classificação de texto que categorizam o texto em classes predefinidas. Esses modelos lidam com tarefas como análise de sentimentos, classificação de tópicos e moderação de conteúdo. A escolha do modelo certo para produção requer uma avaliação cuidadosa usando métricas importantes F1-score, incluindo precisão e Coeficiente de Correlação de Matthews (MCC).

Neste guia, você:
+ Implemente vários modelos de classificação de texto (DistilBERT e BERT) do JumpStart catálogo.
+ Executa avaliações abrangentes em conjuntos de dados equilibrados, distorcidos e desafiadores.
+ Interpreta métricas avançadas, como o coeficiente de correlação de Matthews (MCC) e as pontuações de área sob a curva característica de operação do receptor.
+ Tome decisões de seleção de modelos orientadas por dados usando frameworks de comparação sistemática.
+ Configure implantações de produção com CloudWatch auto-scaling e monitoramento.

Baixe a estrutura de avaliação completa: [JumpStart Model Evaluation Package](samples/sagemaker-text-classification-evaluation-2.zip). **O pacote inclui resultados executados previamente com exemplos de saída** para que você possa visualizar o processo de avaliação e as métricas antes de implantar os modelos por conta própria.

## Pré-requisitos
<a name="w2aac37c15c11"></a>

Antes de começar, verifique se você tem o seguinte:
+ [AWS conta com permissões de SageMaker IA](https://docs.aws.amazon.com/sagemaker/latest/dg/gs-set-up.html).
+ [SageMaker Acesso ao AI Amazon SageMaker Studio](https://docs.aws.amazon.com/sagemaker/latest/dg/onboard-quick-start.html).
+ Conhecimento básico de Python.
+ Compreensão dos conceitos de classificação de texto.

Tempo e custo: 45 minutos de tempo total. Os custos variam com base nos tipos de instância e na duração do uso. Consulte os [preços da SageMaker AI](https://aws.amazon.com/sagemaker/pricing/) para ver as taxas atuais.

Este tutorial inclui instruções detalhadas de limpeza para ajudar você a remover todos os recursos e evitar cobranças contínuas.

**Topics**
+ [Pré-requisitos](#w2aac37c15c11)
+ [Configurar o ambiente de avaliação](jumpstart-text-classification-setup.md)
+ [Selecionar e implantar modelos de classificação de texto](jumpstart-text-classification-deploy.md)
+ [Avaliar e comparar o desempenho do modelo](jumpstart-text-classification-evaluate.md)
+ [Interpretar seus resultados](jumpstart-text-classification-interpret.md)
+ [Implantar o modelo em grande escala](jumpstart-text-classification-scale.md)