As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá. # Acelere o desenvolvimento de IA generativa usando MLflow gerenciado na Amazon AI SageMaker O MLflow totalmente gerenciado na Amazon SageMaker AI permite que você acelere a IA generativa, facilitando o rastreamento de experimentos e o monitoramento do desempenho de modelos e aplicativos de IA usando uma única ferramenta. **Desenvolvimento generativo de IA com MLflow** Como clientes de todos os setores estão acelerando o desenvolvimento da IA generativa, eles precisam de recursos para rastrear experimentos, observar comportamentos e avaliar o desempenho de modelos e aplicações de IA. Os cientistas de dados e desenvolvedores não têm ferramentas para analisar o desempenho de modelos e aplicações de IA, da experimentação à produção, o que dificulta a identificação da causa raiz e a resolução de problemas. As equipes passam mais tempo integrando ferramentas do que aprimorando seus modelos ou aplicações de IA generativa. O treinamento e afuste fino de IA generativa e machine learning é um processo iterativo que exige experimentar várias combinações de dados, algoritmos e parâmetros, bem como observar seu impacto na precisão do modelo. A natureza iterativa da experimentação de ML resulta em várias execuções e versões de treinamento de modelo, o que dificulta o rastreamento dos modelos com melhor desempenho e das respectivas configurações. A complexidade de gerenciar e de comparar execuções de treinamento iterativas aumenta com a IA generativa, na qual a experimentação envolve não apenas o ajuste fino dos modelos, mas também a exploração de saídas criativas e diversas. Os pesquisadores devem ajustar os hiperparâmetros, selecionar arquiteturas de modelos adequadas e organizar diversos conjuntos de dados para otimizar a qualidade e a criatividade do conteúdo gerado. A avaliação de modelos de IA generativa exige métricas quantitativas e qualitativas, adicionando outra camada de complexidade ao processo de experimentação. Os recursos de rastreamento de experimentação no MLflow na Amazon SageMaker AI permitem que você acompanhe, organize, visualize, analise e compare a experimentação iterativa de ML para obter insights comparativos e registrar e implantar seus modelos de melhor desempenho. Os recursos de rastreamento no MLflow totalmente gerenciado permitem que você registre as entradas, saídas e metadados em cada etapa de um aplicativo generativo de IA, ajudando você a identificar rapidamente a origem de bugs ou comportamentos inesperados. Ao manter registros de cada modelo e versão do aplicativo, o MLflow totalmente gerenciado oferece rastreabilidade para conectar as respostas de IA aos componentes de origem, permitindo que você rastreie rapidamente um problema diretamente no código, nos dados ou nos parâmetros específicos que o geraram. Isso reduz drasticamente o tempo de solução de problemas e permite que as equipes se concentrem mais na inovação. ## Integrações do MLflow Use o MLflow ao treinar e avaliar modelos para encontrar os melhores candidatos para seu caso de uso. Você pode comparar o desempenho, os parâmetros e as métricas do modelo entre os experimentos na interface do usuário do MLflow, acompanhar seus melhores modelos no Registro de modelos do MLflow, registrá-los automaticamente como um modelo de SageMaker IA e implantar modelos registrados nos endpoints de SageMaker IA. **Amazon SageMaker AI com MLFlow** Use o MLflow para rastrear e gerenciar a fase de experimentação do ciclo de vida do aprendizado de máquina (ML) com AWS integrações para desenvolvimento, gerenciamento, implantação e rastreamento de modelos. ** SageMaker Estúdio Amazon** Crie e gerencie servidores de rastreamento, execute cadernos para criar experimentos e acesse a interface do usuário do MLflow para visualizar e comparar execuções de experimentos em todo o Studio. **SageMaker Registro de modelos** Gerencie versões de modelos e catalogue modelos para produção registrando automaticamente modelos do MLflow Model Registry para SageMaker o Model Registry. Para obter mais informações, consulte [Registre automaticamente modelos de SageMaker IA com o SageMaker Model Registry](mlflow-track-experiments-model-registration.md). **SageMaker Inferência de IA** Prepare seus melhores modelos para implantação em um endpoint de SageMaker IA usando o. `ModelBuilder` Para obter mais informações, consulte [Implantar modelos MLflow com `ModelBuilder`](mlflow-track-experiments-model-deployment.md). **AWS Identity and Access Management** Configure o acesso ao MLflow pelo controle de acesso baseado em funções (RBAC) com o IAM. Escreva políticas de identidade do IAM para autorizar as APIs do MLflow que podem ser chamadas por um cliente de um servidor de rastreamento MLflow. Todas as APIs REST do MLflow são representadas como ações do IAM sob o prefixo de serviço `sagemaker-mlflow`. Para obter mais informações, consulte [Configurar permissões do IAM para o MLflow](mlflow-create-tracking-server-iam.md). **AWS CloudTrail** Visualize os AWS CloudTrail logins para ajudar você a habilitar a auditoria operacional e de risco, a governança e a conformidade de sua AWS conta. Para obter mais informações, consulte [AWS CloudTrail logs](#mlflow-create-tracking-server-cloudtrail). **Amazon EventBridge** Automatize a revisão do modelo e o ciclo de vida de implantação usando eventos do MLflow capturados pela Amazon. EventBridge Para obter mais informações, consulte [EventBridge Eventos da Amazon](#mlflow-create-tracking-server-eventbridge). ## Compatível Regiões da AWS **Servidores de rastreamento MLflow** Os servidores de rastreamento MLflow geralmente estão disponíveis em todas as [regiões AWS](https://docs.aws.amazon.com/sagemaker/latest/dg/regions-quotas.html) comerciais em que o Amazon SageMaker Studio está disponível, exceto nas regiões da China. Os servidores de rastreamento MLflow estão disponíveis somente AWS CLI nas regiões da Europa (Zurique), Ásia-Pacífico (Hyderabad), Ásia-Pacífico (Melbourne) e Oeste do Canadá (Calgary). Os servidores de rastreamento são lançados em uma única zona de disponibilidade dentro da região determinada. **Aplicativos MLflow** Os aplicativos MLflow estão disponíveis da seguinte Regiões da AWS forma: + Região Leste dos EUA (N. da Virgínia) + Região Leste dos EUA (Ohio) + Região Oeste dos EUA (N. da Califórnia) + Região Oeste dos EUA (Oregon) + Região Ásia-Pacífico (Mumbai) + Região Ásia-Pacífico (Seul) + Região Ásia-Pacífico (Singapura) + Região Ásia-Pacífico (Sydney) + Região Ásia-Pacífico (Tóquio) + Região do Canadá (Central) + Região Europa (Frankfurt) + Região Europa (Irlanda) + Região Europa (Londres) + Região Europa (Paris) + Região Europa (Estocolmo) + Região América do Sul (São Paulo) ## Como funciona Um servidor de rastreamento MLflow possui três componentes principais: computação, armazenamento de metadados de backend e armazenamento de artefatos. A computação que hospeda o servidor de rastreamento e o armazenamento de metadados de back-end são hospedados com segurança na conta de serviço de IA. SageMaker O armazenamento de artefatos reside em um bucket do Amazon S3 em sua AWS própria conta. ![Um diagrama que demonstra o armazenamento de computação e metadados de um servidor de rastreamento MLflow.](http://docs.aws.amazon.com/pt_br/sagemaker/latest/dg/images/mlflow/mlflow-diagram.png) Um servidor de rastreamento possui um ARN. Você pode usar esse ARN para conectar o MLflow SDK ao servidor de rastreamento e começar a registrar suas execuções de treinamento no MLflow. Leia para obter mais informações sobre os conceitos da chave a seguir: + [Armazenamento de metadados de backend](#mlflow-create-tracking-server-backend-store) + [Armazenamento de artefatos](#mlflow-create-tracking-server-artifact-store) + [Tamanhos do servidor de rastreamento MLflow](#mlflow-create-tracking-server-sizes) + [Monitoramento de versões do servidor](#mlflow-create-tracking-server-versions) + [AWS CloudTrail logs](#mlflow-create-tracking-server-cloudtrail) + [EventBridge Eventos da Amazon](#mlflow-create-tracking-server-eventbridge) ### Armazenamento de metadados de backend Quando você cria um MLflow Tracking Server, um [armazenamento de back-end](https://mlflow.org/docs/latest/tracking/backend-stores.html), que persiste vários metadados para cada [execução](https://mlflow.org/docs/latest/tracking.html#runs), como ID de execução, horários de início e término, parâmetros e métricas, é configurado automaticamente na conta de serviço de SageMaker IA e totalmente gerenciado para você. ### Armazenamento de artefatos Para fornecer armazenamento contínuo para metadados ao MLflow para cada execução, como pesos de modelo, imagens, arquivos de modelo e arquivos de dados para suas execuções de experimentos, você deve criar um armazenamento de artefatos usando o Amazon S3. O armazenamento de artefatos deve ser configurado em sua AWS conta e você deve conceder explicitamente ao MLflow acesso ao Amazon S3 para acessar seu armazenamento de artefatos. Para obter mais informações, consulte [Repositório de artefatos](https://mlflow.org/docs/latest/tracking.html#artifact-stores), na documentação do MLflow. **nota** SageMaker O AI MLflow tem um limite de tamanho de download de 200 MB. ### Versões do aplicativo MLflow As seguintes versões do MLflow estão disponíveis para uso com os aplicativos SageMaker AI MLflow: | Versão do MLflow | Versão do Python | | --- | --- | | [MLflow 3.10](https://mlflow.org/releases/3.10.1/) (versão mais recente) | [Python 3.10](https://www.python.org/downloads/release/python-3100/) ou posterior | A versão mais recente do aplicativo MLflow tem os recursos, patches de segurança e correções de erros mais recentes. Quando você cria um novo aplicativo MLflow, ele é atualizado automaticamente para a versão mais recente compatível. Para obter mais informações sobre como criar um aplicativo MLflow, consulte[Configuração do aplicativo MLflow](mlflow-app-setup.md). Os aplicativos MLflow usam versionamento semântico. As versões estão no seguinte formato: `{{major-version}}.{{minor-version}}.{{patch-version}}`. ### Tamanhos do servidor de rastreamento MLflow Opcionalmente, você pode especificar o tamanho do seu servidor de rastreamento na interface do usuário do Studio ou com o AWS CLI parâmetro`--tracking-server-size`. Escolha uma das seguintes opções: `"Small"`, `"Medium"` e `"Large"`. O tamanho padrão da configuração do servidor de rastreamento MLflow é `"Small"`. Você pode escolher um tamanho dependendo do uso projetado do servidor de rastreamento, como o volume de dados registrados, o número de usuários e a frequência de uso. Recomendamos usar um servidor de rastreamento pequeno para equipes de até 25 usuários, um servidor de rastreamento médio para equipes de até 50 usuários e um servidor de rastreamento grande para equipes de até 100 usuários. Para fazer essas recomendações, presumimos que todos os usuários farão solicitações simultâneas ao seu servidor de rastreamento MLflow. Você deve selecionar o tamanho do servidor de rastreamento com base no padrão de uso esperado e no número de transações por segundo (TPS) compatível com cada servidor de rastreamento. **nota** A natureza da workload e o tipo de solicitação que você faz ao servidor de rastreamento determinam o número de TPS que você vê. | Monitoramento do tamanho do servidor | TPS sustentado | Intermitência de TPS | | --- | --- | --- | | Small | Até 25 | Até 50 | | Médio | Até 50 | Até 100 | | Grande | Até 100 | Até 200 | ### Monitoramento de versões do servidor As seguintes versões do MLflow estão disponíveis para uso com SageMaker IA: | Versão do MLflow | Versão do Python | | --- | --- | | [MLflow 3.0](https://mlflow.org/releases/3) (versão mais recente) | [Python 3.9](https://www.python.org/downloads/release/python-390/) ou superior | | [MLflow 2.16](https://mlflow.org/releases/2.16.0) | [Python 3.8](https://www.python.org/downloads/release/python-380/) ou posterior | | [MLflow 2.13](https://mlflow.org/releases/2.13.0) | [Python 3.8](https://www.python.org/downloads/release/python-380/) ou posterior | A versão mais recente do servidor de rastreamento inclui os recursos mais recentes, patches de segurança e correções de bug. Ao criar um servidor de rastreamento, é recomendável usar a versão mais recente. Para ter mais informações sobre como criar um servidor de rastreamento, consulte [Servidores de rastreamento MLflow](mlflow-create-tracking-server.md). Os servidores de rastreamento do MLflow usam versionamento semântico. As versões estão no seguinte formato: `{{major-version}}.{{minor-version}}.{{patch-version}}`. Os recursos mais recentes, como novos elementos de interface de usuário e funcionalidade de API, estão na versão secundária. ### AWS CloudTrail logs AWS CloudTrail registra automaticamente as atividades relacionadas ao seu MLflow Tracking Server. As seguintes chamadas de API do plano de controle estão registradas: CloudTrail + CreateMlflowTrackingServer + DescribeMlflowTrackingServer + UpdateMlflowTrackingServer + DeleteMlflowTrackingServer + ListMlflowTrackingServers + CreatePresignedMlflowTrackingServer + StartMlflowTrackingServer + StopMlflowTrackingServer AWS CloudTrail também registra automaticamente as atividades relacionadas ao seu plano de dados MLflow. As seguintes chamadas de API do plano de dados estão registradas CloudTrail. Para nomes de eventos, adicione o prefixo `Mlflow` (por exemplo, `MlflowCreateExperiment`). + CreateExperiment + CreateModelVersion + CreateRegisteredModel + CreateRun + DeleteExperiment + DeleteModelVersion + DeleteModelVersionTag + DeleteRegisteredModel + DeleteRegisteredModelAlias + DeleteRegisteredModelTag + DeleteRun + DeleteTag + GetDownloadURIForModelVersionArtifacts + GetExperiment + GetExperimentByName + GetLatestModelVersions + GetMetricHistory + GetModelVersion + GetModelVersionByAlias + GetRegisteredModel + GetRun + ListArtifacts + LogBatch + LogInputs + LogMetric + LogModel + LogParam + RenameRegisteredModel + RestoreExperiment + RestoreRun + SearchExperiments + SearchModelVersions + SearchRegisteredModels + SearchRuns + SetExperimentTag + SetModelVersionTag + SetRegisteredModelAlias + SetRegisteredModelTag + SetTag + TransitionModelVersionStage + UpdateExperiment + UpdateModelVersion + UpdateRegisteredModel + UpdateRun + FinalizeLoggedModel + GetLoggedModel + DeleteLoggedModel + SearchLoggedModels + SetLoggedModelTags + DeleteLoggedModelTag + ListLoggedModelArtifacts + LogLoggedModelParams + LogOutputs Para obter mais informações sobre CloudTrail, consulte o *[Guia AWS CloudTrail do usuário](https://docs.aws.amazon.com/awscloudtrail/latest/userguide/cloudtrail-user-guide.html)*. ### EventBridge Eventos da Amazon Use EventBridge para direcionar eventos do uso do MLflow com SageMaker IA para aplicativos de consumo em toda a sua organização. Os seguintes eventos são emitidos para EventBridge: + “Criação SageMaker de servidor de rastreamento” + “Servidor SageMaker de rastreamento criado” + “Falha na criação do servidor de SageMaker rastreamento” + “Atualização do servidor de SageMaker rastreamento” + “Servidor SageMaker de rastreamento atualizado” + “Falha na atualização do servidor de SageMaker rastreamento” + “Exclusão do servidor de SageMaker rastreamento” + “Servidor SageMaker de rastreamento excluído” + “Falha na exclusão do servidor de SageMaker rastreamento” + “SageMaker Iniciando o servidor de rastreamento” + “Servidor SageMaker de rastreamento iniciado” + “Falha na inicialização do servidor de SageMaker rastreamento” + “Parada do servidor de SageMaker rastreamento” + “Servidor SageMaker de rastreamento interrompido” + “Falha na parada do servidor de SageMaker rastreamento” + “SageMaker Acompanhamento da manutenção do servidor em andamento” + “Manutenção do servidor de SageMaker rastreamento concluída” + “Falha na manutenção do servidor de SageMaker rastreamento” + “Servidor SageMaker de rastreamento MLflow criando execução” + “ RegisteredModelCriação do servidor de rastreamento SageMaker MLflow” + “ ModelVersionCriação do servidor de rastreamento SageMaker MLflow” + “SageMaker Estágio de transição ModelVersion do servidor de rastreamento MLflow” + “Alias de modelo registrado de configuração do servidor de rastreamento SageMaker MLflow” Para obter mais informações sobre EventBridge, consulte o *[Guia EventBridge do usuário da Amazon](https://docs.aws.amazon.com/eventbridge/latest/userguide/eb-what-is.html)*. **Topics** + [Integrações do MLflow](#mlflow-integrations) + [Compatível Regiões da AWS](#mlflow-regions) + [Como funciona](#mlflow-create-tracking-server-how-it-works) + [Configuração do aplicativo MLflow](mlflow-app-setup.md) + [Servidores de rastreamento MLflow](mlflow-create-tracking-server.md) + [Iniciar a interface do usuário do MLflow com o uso de um URLs pré-assinado.](mlflow-launch-ui.md) + [Integre o MLflow ao seu ambiente](mlflow-track-experiments.md) + [Tutoriais do MLflow usando os cadernos Jupyter de exemplo](mlflow-tutorials.md) + [Solucionar problemas comuns de configuração](mlflow-troubleshooting.md) + [Limpar os recursos do MLflow](mlflow-cleanup.md) + [SageMaker Experiências da Amazon no Studio Classic](experiments.md)