As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Llama 3.1 405B Instruct

Meta — Llama 3.1 405B Instruct

Detalhes do modelo

O Llama 3.1 405B Instruct é o maior modelo aberto da Meta com 405 bilhões de parâmetros e uma janela de contexto de 128K, suportando o uso de ferramentas e tarefas multilíngues. Para obter mais informações sobre desenvolvimento e desempenho de modelos, consulte o modelo/cartão de serviço.

Preços

Para obter os preços, consulte a página de preços do Amazon Bedrock.

Acesso programático

Use o modelo IDs e o endpoint URLs a seguir para acessar esse modelo programaticamente. Para obter mais informações sobre os endpoints disponíveis APIs , consulte APIs suportados e Endpoints suportados.

Por exemplo, se a região for us-east-1 (Norte da Virgínia), a URL do endpoint bedrock-runtime será "" e para bedrock-mantle será https://bedrock-runtime.us-east-1.amazonaws.com "https://bedrock-mantle.us-east-1.api.aws/v1”.

Níveis de serviço

O Amazon Bedrock oferece vários níveis de serviço para atender às suas necessidades de carga de trabalho. O padrão fornece pay-per-token acesso sem compromisso. O Priority oferece maior produtividade com um compromisso baseado em tempo. O Flex fornece acesso de baixo custo para cargas de trabalho flexíveis. non-time-sensitive O Reserved fornece taxa de transferência dedicada com um compromisso de longo prazo para cargas de trabalho previsíveis. Para obter mais informações, consulte níveis de serviço.

Disponibilidade regional

Visão geral da disponibilidade regional

A Bedrock oferece três opções de inferência: In-Region mantém as solicitações em uma única região para conformidade estrita, rotas geográficas entre regiões dentro de uma geografia (EUA, UE, etc.) para maior produtividade, respeitando a residência dos dados, e rotas globais entre regiões em qualquer lugar do mundo para máxima produtividade quando não há restrições de residência. Consulte a Disponibilidade regional página para obter mais detalhes.

Detalhes da inferência geográfica

Geo: EUA

ID de inferência geográfica: us.meta.llama3-1-405b-instruct-v1:0

Código de exemplo

Etapa 1 - Conta da AWS: se você já tem uma conta da AWS, pule esta etapa. Se você é novo na AWS, cadastre-se em uma conta da AWS.

Etapa 2 - Chave de API: acesse o console do Amazon Bedrock e gere uma chave de API de longo prazo.

Etapa 3 - Obtenha o SDK: para usar este guia de introdução, você deve ter o Python já instalado. Em seguida, instale o software relevante, dependendo do APIs que você está usando.

pip install boto3

Etapa 4 - Definir variáveis de ambiente: configure seu ambiente para usar a chave de API para autenticação.

AWS_BEARER_TOKEN_BEDROCK="<provide your Bedrock API key>"

Etapa 5 - Execute sua primeira solicitação de inferência: salve o arquivo como bedrock-first-request.py

Converse API

import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.converse(
    modelId='meta.llama3-1-405b-instruct-v1:0',
    messages=[
        {
            'role': 'user',
            'content': [{'text': 'Can you explain the features of Amazon Bedrock?'}]
        }
    ]
)
print(response)