As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Aumentar o throughput com inferência entre regiões
Com a inferência entre regiões, você pode escolher um perfil de inferência entre regiões vinculado a uma área geográfica específica (como EUA ou UE) ou escolher um perfil de inferência global. Quando você escolhe um perfil de inferência vinculado a uma geografia específica, o Amazon Bedrock seleciona automaticamente o comercial ideal Região da AWS dentro dessa geografia para processar sua solicitação de inferência. Com perfis de inferência globais, o Amazon Bedrock seleciona automaticamente a Região da AWS comercial ideal para processar a solicitação, o que otimiza os recursos disponíveis e aumenta o throughput do modelo.
Os dois tipos de inferência entre regiões funcionam por meio de perfis de inferência, que definem um modelo básico (FM) e Regiões da AWS para o qual as solicitações podem ser encaminhadas. Ao executar a inferência de modelos no modo sob demanda, suas solicitações podem ser restringidas por cotas de serviço ou durante horários de pico de uso. Cross-Regiona inferência permite que você gerencie perfeitamente picos de tráfego não planejados usando computação em diferentes. Regiões da AWS
Você também pode aumentar o throughput de um modelo comprando throughput provisionado. Atualmente, os perfis de inferência não comportam throughput provisionado.
Para ver as regiões e os modelos com os quais você pode usar perfis de inferência para executar inferência entre regiões, consulte Regiões e modelos que compatíveis com perfis de inferência.
Tópicos
Escolha entre inferência geográfica e global entre regiões
O Amazon Bedrock fornece dois tipos de perfis de inferência entre regiões, cada um projetado para diferentes casos de uso e requisitos de conformidade:
| Recurso | Cross-Region Inferência geográfica | Cross-Region Inferência global | Recomendação |
|---|---|---|---|
| Residência de dados | Dentro dos limites geográficos (EUA, UE, APAC, etc.) | Qualquer região AWS comercial suportada em todo o mundo | Escolha Geographic para requisitos de conformidade |
| Throughput | Maior do que uma única região | Maior disponível | Escolha Global para obter o máximo desempenho |
| Custo | Preço padrão | Economia de aproximadamente 10% | Escolha Global para otimização de custos |
| Requisitos de SCP | Permitir todas as regiões de destino no perfil | Permitir "aws:RequestedRegion": "unspecified" |
Configure com base em suas políticas organizacionais |
| Mais adequado para | Organizações com regulamentos de residência de dados | Organizações que priorizam custo e desempenho | Avalie suas necessidades de conformidade e desempenho |
Escolha a inferência geográfica entre regiões quando você tiver requisitos de residência de dados e precisar garantir que o processamento de dados permaneça dentro de limites geográficos específicos. Escolha a inferência global entre regiões quando quiser a máxima produtividade e economia de custos sem restrições geográficas.
Considerações gerais
Observe as seguintes informações sobre inferência entre regiões:
-
Não há custo adicional de roteamento para usar a inferência entre regiões. O preço é calculado com base na região na qual você chama um perfil de inferência. Para obter mais informações sobre preços, consulte Preços do Amazon Bedrock
. -
Cross-Region a inferência pode encaminhar solicitações para Regiões da AWS as quais não estão habilitadas manualmente em seu Conta da AWS. A ativação manual de regiões não é necessária para que a inferência entre regiões funcione.
-
Todos os dados transmitidos durante as operações entre regiões permanecem na AWS rede e não atravessam a Internet pública. Os dados são criptografados em trânsito entre eles Regiões da AWS.
-
Todas as solicitações de inferência entre regiões são registradas CloudTrail na sua região de origem. Procure o
additionalEventData.inferenceRegioncampo para identificar onde as solicitações foram processadas. -
AWS Os serviços desenvolvidos pelo Amazon Bedrock também podem usar o CRIS. Consulte a documentação do serviço específico para obter detalhes.
