View a markdown version of this page

Como criar endpoints de serviço de VPC necessários em um Amazon VPC com roteamento privado - Amazon Managed Workflows for Apache Airflow
PreçosRede privada e roteamento privado(Obrigatório) Endpoints da VPCComo conectar os endpoints da VPC necessários(Opcional) Habilite endereços IP privados para seu endpoint de interface VPC do Amazon S3

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Como criar endpoints de serviço de VPC necessários em um Amazon VPC com roteamento privado

Uma rede Amazon VPC existente sem acesso à internet precisa de endpoints de serviço VPC adicionais (AWS PrivateLink) para usar o Apache Airflow no Amazon Managed Workflows para Apache Airflow. Esta página descreve os endpoints de VPC necessários para os AWS serviços usados pelo Amazon MWAA, os endpoints de VPC necessários para o Apache Airflow e como criar e conectar os endpoints de VPC a um Amazon VPC existente com roteamento privado.

nota

Se você escolher Acesso à rede pública e privada, o VPC endpoint para o servidor web será criado e gerenciado automaticamente pelo Amazon MWAA. Você não precisa criar endpoints VPC para conectividade com o servidor web Apache Airflow. No entanto, se sua Amazon VPC não tiver acesso à Internet, você ainda precisará de VPC endpoints para outros AWS serviços (como Amazon S3, CloudWatch Logs, SQS, KMS e Amazon ECR) conforme descrito nesta página.

Preços

Rede privada e roteamento privado

Esta imagem mostra a arquitetura de um ambiente Amazon MWAA com acesso à rede privada.

O modo de acesso à rede privada limita o acesso à interface do usuário do Apache Airflow aos usuários dentro da sua Amazon VPC que receberam acesso à política do IAM do seu ambiente.

Ao criar um ambiente com acesso à rede privada, você deve empacotar todas as suas dependências em um arquivo Python wheel .whl () e, em seguida, .whl referenciá-las em seu. requirements.txt Para obter instruções sobre como empacotar e instalar suas dependências usando o wheel, consulte Gerenciamento de dependências usando o wheel do Python.

A imagem a seguir mostra onde encontrar a opção Rede privada no console do Amazon MWAA.

Esta imagem mostra onde encontrar a opção de Rede privada no console do Amazon MWAA.

  • Roteamento privado. Uma Amazon VPC sem acesso à internet limita o tráfego de rede dentro da VPC. Esta página pressupõe que sua Amazon VPC não tenha acesso à Internet e exija endpoints VPC para AWS cada serviço usado por seu ambiente e endpoints VPC para Apache Airflow no Região da AWS mesmo ambiente Amazon VPC e Amazon VPC como seu ambiente Amazon MWAA.

(Obrigatório) Endpoints da VPC

A seção a seguir mostra os endpoints da VPC necessários para uma Amazon VPC sem acesso à internet. Ele lista os endpoints de VPC para cada AWS serviço usado pelo Amazon MWAA, incluindo os endpoints de VPC necessários para o Apache Airflow.

com.amazonaws.us-east-1.s3
com.amazonaws.us-east-1.monitoring
com.amazonaws.us-east-1.logs
com.amazonaws.us-east-1.sqs
com.amazonaws.us-east-1.kms
nota

Ao usar o Transit Gateway ou qualquer outro roteamento que não vá diretamente para os endpoints da AWS API, recomendamos que você adicione AWS PrivateLink às suas sub-redes privadas do Amazon MWAA os seguintes serviços:

  • Amazon S3

  • Amazon SQS

  • CloudWatch Registros

  • CloudWatch métricas

  • AWS KMS (se aplicável)

Isso garante que o ambiente do Amazon MWAA possa se comunicar de forma segura e eficiente com esses serviços sem rotear o tráfego pela Internet pública, melhorando assim a segurança e o desempenho.

Como conectar os endpoints da VPC necessários

Esta seção descreve as etapas para conectar os endpoints da VPC necessários para um Amazon VPC com roteamento privado.

VPC endpoints necessários para AWS serviços

A seção a seguir mostra as etapas para conectar os endpoints de VPC para os AWS serviços usados por um ambiente a uma Amazon VPC existente.

Para anexar endpoints da VPC às suas sub-redes privadas

  1. Abra a página Endpoints no console da Amazon VPC.

  2. Selecione seu Região da AWS.

  3. Criar o endpoint para o Amazon S3:

    1. Escolha Criar endpoint .

    2. No campo de texto Filtrar por atributos ou pesquisar por palavra-chave.s3, digite: e pressione Enter no teclado.

    3. Recomendamos escolher o endpoint de serviço listado para o tipo de Gateway.

      Por exemplo, com.amazonaws.us-west-2.s3 amazon Gateway.

    4. Escolha a Amazon VPC do seu ambiente em VPC.

    5. Certifique-se de que suas duas sub-redes privadas em diferentes zonas de disponibilidade estejam selecionadas e que esse DNS privado esteja ativado selecionando Habilitar nome DNS.

    6. Escolha os grupos de segurança da Amazon VPC do seu ambiente.

    7. Escolha Acesso total na Política.

    8. Escolha Criar endpoint.

  4. Crie o endpoint para CloudWatch Logs:

    1. Escolha Criar endpoint .

    2. No campo de texto Filtrar por atributos ou pesquisar por palavra-chave.logs, digite: e pressione Enter no teclado.

    3. Selecione o endpoint do serviço.

    4. Escolha a Amazon VPC do seu ambiente em VPC.

    5. Certifique-se de que suas duas sub-redes privadas em diferentes zonas de disponibilidade estejam selecionadas e que a opção Habilitar nome DNS esteja ativada.

    6. Escolha os grupos de segurança da Amazon VPC do seu ambiente.

    7. Escolha Acesso total na Política.

    8. Escolha Criar endpoint.

  5. Crie o endpoint para CloudWatch monitoramento:

    1. Escolha Criar endpoint .

    2. No campo de texto Filtrar por atributos ou pesquisar por palavra-chave.monitoring, digite: e pressione Enter no teclado.

    3. Selecione o endpoint do serviço.

    4. Escolha a Amazon VPC do seu ambiente em VPC.

    5. Certifique-se de que suas duas sub-redes privadas em diferentes zonas de disponibilidade estejam selecionadas e que a opção Habilitar nome DNS esteja ativada.

    6. Escolha os grupos de segurança da Amazon VPC do seu ambiente.

    7. Escolha Acesso total na Política.

    8. Escolha Criar endpoint.

  6. Crie o endpoint para Amazon SQS:

    1. Escolha Criar endpoint .

    2. No campo de texto Filtrar por atributos ou pesquisar por palavra-chave.sqs, digite: e pressione Enter no teclado.

    3. Selecione o endpoint do serviço.

    4. Escolha a Amazon VPC do seu ambiente em VPC.

    5. Certifique-se de que suas duas sub-redes privadas em diferentes zonas de disponibilidade estejam selecionadas e que a opção Habilitar nome DNS esteja ativada.

    6. Escolha os grupos de segurança da Amazon VPC do seu ambiente.

    7. Escolha Acesso total na Política.

    8. Escolha Criar endpoint.

  7. Crie o endpoint para AWS KMS:

    1. Escolha Criar endpoint .

    2. No campo de texto Filtrar por atributos ou pesquisar por palavra-chave.kms, digite: e pressione Enter no teclado.

    3. Selecione o endpoint do serviço.

    4. Escolha a Amazon VPC do seu ambiente em VPC.

    5. Certifique-se de que suas duas sub-redes privadas em diferentes zonas de disponibilidade estejam selecionadas e que a opção Habilitar nome DNS esteja ativada.

    6. Escolha os grupos de segurança da Amazon VPC do seu ambiente.

    7. Escolha Acesso total na Política.

    8. Escolha Criar endpoint.

Endpoints da VPC necessários para o Apache Airflow

A seção a seguir mostra as etapas para conectar os endpoints da VPC do Apache Airflow a uma Amazon VPC existente.

Para anexar endpoints da VPC às suas sub-redes privadas

  1. Abra a página Endpoints no console da Amazon VPC.

  2. Selecione seu Região da AWS.

  3. Crie o endpoint para a API do Apache Airflow:

    1. Escolha Criar endpoint .

    2. No campo de texto Filtrar por atributos ou pesquisar por palavra-chave.airflow.api, digite: e pressione Enter no teclado.

    3. Selecione o endpoint do serviço.

    4. Escolha a Amazon VPC do seu ambiente em VPC.

    5. Certifique-se de que suas duas sub-redes privadas em diferentes zonas de disponibilidade estejam selecionadas e que a opção Habilitar nome DNS esteja ativada.

    6. Escolha os grupos de segurança da Amazon VPC do seu ambiente.

    7. Escolha Acesso total na Política.

    8. Escolha Criar endpoint.

  4. Crie o primeiro endpoint para o ambiente do Apache Airflow:

    1. Escolha Criar endpoint .

    2. No campo de texto Filtrar por atributos ou pesquisar por palavra-chave.airflow.env, digite: e pressione Enter no teclado.

    3. Selecione o endpoint do serviço.

    4. Escolha a Amazon VPC do seu ambiente em VPC.

    5. Certifique-se de que suas duas sub-redes privadas em diferentes zonas de disponibilidade estejam selecionadas e que a opção Habilitar nome DNS esteja ativada.

    6. Escolha os grupos de segurança da Amazon VPC do seu ambiente.

    7. Escolha Acesso total na Política.

    8. Escolha Criar endpoint.

  5. Crie o segundo endpoint para as operações do Apache Airflow:

    1. Escolha Criar endpoint .

    2. No campo de texto Filtrar por atributos ou pesquisar por palavra-chave.airflow.ops, digite: e pressione Enter no teclado.

    3. Selecione o endpoint do serviço.

    4. Escolha a Amazon VPC do seu ambiente em VPC.

    5. Certifique-se de que suas duas sub-redes privadas em diferentes zonas de disponibilidade estejam selecionadas e que a opção Habilitar nome DNS esteja ativada.

    6. Escolha os grupos de segurança da Amazon VPC do seu ambiente.

    7. Escolha Acesso total na Política.

    8. Escolha Criar endpoint.

(Opcional) Habilite endereços IP privados para seu endpoint de interface VPC do Amazon S3

Os endpoints da interface Amazon S3 não oferecem suporte a DNS privado. As solicitações do endpoint S3 ainda são resolvidas para um endereço IP público. Para transformar o endereço do S3 em um endereço IP privado, você precisa adicionar uma zona hospedada privada no Route 53 para o endpoint regional do S3.

Como usar Route 53

Esta seção descreve as etapas para habilitar endereços IP privados para um endpoint da interface S3 usando o Route 53.

  1. Crie uma zona hospedada privada para seu endpoint de interface VPC do Amazon S3 (como s3.eu-west-1.amazonaws.com) e associe-a ao seu Amazon VPC.

  2. Crie um registro ALIAS A para seu endpoint da interface VPC do Amazon S3 (como s3.eu-west-1.amazonaws.com) que resolva o nome DNS do seu VPC Interface Endpoint.

  3. Crie um registro curinga ALIAS A para seu endpoint de interface Amazon S3 (como *.s3.eu-west-1.amazonaws.com) que é resolvido para o nome DNS do VPC Interface Endpoint.

VPCs com DNS personalizado

Se seu Amazon VPC usa roteamento de DNS personalizado, você precisa fazer as alterações em seu resolvedor de DNS (não no Route 53, normalmente uma instância EC2 executando um servidor DNS) ao criar um registro CNAME. Por exemplo:

Name: s3.us-west-2.amazonaws.com
Type: CNAME
Value:  *.vpce-0f67d23e37648915c-e2q2e2j3.s3.us-west-2.vpce.amazonaws.com