As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá. # Mova arquivos de mainframe diretamente para o Amazon S3 usando o Transfer Family *Luis Gustavo Dantas, Amazon Web Services* ## Resumo Como parte da jornada de modernização, você pode enfrentar o desafio de transferir arquivos entre seus servidores on-premises e a nuvem da Amazon Web Services (AWS). Transferir dados de mainframes pode ser um desafio complexo porque os mainframes normalmente não conseguem acessar armazenamentos modernos de dados, como o Amazon Simple Storage Service (Amazon S3), o Amazon Elastic Block Store (Amazon EBS) ou o Amazon Elastic File System (Amazon EFS). Muitos clientes usam recursos intermediários de preparação, como servidores Linux, Unix ou Windows on-premises, para transferir arquivos para a Nuvem AWS. Você pode evitar esse método indireto usando o AWS Transfer Family com o Secure Shell (SSH) Protocolo de Transferência de Arquivos (SFTP) para carregar arquivos de mainframe diretamente no Amazon S3. ## Pré-requisitos e limitações **Pré-requisitos ** + Uma conta AWS ativa + Uma nuvem privada virtual (VPC) com uma sub-rede acessível por sua plataforma legada + Um endpoint do Transfer Family para sua VPC + Arquivos do Mainframe Virtual Storage Access Method (VSAM) convertidos em [arquivos sequenciais de tamanho fixo](https://www.ibm.com/docs/en/zos/2.1.0?topic=reports-converting-vb-fb) (documentação da IBM) **Limitações** + O SFTP transfere arquivos no modo binário por definição, ou seja, os arquivos são enviados para o Amazon S3 com a codificação EBCDIC preservada. Se seu arquivo não contiver dados binários ou compactados, você poderá usar o [subcomando **sftp **ascii](https://www.ibm.com/docs/en/zos/2.3.0?topic=version-what-zos-openssh-supports) (documentação da IBM) para converter seus arquivos em texto durante a transferência. + Você deve [descompactar arquivos de mainframe](https://apg-library.amazonaws.com/content/f5907bfe-7dff-4cd0-8523-57015ad48c4b) (Recomendações da AWS) que contenham conteúdo compactado e binário para usar esses arquivos em seu ambiente de destino. + Os objetos do Amazon S3 podem variar em tamanho: de um mínimo de 0 byte a um máximo de 5 TB. Para obter mais informações sobre os recursos do Amazon S3, consulte Amazon [S3](https://aws.amazon.com/s3/faqs/?nc1=h_ls). FAQs ## Arquitetura **Pilha de tecnologia de origem** + Job Control Language (JCL) + Shell z/OS Unix e ISPF + SFTP + VSAM e arquivos simples **Pilha de tecnologias de destino** + Transfer Family + Amazon S3 + Amazon Virtual Private Cloud (Amazon VPC) **Arquitetura de destino** O diagrama a seguir mostra uma arquitetura de referência para usar o Transfer Family com SFTP para carregar arquivos de mainframe diretamente em um bucket do S3. ![\[Uso do Transfer Family com SFTP para fazer o upload de arquivos de mainframe diretamente para um bucket do S3\]](http://docs.aws.amazon.com/pt_br/prescriptive-guidance/latest/patterns/images/pattern-img/1f4fa1fd-b681-41bc-81d8-d556426b14c2/images/110491d5-b58d-4451-8de9-e742756bb192.png) O diagrama mostra o seguinte fluxo de trabalho: 1. Use uma tarefa de JCL para transferir seus arquivos de mainframe do mainframe herdado para a Nuvem AWS por meio do Direct Connect. 1. O Direct Connect permite que seu tráfego de rede permaneça na rede global da AWS e ignore a Internet pública. O Direct Connect também aumenta a velocidade da rede, começando em 50 Mbps e escalando até 100 Gbps. 1. O endpoint da VPC permite conexões entre os recursos da sua VPC e os serviços compatíveis sem usar a Internet pública. O acesso ao Transfer Family e ao Amazon S3 alcança alta disponibilidade por meio de interfaces de rede elástica localizadas em duas sub-redes privadas e zonas de disponibilidade. 1. O Transfer Family autentica os usuários e usa o SFTP para receber seus arquivos do ambiente herdado e movê-los para um bucket do S3. **Automação e escala** Depois que o serviço Transfer Family estiver em vigor, você poderá transferir um número ilimitado de arquivos do mainframe para o Amazon S3 usando uma tarefa de JCL como cliente SFTP. Você também pode automatizar a transferência de arquivos usando um agendador de tarefas em lote de mainframe para executar tarefas de SFTP quando for o momento de transferir os arquivos de mainframe. ## Ferramentas + O [Amazon Simple Storage Service (Amazon S3)](https://docs.aws.amazon.com/AmazonS3/latest/userguide/Welcome.html) é um serviço de armazenamento de objetos baseado na nuvem que ajuda você a armazenar, proteger e recuperar qualquer quantidade de dados. + A [Amazon Virtual Private Cloud (Amazon VPC)](https://docs.aws.amazon.com/vpc/latest/userguide/what-is-amazon-vpc.html) ajuda a iniciar recursos da AWS em uma rede virtual definida por você. Essa rede virtual é semelhante a uma rede tradicional que você operaria no próprio datacenter, com os benefícios de usar a infraestrutura escalável da AWS. + [O AWS Transfer Family](https://docs.aws.amazon.com/transfer/latest/userguide/what-is-aws-transfer-family.html) permite que você escale com segurança suas transferências recorrentes de business-to-business arquivos para o Amazon S3 e o Amazon EFS usando os protocolos SFTP, FTPS e FTP. ## Épicos ### Criar o bucket do S3 e a política de acesso | Tarefa | Description | Habilidades necessárias | | --- | --- | --- | | Criar o bucket do S3. | [Crie um bucket do S3](https://docs.aws.amazon.com/AmazonS3/latest/userguide/create-bucket-overview.html) para hospedar os arquivos que você transfere do seu ambiente herdado. | AWS geral | | Criar uma política e um perfil do IAM. | O Transfer Family usa seu perfil do AWS Identity and Access Management (IAM) para conceder acesso ao bucket do S3 criado anteriormente.Crie um [perfil do IAM](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles_create_for-service.html) que inclua a seguinte [política do IAM](https://docs.aws.amazon.com/IAM/latest/UserGuide/access_policies_create.html):
{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "UserFolderListing",
            "Action": [
                "s3:ListBucket",
                "s3:GetBucketLocation"
            ],
            "Effect": "Allow",
            "Resource": [
                "arn:aws:s3:::"
            ]
        },
        {
            "Sid": "HomeDirObjectAccess",
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:GetObjectAcl",
                "s3:GetObject",
                "s3:DeleteObjectVersion",
                "s3:DeleteObject",
                "s3:PutObjectAcl",
                "s3:GetObjectVersion"
            ],
            "Resource": "arn:aws:s3:::/*"
        }
    ]
}
É obrigatório selecionar o caso de uso Transfer ao configurar o perfil do IAM. | AWS geral | ### Definir o serviço de transferência | Tarefa | Description | Habilidades necessárias | | --- | --- | --- | | Crie o servidor SFTP. | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/prescriptive-guidance/latest/patterns/move-mainframe-files-directly-to-amazon-s3-using-transfer-family.html)Para obter mais informações sobre como configurar um servidor SFTP, consulte [Create an SFTP-enabled server](https://docs.aws.amazon.com/transfer/latest/userguide/create-server-sftp.html) (guia do usuário do AWS Transfer Family). | AWS geral | | Obtenha o endereço do servidor. | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/prescriptive-guidance/latest/patterns/move-mainframe-files-directly-to-amazon-s3-using-transfer-family.html) | AWS geral | | Crie o par de chaves do cliente SFTP. | Crie um par de chaves SSH para o [Microsoft Windows](https://docs.aws.amazon.com/transfer/latest/userguide/key-management.html#windows-ssh) ou [macOS/Linux/UNIX](https://docs.aws.amazon.com/transfer/latest/userguide/key-management.html#macOS-linux-unix-ssh). | AWS geral, SSH | | Crie o servidor SFTP. | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/prescriptive-guidance/latest/patterns/move-mainframe-files-directly-to-amazon-s3-using-transfer-family.html) | AWS geral | ### Transferir o arquivo do mainframe | Tarefa | Description | Habilidades necessárias | | --- | --- | --- | | Envie a chave privada SSH para o mainframe. | Use SFTP ou SCP para enviar a chave privada SSH para o ambiente herdado.Exemplo de SFTP:
sftp [USERNAME@mainframeIP]
[password]
cd [/u/USERNAME]
put [your-key-pair-file]
Exemplos de SCP:
scp [your-key-pair-file] [USERNAME@MainframeIP]:/[u/USERNAME]
Em seguida, armazene a chave SSH no sistema de arquivos z/OS Unix com o nome de usuário que posteriormente executará o trabalho em lote de transferência de arquivos (por exemplo,`/u/CONTROLM`). Para obter mais informações sobre o shell z/OS Unix, consulte [Uma introdução aos z/OS shells (documentação da](https://www.ibm.com/docs/en/zos/2.2.0?topic=shells-introduction-zos) IBM). | Mainframe, shell z/OS Unix, FTP, SCP | | Crie o cliente JCL SFTP. | Como os mainframes não têm um cliente SFTP nativo, você deve usar o utilitário BPXBATCH para executar o cliente SFTP a partir do shell Unix. z/OS No editor ISPF, crie o cliente JCL SFTP. Por exemplo:
//JOBNAM JOB ...
//**********************************************************************
//SFTP EXEC PGM=BPXBATCH,REGION=0M 
//STDPARM DD * 
SH cp "//'MAINFRAME.FILE.NAME'" filename.txt; 
echo 'put filename.txt' > uplcmd; 
sftp -b uplcmd -i ssh_private_key_file ssh_username@; 
//SYSPRINT DD SYSOUT=* 
//STDOUT DD SYSOUT=* 
//STDENV DD * 
//STDERR DD SYSOUT=*
Para obter mais informações sobre como executar um comando no shell do z/OS Unix, consulte [O utilitário BPXBATCH](https://www.ibm.com/docs/en/zos/2.2.0?topic=ispf-bpxbatch-utility) (documentação da IBM). Para obter mais informações sobre como criar ou editar tarefas de JCL no z/OS, consulte [O que é ISPF?](https://www.ibm.com/docs/en/zos-basic-skills?topic=interfaces-what-is-ispf) e [O editor ISPF](https://www.ibm.com/docs/en/zos-basic-skills?topic=ispf-editor) (documentação da IBM). | JCL, mainframe, shell Unix z/OS | | Execute o cliente JCL SFTP. | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/prescriptive-guidance/latest/patterns/move-mainframe-files-directly-to-amazon-s3-using-transfer-family.html)Para obter mais informações sobre como verificar a atividade de trabalhos em lote, consulte [z/OS SDSF User's Guide](https://www.ibm.com/docs/en/zos/2.4.0?topic=sdsf-zos-users-guide) (documentação da IBM). | Mainframe, JCL, ISPF | | Validar a transferência de arquivos. | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/prescriptive-guidance/latest/patterns/move-mainframe-files-directly-to-amazon-s3-using-transfer-family.html) | AWS geral | | Crie o cliente JCL SFTP. | Use o agendador de tarefas para acionar automaticamente o cliente JCL SFTP.Você pode usar agendadores de trabalhos de mainframe, como [Control-M da BMC](https://www.bmcsoftware.pt/it-solutions/control-m.html) ou [CA Workload Automation](https://www.broadcom.com/products/mainframe/workload-automation/ca7), para automatizar trabalhos em lote de transferência de arquivos com base no horário e em outras dependências de trabalhos em lote. | Agendador de tarefas | ## Recursos relacionados + [Como o AWS Transfer Family funciona](https://docs.aws.amazon.com/transfer/latest/userguide/how-aws-transfer-works.html)