As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá. # Usando repositórios de dados com o Amazon FSx for Lustre O Amazon FSx for Lustre fornece sistemas de arquivos de alto desempenho otimizados para processamento rápido da carga de trabalho. Ele oferece suporte a workloads como machine learning, computação de alta performance (HPC), processamento de vídeo, modelagem financeira e Automação de Design Eletrônico (EDA). Essas workloads geralmente exigem que os dados sejam apresentados usando uma interface de sistema de arquivos escalável e de alta velocidade para acesso aos dados. Muitas vezes, os conjuntos de dados usados para essas cargas de trabalho são armazenados em repositórios de dados de longo prazo no Amazon S3. FSx for Lustre é nativamente integrado ao Amazon S3, facilitando o processamento de conjuntos de dados com o sistema de arquivos. Lustre **nota** Não há suporte para backups do sistema de arquivos naqueles sistemas vinculados a um repositório de dados do Amazon S3. Para obter mais informações, consulte [Proteger seus dados com backups](using-backups-fsx.md). Os sistemas de arquivos do Intelligent-Tiering não são compatíveis com a vinculação de repositórios de dados do Amazon S3. **Topics** + [Visão geral dos repositórios de dados](overview-dra-data-repo.md) + [Suporte a metadados POSIX para repositórios de dados](posix-metadata-support.md) + [Vincular o sistema de arquivos a um bucket do Amazon S3](create-dra-linked-data-repo.md) + [Importação de alterações do repositório de dados](importing-files-dra.md) + [Exportação de alterações para o repositório de dados](export-changed-data-meta-dra.md) + [Tarefas de repositório de dados](data-repository-tasks.md) + [Liberação de arquivos](file-release.md) + [Usando a Amazon FSx com seus dados locais](fsx-on-premises.md) + [Registros em log de eventos de repositório de dados](data-repo-event-logs.md) + [Como trabalhar com tipos de implantação mais antigos](older-deployment-types.md) # Visão geral dos repositórios de dados Ao usar o Amazon FSx for Lustre com repositórios de dados, você pode ingerir e processar grandes volumes de dados de arquivos em um sistema de arquivos de alto desempenho usando tarefas automáticas de importação e importação do repositório de dados. Ao mesmo tempo, você pode gravar resultados em seus repositórios de dados usando tarefas automáticas de exportação ou exportação do repositório de dados. Com esses recursos, você pode reiniciar sua workload a qualquer momento usando os dados mais recentes armazenados em seu repositório de dados. **nota** Associações de repositórios de dados, exportação automática e suporte para vários repositórios de dados não estão disponíveis nos sistemas de arquivos ou sistemas FSx de arquivos Lustre 2.10. `Scratch 1` O FSx para Lustre está profundamente integrado ao Amazon S3. Essa integração significa que você pode acessar facilmente os objetos armazenados nos buckets do Amazon S3 das aplicações que montam o sistema de arquivos do FSx para Lustre Você também pode executar suas workloads com uso intensivo de computação nas instâncias do Amazon EC2 na Nuvem AWS e exportar os resultados para o seu repositório de dados após a conclusão da workload. Para acessar objetos no repositório de dados do Amazon S3 como arquivos e diretórios no sistema de arquivos, os metadados de arquivos e diretórios devem ser carregados no sistema de arquivos. Você pode carregar metadados de um repositório de dados vinculado ao criar uma associação de repositório de dados. Além disso, você pode importar metadados de arquivos e diretórios de seus repositórios de dados vinculados para o sistema de arquivos usando a importação automática ou usando uma tarefa de importação de repositório de dados. Quando você ativa a importação automática para uma associação de repositório de dados, seu sistema de arquivos importa automaticamente os metadados do arquivo à medida que os arquivos são criados, modificados e and/or excluídos no repositório de dados do S3. Como alternativa, você poderá importar metadados de arquivos e diretórios novos ou alterados usando uma tarefa de importação de repositório de dados. **nota** As tarefas de importação automática e de importação do repositório de dados podem ser usadas simultaneamente em um sistema de arquivos. Você também pode exportar arquivos e seus metadados associados no sistema de arquivos para o repositório de dados usando a exportação automática ou usando uma tarefa de exportação do repositório de dados. Quando você ativa a exportação automática em uma associação de repositório de dados, seu sistema de arquivos exporta automaticamente os dados e metadados do arquivo à medida que os arquivos são criados, modificados ou excluídos. Como alternativa, você pode exportar arquivos ou diretórios usando uma tarefa de exportação do repositório de dados. Quando você usa uma tarefa de exportação do repositório de dados, os dados e metadados do arquivo que foram criados ou modificados desde a última tarefa desse tipo são exportados. **nota** As tarefas de exportação automática e de exportação do repositório de dados não podem ser usadas simultaneamente em um sistema de arquivos. As associações de repositório de dados só exportam arquivos comuns, links simbólicos e diretórios. Isso significa que todos os outros tipos de arquivos (especial FIFO, especial em bloco, especial de caracteres e soquete) não serão exportados como parte dos processos de exportação, como tarefas de exportação automática e de exportação do repositório de dados. FSx O for Lustre também oferece suporte a cargas de trabalho intermitentes na nuvem com sistemas de arquivos locais, permitindo que você copie dados de clientes locais usando nossa VPN. Direct Connect **Importante** Se você vinculou um ou mais FSx sistemas de arquivos do Lustre a um repositório de dados no Amazon S3, não exclua o bucket do Amazon S3 até que você tenha excluído ou desvinculado todos os sistemas de arquivos vinculados. ## Suporte regional e de conta para buckets do S3 vinculados Ao criar links para buckets do S3, lembre-se das seguintes limitações de suporte à região e à conta: + A exportação automática oferece suporte a configurações entre regiões. O sistema de FSx arquivos da Amazon e o bucket S3 vinculado podem estar localizados no mesmo Região da AWS ou em locais diferentes Regiões da AWS. + A importação automática não oferece suporte a configurações entre regiões. Tanto o sistema de FSx arquivos da Amazon quanto o bucket S3 vinculado devem estar localizados no mesmo Região da AWS. + A exportação e a importação automáticas oferecem suporte a configurações entre contas. O sistema de FSx arquivos da Amazon e o bucket S3 vinculado podem pertencer ao mesmo Conta da AWS ou a diferentes Contas da AWS. # Suporte a metadados POSIX para repositórios de dados O Amazon FSx for Lustre transfere automaticamente metadados da Portable Operating System Interface (POSIX) para arquivos, diretórios e links simbólicos (links simbólicos) ao importar e exportar dados de e para um repositório de dados vinculado no Amazon S3. Quando você exporta alterações em seu sistema de arquivos para o repositório de dados vinculado, FSx o Lustre também exporta alterações de metadados POSIX como metadados de objetos do S3. Isso significa que se outro sistema FSx de arquivos do Lustre importar os mesmos arquivos do S3, os arquivos terão os mesmos metadados POSIX nesse sistema de arquivos, incluindo propriedade e permissões. FSx for Lustre importa somente objetos do S3 que tenham chaves de objeto compatíveis com POSIX, como as seguintes. ``` mydir/ mydir/myfile1 mydir/mysubdir/ mydir/mysubdir/myfile2.txt ``` FSx for Lustre armazena diretórios e links simbólicos como objetos separados no repositório de dados vinculado no S3. Para diretórios, FSx for Lustre cria um objeto S3 com um nome de chave que termina com uma barra (“/”), da seguinte forma: + A chave do objeto S3 é `mydir/` mapeada para o diretório FSx for Lustre. `mydir/` + A chave do objeto S3 é `mydir/mysubdir/` mapeada para o diretório FSx for Lustre. `mydir/mysubdir/` Para links simbólicos, o FSx for Lustre usa o seguinte esquema do Amazon S3: + **Chave de objeto S3** — O caminho para o link, em relação ao diretório de montagem FSx for Lustre + **Dados de objeto do S3**: o caminho de destino desse link simbólico + **Metadados de objeto do S3**: os metadados do link simbólico FSx for Lustre armazena metadados POSIX, incluindo propriedade, permissões e registros de data e hora para arquivos, diretórios e links simbólicos, em objetos do S3 da seguinte forma: + `Content-Type`: o cabeçalho da entidade HTTP usado para indicar o tipo de mídia do recurso para navegadores da web. + `x-amz-meta-file-permissions`: o tipo de arquivo e as permissões no formato ``, consistentes com `st_mode` na [página de manual stat(2) do Linux](https://man7.org/linux/man-pages/man2/lstat.2.html). **nota** FSx for Lustre não importa nem retém `setuid` informações. + `x-amz-meta-file-owner`: o ID do usuário proprietário (UID) expresso como número inteiro. + `x-amz-meta-file-group`: o ID do grupo (GID) expresso como número inteiro. + `x-amz-meta-file-atime`: o tempo do último acesso em nanossegundos desde o início da época do Unix. Encerre o valor do tempo com`ns`; caso contrário, FSx o Lustre interpreta o valor como milissegundos. + `x-amz-meta-file-mtime`: o tempo da última modificação em nanossegundos desde o início da época do Unix. Encerre o valor do tempo com`ns`; caso contrário, FSx o Lustre interpreta o valor como milissegundos. + `x-amz-meta-user-agent`— O agente do usuário, ignorado FSx durante a importação do Lustre. Durante a exportação, FSx for Lustre define esse valor como`aws-fsx-lustre`. Ao importar objetos do S3 que não têm permissões POSIX associadas, a permissão POSIX padrão que o Lustre atribui FSx a um arquivo é. `755` Essa permissão permite acesso de leitura e execução para todos os usuários e acesso de gravação para o proprietário do arquivo. **nota** FSx for Lustre não retém nenhum metadado personalizado definido pelo usuário em objetos do S3. # links físicos e exportação para o Amazon S3 Se a exportação automática (com políticas NOVAS e ALTERADAS) estiver habilitada em um DRA no seu sistema de arquivos, cada link físico contido no DRA será exportado para o Amazon S3 como objeto do S3 distinto para cada link físico. Se um arquivo com vários links físicos for modificado no sistema de arquivos, todas as cópias no S3 serão atualizadas, independentemente de qual link físico foi usado ao alterar o arquivo. Se os links físicos forem exportados para o S3 usando tarefas do repositório de dados (DRTs), cada link físico contido nos caminhos especificados para o DRT será exportado para o S3 como um objeto S3 separado para cada link físico. Se um arquivo com vários links físicos for modificado no sistema de arquivos, cada cópia no S3 será atualizada no momento em que o respectivo link físico for exportado, independentemente de qual link físico foi usado ao alterar o arquivo. **Importante** Quando um novo FSx sistema de arquivos do Lustre é vinculado a um bucket do S3 para o qual os links físicos foram exportados anteriormente FSx por outro sistema de arquivos do Lustre, AWS DataSync ou Amazon FSx File Gateway, os links físicos são posteriormente importados como arquivos separados no novo sistema de arquivos. ## Links físicos e arquivos liberados Um arquivo liberado é aquele cujos metadados estão presentes no sistema de arquivos, mas cujo conteúdo está armazenado apenas no S3. Para obter mais informações sobre arquivos liberados, consulte [Liberação de arquivos](file-release.md). **Importante** O uso de links físicos em um sistema de arquivos que tem associações de repositório de dados (DRAs) está sujeito às seguintes limitações: Excluir e recriar um arquivo liberado com vários links físicos pode fazer com que o conteúdo de todos os links físicos seja sobrescrito. Excluir um arquivo liberado excluirá o conteúdo de todos os links físicos que residem fora de uma associação de repositório de dados. Criar um link físico para um arquivo liberado cujo objeto do S3 correspondente esteja em uma das classes de armazenamento S3 Glacier Flexible Retrieval ou S3 Glacier Deep Archive não criará um novo objeto no S3 para o link físico. # Demonstração: anexar permissões POSIX ao fazer upload de objetos em um bucket do Amazon S3 O procedimento a seguir explica o processo de upload de objetos no Amazon S3 com permissões POSIX. Isso permite importar as permissões POSIX ao criar um sistema de FSx arquivos da Amazon vinculado a esse bucket do S3. **Para fazer upload de objetos com permissões POSIX para o Amazon S3** 1. Em seu computador ou máquina local, use os comandos de exemplo a seguir para criar um diretório de teste (`s3cptestdir`) e um arquivo (`s3cptest.txt`) que serão carregados via upload no bucket do S3. ``` $ mkdir s3cptestdir $ echo "S3cp metadata import test" >> s3cptestdir/s3cptest.txt $ ls -ld s3cptestdir/ s3cptestdir/s3cptest.txt drwxr-xr-x 3 500 500 96 Jan 8 11:29 s3cptestdir/ -rw-r--r-- 1 500 500 26 Jan 8 11:29 s3cptestdir/s3cptest.txt ``` O arquivo e o diretório recém-criados têm um ID de usuário (UID) proprietário e um ID de grupo (GID) 500, bem como permissões, conforme mostrado no exemplo anterior. 1. Chame a API do Amazon S3 para criar o diretório `s3cptestdir` com permissões de metadados. Você deve especificar o nome do diretório com uma barra final (`/`). Para obter informações sobre os metadados POSIX com suporte, consulte [Suporte a metadados POSIX para repositórios de dados](posix-metadata-support.md). Substitua `bucket_name` pelo nome do bucket do S3. ``` $ aws s3api put-object --bucket bucket_name --key s3cptestdir/ --metadata '{"user-agent":"aws-fsx-lustre" , \ "file-atime":"1595002920000000000ns" , "file-owner":"500" , "file-permissions":"0100664","file-group":"500" , \ "file-mtime":"1595002920000000000ns"}' ``` 1. Verifique se as permissões POSIX estão marcadas com tag nos metadados de objeto do S3. ``` $ aws s3api head-object --bucket bucket_name --key s3cptestdir/ { "AcceptRanges": "bytes", "LastModified": "Fri, 08 Jan 2021 17:32:27 GMT", "ContentLength": 0, "ETag": "\"d41d8cd98f00b204e9800998ecf8427e\"", "VersionId": "bAlhCoWq7aIEjc3R6Myc6UOb8sHHtJkR", "ContentType": "binary/octet-stream", "Metadata": { "user-agent": "aws-fsx-lustre", "file-atime": "1595002920000000000ns", "file-owner": "500", "file-permissions": "0100664", "file-group": "500", "file-mtime": "1595002920000000000ns" } } ``` 1. Faça upload do arquivo de teste (criado na etapa 1) do seu computador para o bucket do S3 com permissões de metadados. ``` $ aws s3 cp s3cptestdir/s3cptest.txt s3://bucket_name/s3cptestdir/s3cptest.txt \ --metadata '{"user-agent":"aws-fsx-lustre" , "file-atime":"1595002920000000000ns" , \ "file-owner":"500" , "file-permissions":"0100664","file-group":"500" , "file-mtime":"1595002920000000000ns"}' ``` 1. Verifique se as permissões POSIX estão marcadas com tag nos metadados de objeto do S3. ``` $ aws s3api head-object --bucket bucket_name --key s3cptestdir/s3cptest.txt { "AcceptRanges": "bytes", "LastModified": "Fri, 08 Jan 2021 17:33:35 GMT", "ContentLength": 26, "ETag": "\"eb33f7e1f44a14a8e2f9475ae3fc45d3\"", "VersionId": "w9ztRoEhB832m8NC3a_JTlTyIx7Uzql6", "ContentType": "text/plain", "Metadata": { "user-agent": "aws-fsx-lustre", "file-atime": "1595002920000000000ns", "file-owner": "500", "file-permissions": "0100664", "file-group": "500", "file-mtime": "1595002920000000000ns" } } ``` 1. Verifique as permissões no sistema de FSx arquivos da Amazon vinculado ao bucket do S3. ``` $ sudo lfs df -h /fsx UUID bytes Used Available Use% Mounted on 3rnxfbmv-MDT0000_UUID 34.4G 6.1M 34.4G 0% /fsx[MDT:0] 3rnxfbmv-OST0000_UUID 1.1T 4.5M 1.1T 0% /fsx[OST:0] filesystem_summary: 1.1T 4.5M 1.1T 0% /fsx $ cd /fsx/s3cptestdir/ $ ls -ld s3cptestdir/ drw-rw-r-- 2 500 500 25600 Jan 8 17:33 s3cptestdir/ $ ls -ld s3cptestdir/s3cptest.txt -rw-rw-r-- 1 500 500 26 Jan 8 17:33 s3cptestdir/s3cptest.txt ``` O diretório `s3cptestdir` e o arquivo `s3cptest.txt` têm permissões POSIX importadas. # Vincular o sistema de arquivos a um bucket do Amazon S3 Você pode vincular seu sistema de arquivos Amazon FSx for Lustre a repositórios de dados no Amazon S3. Você pode criar o link ao criar o sistema de arquivos ou a qualquer momento após a criação do sistema de arquivos. Um link entre um diretório no sistema de arquivos e um bucket ou prefixo do S3 é chamado de *associação de repositório de dados (DRA)*. Você pode configurar no máximo 8 associações de repositório de dados em um sistema de arquivos FSx for Lustre. No máximo oito solicitações de DRA podem ser enfileiradas, mas apenas uma solicitação pode ser processada por vez no sistema de arquivos. Cada DRA deve ter um diretório exclusivo FSx do sistema de arquivos Lustre e um bucket ou prefixo S3 exclusivo associado a ele. **nota** Associações de repositórios de dados, exportação automática e suporte para vários repositórios de dados não estão disponíveis nos sistemas de arquivos ou sistemas FSx de arquivos Lustre 2.10. `Scratch 1` Para acessar objetos no repositório de dados do S3 como arquivos e diretórios no sistema de arquivos, os metadados de arquivos e diretórios devem ser carregados no sistema de arquivos. Você pode carregar metadados de um repositório de dados vinculado ao criar o DRA ou carregar metadados para lotes de arquivos e diretórios que você deseja acessar usando o sistema de arquivos FSx for Lustre posteriormente usando uma tarefa de importação do repositório de dados, ou usar a exportação automática para carregar metadados automaticamente quando objetos forem adicionados, alterados ou excluídos do repositório de dados. Você pode configurar um DRA somente para importação automática, somente para exportação automática ou ambas. Uma associação de repositório de dados configurada com importação e exportação automáticas propaga os dados em ambas as direções entre o sistema de arquivos e o bucket do S3 vinculado. Conforme você faz alterações nos dados no seu repositório de dados do S3, o FSx for Lustre detecta as alterações e, em seguida, importa automaticamente as alterações para o seu sistema de arquivos. Conforme você cria, modifica ou exclui arquivos, o For Lustre exporta automaticamente as alterações FSx para o Amazon S3 de forma assíncrona quando seu aplicativo termina de modificar o arquivo. **Importante** Se você modificar o mesmo arquivo no sistema de arquivos e no bucket do S3, deverá garantir a coordenação no nível do aplicativo para evitar conflitos. FSx for Lustre não evita gravações conflitantes em vários locais. Para arquivos marcados com um atributo imutável, o FSx for Lustre não consegue sincronizar as alterações entre seu sistema de arquivos FSx for Lustre e um bucket do S3 vinculado ao sistema de arquivos. Definir uma bandeira imutável por um longo período de tempo pode prejudicar o desempenho da movimentação de dados entre a Amazon FSx e o S3. Ao criar uma associação de repositório de dados, você pode configurar as seguintes propriedades: + **Caminho do sistema de arquivos** — insira um caminho local no sistema de arquivos que aponte para um diretório (como`/ns1/`) ou subdiretório (como`/ns1/subdir/`) que será mapeado one-to-one com o caminho do repositório de dados especificado abaixo. A barra inicial no nome é obrigatória. Duas associações de repositórios de dados não podem ter caminhos de sistema de arquivos sobrepostos. Por exemplo, se um repositório de dados estiver associado ao caminho do sistema de arquivos `/ns1`, você não poderá vincular outro repositório de dados ao caminho do sistema de arquivos `/ns1/ns2`. **nota** Se você especificar somente uma barra (`/`) como o caminho do sistema de arquivos, poderá vincular somente um repositório de dados ao sistema de arquivos. Só é possível especificar “/” como o caminho do sistema de arquivos para o primeiro repositório de dados associado a um sistema de arquivos. + **Caminho do repositório de dados**: insira um caminho no repositório de dados do S3. O caminho pode ser um bucket ou prefixo do S3 no formato `s3://bucket-name/prefix/`. Essa propriedade especifica de onde os arquivos do repositório de dados do S3 serão importados ou exportados. FSx for Lustre anexará um “/” final ao caminho do seu repositório de dados, caso você não forneça um. Por exemplo, se você fornecer um caminho de repositório de dados de`s3://amzn-s3-demo-bucket/my-prefix`, FSx for Lustre o interpretará como. `s3://amzn-s3-demo-bucket/my-prefix/` Duas associações de repositório de dados não podem ter caminhos de repositório de dados sobrepostos. Por exemplo, se um repositório de dados com o caminho `s3://amzn-s3-demo-bucket/my-prefix/` estiver vinculado ao sistema de arquivos, você não poderá criar outra associação de repositório de dados com o caminho `s3://amzn-s3-demo-bucket/my-prefix/my-sub-prefix` do repositório de dados. + **Importar metadados do repositório**: você pode selecionar essa opção para importar metadados de todo o repositório de dados imediatamente após criar a associação de repositório de dados. Se preferir, você poderá executar uma tarefa de importação do repositório de dados para carregar todos ou um subconjunto dos metadados do repositório de dados vinculado no sistema de arquivos a qualquer momento após a criação da associação de repositório de dados. + **Configurações de importação**: escolha uma política de importação que especifique o tipo de objetos atualizados (qualquer combinação de novos, alterados e excluídos) que serão importados automaticamente do bucket do S3 vinculado para o sistema de arquivos. A importação automática (nova, alterada, excluída) é ativada por padrão quando você adiciona um repositório de dados do console, mas é desativada por padrão ao usar a FSx API AWS CLI ou a Amazon. + **Configurações de importação**: escolha uma política de importação que especifique o tipo de objetos atualizados (qualquer combinação de novos, alterados e excluídos) que serão exportados automaticamente para o bucket do S3. A exportação automática (nova, alterada, excluída) é ativada por padrão quando você adiciona um repositório de dados do console, mas é desativada por padrão ao usar a FSx API AWS CLI ou a Amazon. As configurações do **caminho do sistema de arquivos** e do **caminho do repositório de dados** fornecem um mapeamento 1:1 entre os caminhos na Amazon FSx e as chaves de objeto no S3. **Topics** + [Como criar um link para um bucket do S3](create-linked-dra.md) + [Atualização das configurações de associação de repositório de dados](update-dra-settings.md) + [Exclusão de uma associação com um bucket do S3](delete-linked-dra.md) + [Visualização dos detalhes da associação de repositório de dados](view-dra-details.md) + [Estado do ciclo de vida da associação de repositório de dados](dra-lifecycles.md) + [Como trabalhar com buckets do Amazon S3 criptografados no lado do servidor](s3-server-side-encryption-support.md) # Como criar um link para um bucket do S3 Os procedimentos a seguir orientam você no processo de criação de uma associação de repositório de dados de um sistema de arquivos FSx for Lustre a um bucket S3 existente, usando o Console de gerenciamento da AWS e AWS Command Line Interface ().AWS CLI Para obter informações sobre como adicionar permissões a um bucket do S3 para vinculá-lo ao seu sistema de arquivos, consulte[Adição de permissões para usar repositórios de dados no Amazon S3](setting-up.md#fsx-adding-permissions-s3). **nota** Os repositórios de dados não podem ser vinculados a sistemas de arquivos que tenham backups de sistema de arquivos habilitados. Desative os backups antes da vinculação a um repositório de dados. ## Para vincular um bucket do S3 ao criar um sistema de arquivos (console) 1. Abra o FSx console da Amazon em [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/). 1. Siga o procedimento para a criação de um novo sistema de arquivos descrito na [Etapa 1: criar o sistema de arquivos do FSx para Lustre](getting-started.md#getting-started-step1) na seção de Conceitos básicos. 1. Abra a seção **Repositório de dados Import/Export - *opcional***. Por padrão, o recurso está desabilitado: 1. Escolha **Importar e exportar dados no S3**. 1. Na caixa de diálogo **Informações de associação de repositório de dados**, forneça informações para os campos a seguir. + **Caminho do sistema de arquivos**: insira o nome de um diretório de alto nível (como`/ns1`) ou subdiretório (como`/ns1/subdir`) dentro do sistema de FSx arquivos da Amazon que será associado ao repositório de dados do S3. A barra inicial no caminho é obrigatória. Duas associações de repositórios de dados não podem ter caminhos de sistema de arquivos sobrepostos. Por exemplo, se um repositório de dados estiver associado ao caminho do sistema de arquivos `/ns1`, você não poderá vincular outro repositório de dados ao caminho do sistema de arquivos `/ns1/ns2`. A configuração **Caminho do sistema de arquivos** deve ser exclusiva em todas as associações de repositório de dados do sistema de arquivos. + **Caminho do repositório de dados**: insira o caminho de um bucket ou prefixo do S3 existente a ser associado ao sistema de arquivos (por exemplo, `s3://amzn-s3-demo-bucket/my-prefix`). Duas associações de repositório de dados não podem ter caminhos de repositório de dados sobrepostos. A configuração **Caminho do repositório de dados** deve ser exclusiva em todas as associações de repositório de dados do sistema de arquivos. + **Importar metadados do repositório**: selecione essa propriedade para, opcionalmente, executar uma tarefa de importação do repositório de dados para importar metadados imediatamente após a criação do link. 1. Para **Configurações de importação: opcional**, defina uma **Política de importação** que determine como suas listagens de arquivos e diretórios são mantidas atualizadas à medida que você adiciona, altera ou exclui objetos em seu bucket do S3. Por exemplo, escolha **Novo** para importar metadados para seu sistema de arquivos de novos objetos criados no bucket do S3. Para obter mais informações sobre políticas de importação, consulte [Importação automática de atualizações do bucket do S3](autoimport-data-repo-dra.md). 1. Em **Política de exportação**, defina uma política de exportação que determine como seus arquivos são exportados para o bucket do S3 vinculado à medida que você adiciona, altera ou exclui objetos em seu sistema de arquivos. Por exemplo, escolha **Alterado** para exportar objetos cujo conteúdo ou metadados foram alterados em seu sistema de arquivos. Para obter mais informações sobre políticas de exportação, consulte [Exportação automática de atualizações para o bucket do S3](autoexport-data-repo-dra.md). 1. Prossiga para a próxima seção do assistente de criação do sistema de arquivos. ## Para vincular um bucket do S3 a um sistema de arquivos existente (console) 1. Abra o FSx console da Amazon em [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/). 1. No painel, escolha **Sistemas de arquivos** e selecione o sistema de arquivos para o qual você deseja criar uma associação de repositório de dados. 1. Escolha a guia **Repositório de dados**. 1. No painel **Associações de repositório de dados**, escolha **Criar associação de repositório de dados**. 1. Na caixa de diálogo **Informações de associação de repositório de dados**, forneça informações para os campos a seguir. + **Caminho do sistema de arquivos**: insira o nome de um diretório de alto nível (como`/ns1`) ou subdiretório (como`/ns1/subdir`) dentro do sistema de FSx arquivos da Amazon que será associado ao repositório de dados do S3. A barra inicial no caminho é obrigatória. Duas associações de repositórios de dados não podem ter caminhos de sistema de arquivos sobrepostos. Por exemplo, se um repositório de dados estiver associado ao caminho do sistema de arquivos `/ns1`, você não poderá vincular outro repositório de dados ao caminho do sistema de arquivos `/ns1/ns2`. A configuração **Caminho do sistema de arquivos** deve ser exclusiva em todas as associações de repositório de dados do sistema de arquivos. + **Caminho do repositório de dados**: insira o caminho de um bucket ou prefixo do S3 existente a ser associado ao sistema de arquivos (por exemplo, `s3://amzn-s3-demo-bucket/my-prefix`). Duas associações de repositório de dados não podem ter caminhos de repositório de dados sobrepostos. A configuração **Caminho do repositório de dados** deve ser exclusiva em todas as associações de repositório de dados do sistema de arquivos. + **Importar metadados do repositório**: selecione essa propriedade para, opcionalmente, executar uma tarefa de importação do repositório de dados para importar metadados imediatamente após a criação do link. 1. Para **Configurações de importação: opcional**, defina uma **Política de importação** que determine como suas listagens de arquivos e diretórios são mantidas atualizadas à medida que você adiciona, altera ou exclui objetos em seu bucket do S3. Por exemplo, escolha **Novo** para importar metadados para seu sistema de arquivos de novos objetos criados no bucket do S3. Para obter mais informações sobre políticas de importação, consulte [Importação automática de atualizações do bucket do S3](autoimport-data-repo-dra.md). 1. Em **Política de exportação**, defina uma política de exportação que determine como seus arquivos são exportados para o bucket do S3 vinculado à medida que você adiciona, altera ou exclui objetos em seu sistema de arquivos. Por exemplo, escolha **Alterado** para exportar objetos cujo conteúdo ou metadados foram alterados em seu sistema de arquivos. Para obter mais informações sobre políticas de exportação, consulte [Exportação automática de atualizações para o bucket do S3](autoexport-data-repo-dra.md). 1. Escolha **Criar**. ## Vincular um sistema de arquivos a um bucket do S3 (AWS CLI) O exemplo a seguir cria uma associação de repositório de dados que vincula um sistema de FSx arquivos da Amazon a um bucket do S3, com uma política de importação que importa todos os arquivos novos ou alterados para o sistema de arquivos e uma política de exportação que exporta arquivos novos, alterados ou excluídos para o bucket do S3 vinculado. + Para criar uma associação de repositório de dados, use o `create-data-repository-association` comando Amazon FSx CLI, conforme mostrado a seguir. ``` $ aws fsx create-data-repository-association \ --file-system-id fs-0123456789abcdef0 \ --file-system-path /ns1/path1/ \ --data-repository-path s3://amzn-s3-demo-bucket/myprefix/ \ --s3 "AutoImportPolicy={Events=[NEW,CHANGED,DELETED]},AutoExportPolicy={Events=[NEW,CHANGED,DELETED]}" ``` A Amazon FSx retorna imediatamente a descrição JSON do DRA. O DRA é criado de forma assíncrona. Você pode usar esse comando para criar uma associação de repositório de dados mesmo antes da conclusão da criação do sistema de arquivos. A solicitação será colocada na fila e a associação de repositório de dados será criada após a disponibilidade do sistema de arquivos. # Atualização das configurações de associação de repositório de dados Você pode atualizar as configurações de uma associação de repositório de dados existente usando a Console de gerenciamento da AWS AWS CLI, a e a FSx API da Amazon, conforme mostrado nos procedimentos a seguir. **nota** Você não pode atualizar o caminho `File system path` ou `Data repository path` de um DRA após a criação. Se quiser alterar o caminho `File system path` ou `Data repository path`, exclua o DRA e crie-o novamente. ## Atualizar as configurações de uma associação de repositório de dados existente (console) 1. Abra o FSx console da Amazon em [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/). 1. No painel, escolha **Sistemas de arquivos** e selecione o sistema de arquivos que você deseja gerenciar. 1. Escolha a guia **Repositório de dados**. 1. No painel **Associações de repositório de dados**, escolha a associação de repositório de dados que você deseja alterar. 1. Selecione **Atualizar**. Uma caixa de diálogo de edição é exibida para a associação de repositório de dados. 1. Para **Configurações de importação: opcional**, você pode atualizar a **Política de importação**. Para obter mais informações sobre políticas de importação, consulte [Importação automática de atualizações do bucket do S3](autoimport-data-repo-dra.md). 1. Para **Configurações de exportação: opcional**, você pode atualizar a política de exportação. Para obter mais informações sobre políticas de exportação, consulte [Exportação automática de atualizações para o bucket do S3](autoexport-data-repo-dra.md). 1. Selecione **Atualizar**. ## Atualizar as configurações de uma associação de repositório de dados (CLI) existente + Para atualizar uma associação de repositório de dados, use o `update-data-repository-association` comando Amazon FSx CLI, conforme mostrado a seguir. ``` $ aws fsx update-data-repository-association \ --association-id 'dra-872abab4b4503bfc2' \ --s3 "AutoImportPolicy={Events=[NEW,CHANGED,DELETED]},AutoExportPolicy={Events=[NEW,CHANGED,DELETED]}" ``` Depois de atualizar com sucesso as políticas de importação e exportação da associação do repositório de dados, a Amazon FSx retorna a descrição da associação atualizada do repositório de dados como JSON. # Exclusão de uma associação com um bucket do S3 Os procedimentos a seguir orientam você no processo de exclusão de uma associação de repositório de dados de um sistema de FSx arquivos existente da Amazon para um bucket S3 existente, usando o Console de gerenciamento da AWS e AWS Command Line Interface ().AWS CLI A exclusão da associação de repositório de dados desvincula o sistema de arquivos do bucket do S3. ## Excluir um link de um sistema de arquivos para um bucket do S3 (console) 1. Abra o FSx console da Amazon em [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/). 1. No painel, escolha **Sistemas de arquivos** e selecione o sistema de arquivos do qual você deseja excluir uma associação de repositório de dados. 1. Escolha a guia **Repositório de dados**. 1. No painel **Associações de repositório de dados**, escolha a associação que deseja excluir. 1. Em **Ações**, escolha **Excluir associação**. 1. Na caixa de diálogo **Excluir**, você pode escolher **Excluir dados no sistema de arquivos** para excluir fisicamente os dados no sistema de arquivos que correspondem à associação de repositório de dados. Escolha essa opção se você planeja criar uma nova associação de repositório de dados usando o mesmo caminho do sistema de arquivos, mas apontando para um prefixo de bucket do S3 diferente, ou se não precisar mais dos dados em seu sistema de arquivos. 1. Escolha **Excluir** para remover a associação de repositório de dados do sistema de arquivos. ## Excluir um link de um sistema de arquivos para um bucket do S3 (AWS CLI) O exemplo a seguir exclui uma associação de repositório de dados que vincula um sistema de FSx arquivos da Amazon a um bucket do S3. O parâmetro `--association-id` especifica o ID da associação de repositório de dados a ser excluída. + Para excluir uma associação de repositório de dados, use o `delete-data-repository-association` comando Amazon FSx CLI, conforme mostrado a seguir. ``` $ aws fsx delete-data-repository-association \ --association-id dra-872abab4b4503bfc \ --delete-data-in-file-system false ``` Depois de excluir com sucesso a associação do repositório de dados, a Amazon FSx retorna sua descrição como JSON. **Recriando DRAs com o mesmo caminho do sistema de arquivos** Não recomendamos excluir e recriar associações de repositórios de dados que usem o mesmo caminho do sistema de arquivos. Se você excluir um DRA e depois criar um novo DRA usando o mesmo caminho do sistema de arquivos, alguns arquivos poderão reter o estado do HSM do DRA excluído anteriormente. Se precisar exportar arquivos de um DRA recriado que foram gerenciados por um DRA excluído anteriormente, você precisa marcar esses arquivos como sujos usando o comando abaixo e, em seguida, executar uma tarefa de exportação do repositório de dados: ``` sudo lfs hsm_set --dirty file_path ``` # Visualização dos detalhes da associação de repositório de dados Você pode visualizar os detalhes de uma associação de repositório de dados usando o FSx console do Lustre AWS CLI, o e a API. Os detalhes incluem o ID de associação do DRA, o caminho do sistema de arquivos, o caminho do repositório de dados, as configurações de importação, as configurações de exportação, o status e o ID do sistema de arquivos associado. ## Visualizar detalhes do DRA (console) 1. Abra o FSx console da Amazon em [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/). 1. No painel, escolha **Sistemas de arquivos** e, em seguida, selecione o sistema de arquivos cujos detalhes de uma associação de repositório de dados você deseja visualizar. 1. Escolha a guia **Repositório de dados**. 1. No painel **Associações de repositório de dados**, escolha a associação do repositório de dados que deseja visualizar. A página **Resumo** é exibida, mostrando os detalhes do DRA. ![\[Página de FSx detalhes da Amazon de uma associação de repositórios de dados.\]](http://docs.aws.amazon.com/pt_br/fsx/latest/LustreGuide/images/dra-describe.png) ## Visualizar detalhes do DRA (CLI) + Para visualizar os detalhes de uma associação específica de repositório de dados, use o `describe-data-repository-associations` comando Amazon FSx CLI, conforme mostrado a seguir. ``` $ aws fsx describe-data-repository-associations \ --association-ids dra-872abab4b4503bfc2 ``` A Amazon FSx retorna a descrição da associação do repositório de dados como JSON. # Estado do ciclo de vida da associação de repositório de dados O estado do ciclo de vida da associação de repositório de dados fornece informações de status sobre um DRA específico. Uma associação de repositório de dados pode ter os seguintes **Estados do ciclo de vida**: + **Criação** — A Amazon FSx está criando a associação do repositório de dados entre o sistema de arquivos e o repositório de dados vinculado. O repositório de dados está indisponível. + **Disponível**: a associação de repositório de dados está disponível para uso. + **Atualizando**: a associação de repositório de dados está passando por uma atualização iniciada pelo cliente que pode afetar a disponibilidade. + **Excluindo**: a associação de repositório de dados está passando por uma exclusão iniciada pelo cliente. + **Configuração incorreta** — A Amazon FSx não pode importar automaticamente as atualizações do bucket do S3 nem exportar automaticamente as atualizações para o bucket do S3 até que a configuração da associação do repositório de dados seja corrigida. Um DRA pode apresentar o estado **Configuração incorreta** devido ao seguinte: + A Amazon FSx não tem as permissões necessárias do IAM para acessar o bucket do S3. + A configuração de notificação de FSx eventos no bucket do S3 é excluída ou modificada. + O bucket do S3 tem notificações de eventos existentes que se sobrepõem aos tipos de FSx eventos. Depois de resolver o problema subjacente, o DRA retorna automaticamente ao estado **Disponível** em 15 minutos, ou você pode acionar imediatamente a alteração de estado usando o AWS CLI comando [update-data-repository-association](https://docs.aws.amazon.com/cli/latest/reference/fsx/update-data-repository-association.html). + **Falha**: a associação de repositório de dados está em um estado terminal que não pode ser recuperado (por exemplo, porque o caminho do sistema de arquivos foi excluído ou o bucket do S3 foi excluído). Você pode visualizar o estado do ciclo de vida de uma associação de repositório de dados usando o FSx console da Amazon AWS Command Line Interface, o e a API da Amazon. FSx Para obter mais informações, consulte [Visualização dos detalhes da associação de repositório de dados](view-dra-details.md). # Como trabalhar com buckets do Amazon S3 criptografados no lado do servidor FSx for Lustre oferece suporte a buckets Amazon S3 que usam criptografia do lado do servidor com chaves gerenciadas pelo S3 (SSE-S3) e armazenadas em (SSE-KMS). AWS KMS keys AWS Key Management Service Se você quiser que FSx a Amazon criptografe dados ao gravar em seu bucket S3, você precisa definir a criptografia padrão em seu bucket S3 como SSE-S3 ou SSE-KMS. Para obter mais informações, consulte [Configuração da criptografia padrão](https://docs.aws.amazon.com/AmazonS3/latest/userguide/default-bucket-encryption.html) no *Guia do usuário do Amazon S3*. Ao gravar arquivos no seu bucket do S3, a Amazon FSx segue a política de criptografia padrão do seu bucket do S3. Por padrão, a Amazon FSx oferece suporte a buckets S3 criptografados usando SSE-S3. Se você quiser vincular seu sistema de FSx arquivos Amazon a um bucket S3 criptografado usando criptografia SSE-KMS, você precisa adicionar uma declaração à sua política de chaves gerenciadas pelo cliente que permita à Amazon criptografar e FSx descriptografar objetos em seu bucket S3 usando sua chave KMS. A declaração a seguir permite que um sistema de FSx arquivos específico da Amazon criptografe e descriptografe objetos para um bucket específico do S3,. *bucket\$1name* ``` { "Sid": "Allow access through S3 for the FSx SLR to use the KMS key on the objects in the given S3 bucket", "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::aws_account_id:role/aws-service-role/s3.data-source.lustre.fsx.amazonaws.com/AWSServiceRoleForFSxS3Access_fsx_file_system_id" }, "Action": [ "kms:Encrypt", "kms:Decrypt", "kms:ReEncrypt*", "kms:GenerateDataKey*", "kms:DescribeKey" ], "Resource": "*", "Condition": { "StringEquals": { "kms:CallerAccount": "aws_account_id", "kms:ViaService": "s3.bucket-region.amazonaws.com" }, "StringLike": { "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::bucket_name/*" } } } ``` **nota** Se você estiver usando um KMS com uma CMK para criptografar seu bucket do S3 com as chaves do bucket do S3 habilitadas, defina `EncryptionContext` como ARN do bucket, não o ARN do objeto, como neste exemplo: ``` "StringLike": { "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::bucket_name" } ``` A declaração de política a seguir permite que todos os sistemas de FSx arquivos da Amazon em sua conta sejam vinculados a um bucket específico do S3. ``` { "Sid": "Allow access through S3 for the FSx SLR to use the KMS key on the objects in the given S3 bucket", "Effect": "Allow", "Principal": { "AWS": "*" }, "Action": [ "kms:Encrypt", "kms:Decrypt", "kms:ReEncrypt*", "kms:GenerateDataKey*", "kms:DescribeKey" ], "Resource": "*", "Condition": { "StringEquals": { "kms:ViaService": "s3.bucket-region.amazonaws.com", "kms:CallerAccount": "aws_account_id" }, "StringLike": { "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::bucket_name/*" }, "ArnLike": { "aws:PrincipalArn": "arn:aws_partition:iam::aws_account_id:role/aws-service-role/s3.data-source.lustre.fsx.amazonaws.com/AWSServiceRoleForFSxS3Access_fs-*" } } } ``` ## Acessando buckets do Amazon S3 criptografados do lado do servidor em uma VPC diferente ou de uma VPC compartilhada Conta da AWS Depois de criar um sistema de arquivos FSx for Lustre vinculado a um bucket criptografado do Amazon S3, você deve então conceder à função vinculada `AWSServiceRoleForFSxS3Access_fs-01234567890` ao serviço (SLR) acesso à chave KMS usada para criptografar o bucket do S3 antes de ler ou gravar dados do bucket do S3 vinculado. Você pode usar um perfil do IAM que já tenha permissões para a chave do KMS. **nota** Essa função do IAM deve estar na conta na qual o sistema de arquivos FSx for Lustre foi criado (que é a mesma conta da SLR do S3), não na conta à qual a chave KMS/bucket do S3 pertence. Você usa a função do IAM para chamar a AWS KMS API a seguir para criar uma concessão para a SLR do S3 para que a SLR ganhe permissão para os objetos do S3. Para encontrar o ARN associado ao SLR, pesquise nos perfis do IAM usando o ID do sistema de arquivos como string de pesquisa. ``` $ aws kms create-grant --region fs_account_region \ --key-id arn:aws:kms:s3_bucket_account_region:s3_bucket_account:key/key_id \ --grantee-principal arn:aws:iam::fs_account_id:role/aws-service-role/s3.data-source.lustre.fsx.amazonaws.com/AWSServiceRoleForFSxS3Access_file-system-id \ --operations "Decrypt" "Encrypt" "GenerateDataKey" "GenerateDataKeyWithoutPlaintext" "CreateGrant" "DescribeKey" "ReEncryptFrom" "ReEncryptTo" ``` Para obter mais informações sobre funções vinculadas ao serviço, consulte [Usando funções vinculadas a serviços para a Amazon FSx](using-service-linked-roles.md). # Importação de alterações do repositório de dados Você pode importar alterações nos dados e nos metadados POSIX de um repositório de dados vinculado ao seu sistema de arquivos da Amazon FSx. Os metadados POSIX associados incluem propriedade, permissões e timestamps. Para importar alterações no sistema de arquivos, use um dos métodos a seguir: + Configure o sistema de arquivos para importar automaticamente arquivos novos, alterados ou excluídos do seu repositório de dados vinculado. Para obter mais informações, consulte [Importação automática de atualizações do bucket do S3](autoimport-data-repo-dra.md). + Selecione a opção para importar metadados ao criar uma associação de repositório de dados. Isso iniciará uma tarefa de importação do repositório de dados imediatamente após a criação da associação de repositório de dados. + Use uma tarefa de importação de repositório de dados sob demanda. Para obter mais informações, consulte [Como usar tarefas do repositório de dados para importar alterações](import-data-repo-task-dra.md). As tarefas de importação automática e importação do repositório de dados podem ser executadas ao mesmo tempo. Quando você ativa a importação automática para uma associação de repositório de dados, seu sistema de arquivos atualiza automaticamente os metadados do arquivo à medida que os objetos são criados, modificados ou excluídos no S3. Quando você seleciona a opção de importar metadados ao criar uma associação de repositório de dados, seu sistema de arquivos importa metadados para todos os objetos no repositório de dados. Quando você importa usando uma tarefa de importação de repositório de dados, seu sistema de arquivos importa apenas metadados de objetos que foram criados ou modificados desde a última importação. FSx for Lustre copia automaticamente o conteúdo de um arquivo do seu repositório de dados e o carrega no sistema de arquivos quando seu aplicativo acessa pela primeira vez o arquivo no sistema de arquivos. Essa movimentação de dados é gerenciada FSx pela for Lustre e é transparente para seus aplicativos. As leituras subsequentes desses arquivos são fornecidas diretamente do sistema de arquivos com latências inferiores a um milissegundo. Você também pode pré-carregar todo o sistema de arquivos ou um diretório dentro do sistema de arquivos. Para obter mais informações, consulte [Pré-carregamento de arquivos no sistema de arquivos](preload-file-contents-hsm-dra.md). Se você solicitar o pré-carregamento de vários arquivos simultaneamente, FSx o Lustre carrega arquivos do seu repositório de dados do Amazon S3 em paralelo. FSx for Lustre importa apenas objetos do S3 que tenham chaves de objeto compatíveis com POSIX. As tarefas de importação automática e importação do repositório de dados importam metadados POSIX. Para obter mais informações, consulte [Suporte a metadados POSIX para repositórios de dados](posix-metadata-support.md). **nota** FSx for Lustre não oferece suporte à importação de metadados para links simbólicos (links simbólicos) das classes de armazenamento S3 Glacier Flexible Retrieval e S3 Glacier Deep Archive. Metadados para objetos do S3 Glacier Flexible Retrieval ou do S3 Glacier Deep Archive que não são links simbólicos podem ser importados (ou seja, um inode é criado FSx no sistema de arquivos for Lustre com os metadados corretos). No entanto, para ler esses dados do sistema de arquivos, você deve primeiro restaurar o objeto S3 Glacier Flexible Retrieval ou S3 Glacier Deep Archive. A importação de dados de arquivos diretamente de objetos do Amazon S3 na classe de armazenamento S3 Glacier Flexible Retrieval ou S3 Glacier Deep Archive para o Lustre não é suportada. FSx # Importação automática de atualizações do bucket do S3 Você pode configurar o Lustre FSx para atualizar automaticamente os metadados no sistema de arquivos à medida que objetos são adicionados, alterados ou excluídos do seu bucket do S3. FSx for Lustre cria, atualiza ou exclui a listagem de arquivos e diretórios, correspondente à alteração no S3. Se o objeto alterado no bucket do S3 não contiver mais seus metadados, o FSx for Lustre manterá os valores atuais dos metadados do arquivo, incluindo as permissões atuais. **nota** O sistema de arquivos FSx for Lustre e o bucket S3 vinculado devem estar localizados no mesmo Região da AWS para importar atualizações automaticamente. Você pode configurar a importação automática ao criar a associação do repositório de dados e pode atualizar as configurações de importação automática a qualquer momento usando o console FSx de gerenciamento AWS CLI, o ou a AWS API. **nota** É possível configurar a importação e a exportação automáticas na mesma associação de repositório de dados. Este tópico descreve apenas o recurso de importação automática. **Importante** Se um objeto for modificado no S3 com todas as políticas de importação automática habilitadas e a exportação automática desabilitada, o conteúdo desse objeto sempre será importado para um arquivo correspondente no sistema de arquivos. Se um arquivo já existir no local de destino, ele será sobrescrito. Se um arquivo for modificado no sistema de arquivos e no S3, com todas as políticas de importação e exportação automáticas habilitadas, o arquivo no sistema de arquivos ou o objeto no S3 poderá ser substituído pelo outro. Não é garantido que uma edição posterior em um local substitua uma edição anterior em outro local. Se você modificar o mesmo arquivo no sistema de arquivos e no bucket do S3, deverá garantir a coordenação no nível do aplicativo para evitar esses conflitos. FSx for Lustre não evita gravações conflitantes em vários locais. A política de importação especifica como você deseja FSx que o Lustre atualize seu sistema de arquivos à medida que o conteúdo muda no bucket do S3 vinculado. Uma associação de repositório de dados pode ter uma das seguintes políticas de importação: + **Novo** — FSx o Lustre atualiza automaticamente os metadados do arquivo e do diretório somente quando novos objetos são adicionados ao repositório de dados vinculado do S3. + **Alterado** — FSx o Lustre atualiza automaticamente os metadados do arquivo e do diretório somente quando um objeto existente no repositório de dados é alterado. + **Excluído** — FSx o for Lustre atualiza automaticamente os metadados do arquivo e do diretório somente quando um objeto no repositório de dados for excluído. + **Qualquer combinação de Novo, Alterado e Excluído** — FSx for Lustre atualiza automaticamente os metadados do arquivo e do diretório quando qualquer uma das ações especificadas ocorre no repositório de dados do S3. Por exemplo, você pode especificar para que o sistema de arquivos seja atualizado quando um objeto for adicionado (**Novo**) ou removido (**Excluído**) no repositório do S3, mas não seja atualizado quando um objeto for alterado. + **Nenhuma política configurada** — FSx pois o Lustre não atualiza metadados de arquivos e diretórios no sistema de arquivos quando objetos são adicionados, alterados ou excluídos do repositório de dados do S3. Se você não configurar uma política de importação, a importação automática será desabilitada para a associação de repositório de dados. Você ainda pode importar manualmente as alterações de metadados usando uma tarefa de importação de repositório de dados, conforme descrito em [Como usar tarefas do repositório de dados para importar alterações](import-data-repo-task-dra.md). **Importante** A importação automática não sincronizará as seguintes ações do S3 com seu sistema de arquivos vinculado ao FSx Lustre: Exclusão de um objeto usando as expirações do ciclo de vida do objeto do S3 Exclusão permanente da versão atual do objeto em um bucket habilitado para versionamento Cancelamento da exclusão de um objeto em um bucket com versionamento habilitado Na maioria dos casos de uso, recomendamos que você configure uma política de importação de objeto **Novo**, **Alterado** e **Excluído**. Essa política garante que todas as atualizações feitas no repositório de dados vinculado do S3 sejam importadas automaticamente para o sistema de arquivos. Quando você define uma política de importação para atualizar os metadados do arquivo e do diretório do sistema de arquivos com base nas alterações no repositório de dados do S3 vinculado, o FSx for Lustre cria uma configuração de notificação de eventos no bucket vinculado do S3. A configuração de notificação de evento é chamada de `FSx`. Não modifique nem exclua a configuração de notificação de evento `FSx` no bucket do S3. Isso evitará a importação automática de metadados de arquivos e diretórios atualizados para seu sistema de arquivos. Quando FSx o Lustre atualiza uma lista de arquivos que foi alterada no repositório de dados vinculado do S3, ele substitui o arquivo local pela versão atualizada, mesmo que o arquivo esteja bloqueado para gravação. FSx for Lustre se esforça ao máximo para atualizar seu sistema de arquivos. FSx for Lustre não é possível atualizar o sistema de arquivos nas seguintes situações: + Se FSx for Lustre não tiver permissão para abrir o objeto S3 novo ou alterado. Nesse caso, FSx para Lustre, pula o objeto e continua. O estado do ciclo de vida do DRA não é afetado. + Se FSx for Lustre não tiver permissões em nível de bucket, como for. `GetBucketAcl` Isso fará com que o estado do ciclo de vida do repositório de dados fique com uma **Configuração incorreta**. Para obter mais informações, consulte [Estado do ciclo de vida da associação de repositório de dados](dra-lifecycles.md). + Se a configuração de notificação de evento `FSx` no bucket do S3 vinculado for excluída ou alterada. Isso fará com que o estado do ciclo de vida do repositório de dados fique com uma **Configuração incorreta**. Para obter mais informações, consulte [Estado do ciclo de vida da associação de repositório de dados](dra-lifecycles.md). Recomendamos que você [ative o registro em](cw-event-logging.md#manage-logging) CloudWatch Registros para registrar informações sobre arquivos ou diretórios que não puderam ser importados automaticamente. Os avisos e erros no log contêm informações sobre o motivo da falha. Para obter mais informações, consulte [Registros em log de eventos de repositório de dados](data-repo-event-logs.md). ## Pré-requisitos As seguintes condições são necessárias FSx para que o Lustre importe automaticamente arquivos novos, alterados ou excluídos do bucket S3 vinculado: + O sistema de arquivos e o bucket do S3 vinculado estejam localizados na mesma Região da AWS. + O bucket do S3 não tenha um **estado de ciclo de vida** configurado incorretamente. Para obter mais informações, consulte [Estado do ciclo de vida da associação de repositório de dados](dra-lifecycles.md). + Sua conta tenha as permissões necessárias para configurar e receber notificações de evento no bucket do S3 vinculado. ## Tipos de alterações de arquivo com suporte FSx for Lustre suporta a importação das seguintes alterações nos arquivos e diretórios que ocorrem no bucket S3 vinculado: + Alterações no conteúdo do arquivo + Alterações nos metadados de arquivos ou diretórios. + Alterações no destino ou nos metadados de links simbólicos. + Exclusões de arquivos e diretórios. Se você excluir um objeto no bucket vinculado do S3 que corresponde a um diretório no sistema de arquivos (ou seja, um objeto com um nome de chave que termina com uma barra), o FSx for Lustre excluirá o diretório correspondente no sistema de arquivos somente se ele estiver vazio. ## Atualização das configurações de importação Você pode definir as configurações de importação de um sistema de arquivos para um bucket do S3 vinculado ao criar a associação de repositório de dados. Para obter mais informações, consulte [Como criar um link para um bucket do S3](create-linked-dra.md). Você também pode atualizar as configurações de importação a qualquer momento, incluindo a política de importação. Para obter mais informações, consulte [Atualização das configurações de associação de repositório de dados](update-dra-settings.md). ## Monitoramento da importação automática Se a taxa de alteração em seu bucket do S3 exceder a taxa na qual a importação automática pode processar essas alterações, as alterações de metadados correspondentes importadas FSx para seu sistema de arquivos for Lustre serão atrasadas. Se isso ocorrer, você poderá usar a métrica `AgeOfOldestQueuedMessage` para monitorar a idade da alteração mais antiga que está aguardando para ser processada pela importação automática. Para obter mais informações sobre essa métrica, consulte [Métricas de repositório do FSx para Lustre S3](fs-metrics.md#auto-import-export-metrics). Se o atraso na importação de alterações de metadados exceder 14 dias (conforme medido usando a métrica `AgeOfOldestQueuedMessage`), as alterações no bucket do S3 que não foram processadas pela importação automática não serão importadas para o sistema de arquivos. Além disso, o ciclo de vida da associação de repositório de dados é marcado como **CONFIGURAÇÃO INCORRETA** e a importação automática é interrompida. Se você tiver a exportação automática ativada, a exportação automática continuará monitorando suas FSx alterações no sistema de arquivos do Lustre. No entanto, alterações adicionais não são sincronizadas do seu sistema de arquivos FSx for Lustre com o S3. Para retornar a associação de repositório de dados do estado de ciclo de vida **CONFIGURAÇÃO INCORRETA** para o estado **DISPONÍVEL**, você deve atualizar a associação de repositório de dados. Você pode atualizar sua associação de repositório de dados usando o comando [update-data-repository-association](https://docs.aws.amazon.com/cli/latest/reference/fsx/update-data-repository-association.html)CLI (ou a operação de API [UpdateDataRepositoryAssociation](https://docs.aws.amazon.com/fsx/latest/APIReference/API_UpdateDataRepositoryAssociation.html)correspondente). O único parâmetro de solicitação necessário é o `AssociationID` da associação de repositório de dados que você deseja atualizar. Depois que o estado do ciclo de vida da associação de repositório de dados for alterado para **DISPONÍVEL**, a importação automática (e a exportação automática, se habilitada) será reiniciada. Na reinicialização, a exportação automática retoma a sincronização das alterações do sistema de arquivos com o S3. [Para sincronizar os metadados de objetos novos e alterados no S3 com seu sistema de arquivos FSx for Lustre que não foram importados ou são de quando a associação do repositório de dados estava em um estado mal configurado, execute uma tarefa de importação do repositório de dados.](import-data-repo-task-dra.md) As tarefas de importação do repositório de dados não sincronizam as exclusões em seu bucket do S3 com seu sistema de arquivos FSx for Lustre. Se quiser sincronizar totalmente o S3 com seu sistema de arquivos (inclusive exclusões), você deve recriar seu sistema de arquivos. Para garantir que os atrasos na importação de alterações de metadados não excedam 14 dias, recomendamos que você defina um alarme na métrica `AgeOfOldestQueuedMessage` e reduza a atividade no bucket do S3 se a métrica `AgeOfOldestQueuedMessage` ultrapassar o limite do alarme. FSx Para um sistema de arquivos do Lustre conectado a um bucket do S3 com um único fragmento enviando continuamente o número máximo de alterações possíveis do S3, com apenas a importação automática em execução no sistema de arquivos do Lustre, a FSx importação automática pode processar um acúmulo de 7 horas de alterações do S3 em 14 dias. Além disso, com uma única ação do S3, você pode gerar mais alterações do que a importação automática processará em 14 dias. Exemplos desses tipos de ações incluem, mas não estão limitados a, uploads AWS Snowball para o S3 e exclusões em grande escala. Se você fizer uma alteração em grande escala no bucket do S3 que deseja sincronizar com o sistema de arquivos for Lustre, FSx para evitar que as alterações de importação automática excedam 14 dias, exclua o sistema de arquivos e recrie-o quando a alteração do S3 for concluída. Se sua `AgeOfOldestQueuedMessage` métrica estiver crescendo, revise seu bucket do S3 `GetRequests``PutRequests`,`PostRequests`,, e as `DeleteRequests` métricas em busca de alterações de atividade que causariam um aumento na taxa and/or de envio de alterações para importação automática. Para obter informações sobre as métricas disponíveis do S3, consulte [Monitoramento do Amazon S3](https://docs.aws.amazon.com/AmazonS3/latest/userguide/monitoring-overview.html) no *Guia do usuário do Amazon S3*. Para obter uma lista de todas as métricas do Lustre disponíveis FSx , consulte[Monitorar o com o Amazon CloudWatch](monitoring-cloudwatch.md). # Como usar tarefas do repositório de dados para importar alterações A tarefa de importação do repositório de dados importa metadados de objetos novos ou alterados no repositório de dados do S3, criando uma nova lista de arquivos ou diretórios para qualquer novo objeto no repositório de dados do S3. Para qualquer objeto que tenha sido alterado no repositório de dados, a listagem de arquivos ou diretórios correspondente é atualizada com os novos metadados. Nenhuma ação é executada para objetos que foram excluídos do repositório de dados. Use os procedimentos a seguir para importar alterações de metadados usando o FSx console e a CLI da Amazon. Observe que você pode usar uma tarefa de repositório de dados para várias DRAs. ## Importar alterações de metadados (console) 1. Abra o FSx console da Amazon em [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/). 1. No painel de navegação, escolha **Sistemas de arquivos** e, em seguida, escolha seu sistema de arquivos do Lustre. 1. Escolha a guia **Repositório de dados**. 1. No painel **Associações de repositório de dados**, escolha as associações de repositório de dados cuja tarefa de importação você deseja criar. 1. No menu **Ações**, escolha **Tarefa de importação**. Essa opção não estará disponível se o sistema de arquivos não estiver vinculado a um repositório de dados. A página **Criar tarefa de importação do repositório de dados** é exibida. 1. (Opcional) Especifique até 32 diretórios ou arquivos a serem importados dos buckets do S3 vinculados, fornecendo os caminhos para esses diretórios ou arquivos em **Caminhos de repositórios de dados a serem importados**. **nota** Se um caminho fornecido não for válido, a tarefa falhará. 1. (Opcional) Escolha **Habilitar** em **Relatório de conclusão** para gerar um relatório de conclusão da tarefa depois que a tarefa for concluída. Um *relatório de conclusão da tarefa* fornece detalhes sobre os arquivos processados pela tarefa que atendem ao escopo fornecido em **Escopo do relatório**. Para especificar o local para a Amazon FSx entregar o relatório, insira um caminho relativo em um repositório de dados S3 vinculado para o caminho do **relatório**. 1. Escolha **Criar**. Uma notificação na parte superior da página **Sistemas de arquivos** mostra a tarefa que você acabou de criar em andamento. Para ver o status e os detalhes da tarefa, role para baixo até o painel **Tarefas do repositório de dados** na guia **Repositório de dados** do sistema de arquivos. A ordem de classificação padrão mostra a tarefa mais recente no topo da lista. Para ver um resumo da tarefa nessa página, escolha **ID da tarefa** referente à tarefa que você acabou de criar. A página **Resumo** da tarefa é exibida. ## Importar alterações de metadados (CLI) + Use o comando [https://docs.aws.amazon.com/cli/latest/reference/fsx/create-data-repository-task.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/create-data-repository-task.html)CLI para importar alterações de metadados em seu sistema de arquivos FSx for Lustre. A operação de API correspondente é [https://docs.aws.amazon.com/fsx/latest/APIReference/API_CreateDataRepositoryTask.html](https://docs.aws.amazon.com/fsx/latest/APIReference/API_CreateDataRepositoryTask.html). ``` $ aws fsx create-data-repository-task \ --file-system-id fs-0123456789abcdef0 \ --type IMPORT_METADATA_FROM_REPOSITORY \ --paths s3://bucketname1/dir1/path1 \ --report Enabled=true,Path=s3://bucketname1/dir1/path1,Format=REPORT_CSV_20191124,Scope=FAILED_FILES_ONLY ``` Depois de criar com sucesso a tarefa do repositório de dados, a Amazon FSx retorna a descrição da tarefa como JSON. Depois de criar a tarefa para importar metadados do repositório de dados vinculado, você pode verificar o status da tarefa de importação do repositório de dados. Para obter mais informações sobre como visualizar tarefas do repositório de dados, consulte [Acesso a tarefas do repositório de dados](view-data-repo-tasks.md). # Pré-carregamento de arquivos no sistema de arquivos Opcionalmente, você pode pré-carregar conteúdos, arquivos ou diretórios individuais em seu sistema de arquivos. ## Importação de arquivos usando comandos do HSM A Amazon FSx copia dados do seu repositório de dados do Amazon S3 quando um arquivo é acessado pela primeira vez. Por causa dessa abordagem, a leitura ou gravação inicial em um arquivo incorre em uma pequena quantidade de latência. Se a aplicação for sensível a essa latência e você souber quais arquivos ou diretórios a aplicação precisa acessar, poderá pré-carregar o conteúdo de arquivos ou diretórios individuais. Faça isso usando o comando `hsm_restore` da seguinte maneira. Você pode usar o comando `hsm_action` (emitido com o utilitário `lfs` do usuário) para verificar se o conteúdo do arquivo terminou de ser carregado no sistema de arquivos. Um valor de retorno `NOOP` indica que o arquivo foi carregado com êxito. Execute os comandos a seguir em uma instância de computação com o sistema de arquivos montado. *path/to/file*Substitua pelo caminho do arquivo que você está pré-carregando em seu sistema de arquivos. ``` sudo lfs hsm_restore path/to/file sudo lfs hsm_action path/to/file ``` Você pode pré-carregar todo o sistema de arquivos ou um diretório inteiro dentro do sistema de arquivos usando os comandos a seguir. (O e comercial final faz com que um comando seja executado como um processo em segundo plano.) Se você solicitar o pré-carregamento de vários arquivos simultaneamente, a Amazon FSx carrega seus arquivos do seu repositório de dados Amazon S3 em paralelo. Se um arquivo já tiver sido carregado no sistema de arquivos, o comando `hsm_restore` não vai recarregá-lo. ``` nohup find local/directory -type f -print0 | xargs -0 -n 1 -P 8 sudo lfs hsm_restore & ``` **nota** Se o bucket do S3 vinculado for maior que o sistema de arquivos, você poderá importar todos os metadados de arquivos para seu sistema de arquivos. No entanto, você só pode carregar a quantidade real de dados de arquivo que caiba no espaço de armazenamento restante do sistema de arquivos. Você receberá uma mensagem de erro se tentar acessar os dados do arquivo quando não houver mais espaço de armazenamento no sistema de arquivos. Se isso ocorrer, será possível aumentar a capacidade de armazenamento conforme necessário. Para obter mais informações, consulte [Como gerenciar a capacidade de armazenamento](managing-storage-capacity.md). ## Etapa de validação Você pode executar o script bash listado abaixo para ajudá-lo a descobrir quantos arquivos ou objetos estão em um estado arquivado (liberado). Para melhorar o desempenho do script, especialmente em sistemas de arquivos com um grande número de arquivos, os encadeamentos da CPU são determinados automaticamente com base no arquivo `/proc/cpuproc`. Ou seja, você verá um desempenho mais rápido com uma instância Amazon EC2 com maior número de vCPUs. 1. Configure o script bash. ``` #!/bin/bash # Check if a directory argument is provided if [ $# -ne 1 ]; then echo "Usage: $0 /path/to/lustre/mount" exit 1 fi # Set the root directory from the argument ROOT_DIR="$1" # Check if the provided directory exists if [ ! -d "$ROOT_DIR" ]; then echo "Error: Directory $ROOT_DIR does not exist." exit 1 fi # Automatically detect number of CPUs and set threads if command -v nproc &> /dev/null; then THREADS=$(nproc) elif [ -f /proc/cpuinfo ]; then THREADS=$(grep -c ^processor /proc/cpuinfo) else echo "Unable to determine number of CPUs. Defaulting to 1 thread." THREADS=1 fi # Output file OUTPUT_FILE="released_objects_$(date +%Y%m%d_%H%M%S).txt" echo "Searching in $ROOT_DIR for all released objects using $THREADS threads" echo "This may take a while depending on the size of the filesystem..." # Find all released files in the specified lustre directory using parallel # If you get false positives for file names/paths that include the word 'released', # you can grep 'released exists archived' instead of just 'released' time sudo lfs find "$ROOT_DIR" -type f | \ parallel --will-cite -j "$THREADS" -n 1000 "sudo lfs hsm_state {} | grep released" > "$OUTPUT_FILE" echo "Search complete. Released objects are listed in $OUTPUT_FILE" echo "Total number of released objects: $(wc -l <"$OUTPUT_FILE")" ``` 1. Torne o script executável: ``` $ chmod +x find_lustre_released_files.sh ``` 1. Execute o script seguinte, como no exemplo a seguir: ``` $ ./find_lustre_released_files.sh /fsxl/sample Searching in /fsxl/sample for all released objects using 16 threads This may take a while depending on the size of the filesystem... real 0m9.906s user 0m1.502s sys 0m5.653s Search complete. Released objects are listed in released_objects_20241121_184537.txt Total number of released objects: 30000 ``` Se houver objetos liberados presentes, execute uma restauração em massa nos diretórios desejados para trazer os arquivos do S3 FSx para o Lustre, como no exemplo a seguir: ``` $ DIR=/path/to/lustre/mount $ nohup find $DIR -type f -print0 | xargs -0 -n 1 -P 8 sudo lfs hsm_restore & ``` Observe que `hsm_restore` demorará um pouco quando houver milhões de arquivos. # Exportação de alterações para o repositório de dados Você pode exportar alterações nos dados e alterações nos metadados POSIX do seu sistema de arquivos for Lustre FSx para um repositório de dados vinculado. Os metadados POSIX associados incluem propriedade, permissões e timestamps. Para exportar alterações do sistema de arquivos, use um dos métodos a seguir. + Configure o sistema de arquivos para exportar automaticamente arquivos novos, alterados ou excluídos para seu repositório de dados vinculado. Para obter mais informações, consulte [Exportação automática de atualizações para o bucket do S3](autoexport-data-repo-dra.md). + Use uma tarefa de exportação do repositório de dados sob demanda. Para obter mais informações, consulte [Como usar tarefas do repositório de dados para exportar alterações](export-data-repo-task-dra.md). As tarefas de exportação automática e exportação do repositório de dados não podem ser executadas ao mesmo tempo. **Importante** A exportação automática não sincronizará as seguintes operações de metadados em seu sistema de arquivos com o S3 se os objetos correspondentes estiverem armazenados na classe S3 Glacier Flexible Retrieval: chmod chown rename Quando você ativa a exportação automática em uma associação de repositório de dados, seu sistema de arquivos exporta automaticamente dados e metadados de arquivos à medida que eles são criados, modificados ou excluídos. Quando você exporta arquivos ou diretórios usando uma tarefa de exportação de repositório de dados, seu sistema de arquivos só exporta arquivos de dados e metadados que foram criados ou modificados desde a última exportação. As tarefas exportação automática e exportação do repositório de dados exportam metadados POSIX. Para obter mais informações, consulte [Suporte a metadados POSIX para repositórios de dados](posix-metadata-support.md). **Importante** Para garantir que FSx o Lustre possa exportar seus dados para o bucket do S3, eles devem ser armazenados em um formato compatível com UTF-8. As chaves de objeto do S3 têm um tamanho máximo de 1.024 bytes. FSx for Lustre não exportará arquivos cuja chave de objeto S3 correspondente tenha mais de 1.024 bytes. **nota** Todos os objetos criados pelas tarefas de exportação automática e exportação do repositório de dados são gravados usando a classe de armazenamento S3 Standard. **Topics** + [Exportação automática de atualizações para o bucket do S3](autoexport-data-repo-dra.md) + [Como usar tarefas do repositório de dados para exportar alterações](export-data-repo-task-dra.md) + [Exportação de arquivos usando comandos do HSM](exporting-files-hsm.md) # Exportação automática de atualizações para o bucket do S3 Você pode configurar seu FSx sistema de arquivos for Lustre para atualizar automaticamente o conteúdo de um bucket S3 vinculado à medida que os arquivos são adicionados, alterados ou excluídos no sistema de arquivos. FSx for Lustre cria, atualiza ou exclui o objeto no S3, correspondendo à alteração no sistema de arquivos. **nota** A exportação automática não está disponível FSx para sistemas de arquivos ou `Scratch 1` sistemas de arquivos Lustre 2.10. Você pode exportar para um repositório de dados que esteja no Região da AWS mesmo sistema de arquivos ou em um diferente Região da AWS. Você pode configurar a exportação automática ao criar a associação do repositório de dados e atualizar as configurações de exportação automática a qualquer momento usando o console FSx de gerenciamento AWS CLI, o e a AWS API. **Importante** Se um arquivo for modificado no sistema de arquivos com todas as políticas de exportação automática habilitadas e a importação automática desabilitada, o conteúdo desse objeto sempre será exportado para um objeto correspondente no S3. Se um objeto já existir no local de destino, ele será sobrescrito. Se um arquivo for modificado no sistema de arquivos e no S3, com todas as políticas de importação e exportação automáticas habilitadas, o arquivo no sistema de arquivos ou o objeto no S3 poderá ser substituído pelo outro. Não é garantido que uma edição posterior em um local substitua uma edição anterior em outro local. Se você modificar o mesmo arquivo no sistema de arquivos e no bucket do S3, deverá garantir a coordenação no nível do aplicativo para evitar esses conflitos. FSx for Lustre não evita gravações conflitantes em vários locais. A política de exportação especifica como você deseja FSx que o Lustre atualize seu bucket do S3 vinculado à medida que o conteúdo muda no sistema de arquivos. Uma associação de repositório de dados pode ter uma das seguintes políticas de exportação automática: + **Novo** — FSx o Lustre atualiza automaticamente o repositório de dados do S3 somente quando um novo arquivo, diretório ou link simbólico é criado no sistema de arquivos. + **Alterado** — FSx o Lustre atualiza automaticamente o repositório de dados do S3 somente quando um arquivo existente no sistema de arquivos é alterado. Para alterações no conteúdo do arquivo, o arquivo deve ser fechado antes de ser propagado para o repositório do S3. As alterações de metadados (renomeação, propriedade, permissões e timestamps) são propagadas quando a operação é concluída. Para renomear alterações (incluindo movimentações), o objeto do S3 existente (pré-renomeado) é excluído e um novo objeto do S3 é criado com o novo nome. + **Excluído** — FSx o Lustre atualiza automaticamente o repositório de dados do S3 somente quando um arquivo, diretório ou link simbólico é excluído do sistema de arquivos. + **Qualquer combinação de Novo, Alterado e Excluído** — FSx for Lustre atualiza automaticamente o repositório de dados do S3 quando qualquer uma das ações especificadas ocorre no sistema de arquivos. Por exemplo, você pode especificar para que o repositório do S3 seja atualizado quando um arquivo for adicionado (**Novo**) ou removido (**Excluído**) no sistema de arquivos, mas não quando um arquivo for alterado. + **Nenhuma política configurada** — FSx pois o Lustre não atualiza automaticamente o repositório de dados do S3 quando os arquivos são adicionados, alterados ou excluídos do sistema de arquivos. Se você não configurar uma política de exportação, a exportação automática será desabilitada. Você ainda pode exportar manualmente as alterações usando uma tarefa de exportação de repositório de dados, conforme descrito em [Como usar tarefas do repositório de dados para exportar alterações](export-data-repo-task-dra.md). Na maioria dos casos de uso, recomendamos que você configure uma política de exportação de objeto **Novo**, **Alterado** e **Excluído**. Essa política garante que todas as atualizações feitas no sistema de arquivos sejam exportadas automaticamente para o repositório de dados do S3 vinculado. Recomendamos que você [ative o registro no](cw-event-logging.md#manage-logging) CloudWatch Logs para registrar informações sobre quaisquer arquivos ou diretórios que não puderam ser exportados automaticamente. Os avisos e erros no log contêm informações sobre o motivo da falha. Para obter mais informações, consulte [Registros em log de eventos de repositório de dados](data-repo-event-logs.md). **nota** Embora a hora de acesso (`atime`) e a hora de modificação (`mtime`) sejam sincronizadas com o S3 durante as operações de exportação, alterações isoladas nesses carimbos de data/hora não acionam a exportação automática. Somente alterações no conteúdo do arquivo ou em outros metadados (como propriedade ou permissões) acionarão uma exportação automática para o S3. ## Atualização de configurações de exportação Você pode definir as configurações de exportação de um sistema de arquivos para um bucket do S3 vinculado ao criar a associação de repositório de dados. Para obter mais informações, consulte [Como criar um link para um bucket do S3](create-linked-dra.md). Você também pode atualizar as configurações de exportação a qualquer momento, incluindo a política de exportação. Para obter mais informações, consulte [Atualização das configurações de associação de repositório de dados](update-dra-settings.md). ## Monitoramento da exportação automática Você pode monitorar associações de repositórios de dados habilitadas para exportação automática usando um conjunto de métricas publicadas na Amazon CloudWatch. A métrica `AgeOfOldestQueuedMessage` representa a idade da atualização mais antiga feita no sistema de arquivos que ainda não foi exportada para o S3. Se a métrica `AgeOfOldestQueuedMessage` ficar acima de zero por um longo período de tempo, recomendamos reduzir temporariamente o número de alterações (especialmente as renomeações de diretórios) que estão sendo feitas ativamente no sistema de arquivos até que a fila de mensagens seja reduzida. Para obter mais informações, consulte [Métricas de repositório do FSx para Lustre S3](fs-metrics.md#auto-import-export-metrics). **Importante** Ao excluir uma associação de repositório de dados ou sistema de arquivos com a exportação automática habilitada, primeiro verifique se `AgeOfOldestQueuedMessage` é zero, o que significa que não há alterações que ainda não foram exportadas. Se `AgeOfOldestQueuedMessage` for maior que zero quando você excluir sua associação de repositório de dados ou sistema de arquivos, as alterações que ainda não foram exportadas não chegarão ao bucket do S3 vinculado. Para evitar isso, espere `AgeOfOldestQueuedMessage` chegar a zero antes de excluir sua associação de repositório de dados ou sistema de arquivos. # Como usar tarefas do repositório de dados para exportar alterações A tarefa de exportação do repositório de dados exporta arquivos novos ou alterados em seu sistema de arquivos. Ela cria um novo objeto no S3 para qualquer novo arquivo no sistema de arquivos. Para qualquer arquivo que tenha sido modificado no sistema de arquivos ou cujos metadados tenham sido modificados, o objeto correspondente no S3 é substituído por um novo objeto com os novos dados e metadados. Nenhuma ação é executada para arquivos que foram excluídos do sistema de arquivos. **nota** Tenha o seguinte em mente ao usar tarefas de exportação de repositório de dados: Não há suporte para o uso de curingas ao incluir ou excluir arquivos para exportação. Ao executar operações `mv`, o arquivo de destino após ser movido será exportado para o S3, mesmo que não haja alteração de UID, GID, permissão ou conteúdo. Use os procedimentos a seguir para exportar alterações de dados e metadados no sistema de arquivos para buckets S3 vinculados usando o console FSx e a CLI da Amazon. Observe que você pode usar uma tarefa de repositório de dados para várias DRAs. ## Exportar alterações (console) 1. Abra o FSx console da Amazon em [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/). 1. No painel de navegação, escolha **Sistemas de arquivos** e, em seguida, escolha seu sistema de arquivos do Lustre. 1. Escolha a guia **Repositório de dados**. 1. No painel **Associações de repositórios de dados**, escolha a associação de repositório de dados para a qual você deseja criar a tarefa de exportação. 1. Em **Ações**, escolha **Tarefa de exportação**. Essa opção não estará disponível se o sistema de arquivos não estiver vinculado a um repositório de dados no S3. A caixa de diálogo **Criar tarefa de exportação do repositório de dados** é exibida. 1. (Opcional) Especifique até 32 diretórios ou arquivos para exportar do seu sistema de FSx arquivos da Amazon fornecendo os caminhos para esses diretórios ou arquivos em Caminhos **do sistema de arquivos a serem** exportados. Os caminhos fornecidos precisam ser relativos ao ponto de montagem do sistema de arquivos. Se o ponto de montagem for `/mnt/fsx` e `/mnt/fsx/path1` for um diretório ou arquivo no sistema de arquivos que você deseja exportar, o caminho a ser fornecido será `path1`. **nota** Se um caminho fornecido não for válido, a tarefa falhará. 1. (Opcional) Escolha **Habilitar** em **Relatório de conclusão** para gerar um relatório de conclusão da tarefa depois que a tarefa for concluída. Um *relatório de conclusão da tarefa* fornece detalhes sobre os arquivos processados pela tarefa que atendem ao escopo fornecido em **Escopo do relatório**. Para especificar o local para a Amazon FSx entregar o relatório, insira um caminho relativo no repositório de dados S3 vinculado ao sistema de arquivos para Caminho do **relatório**. 1. Escolha **Criar**. Uma notificação na parte superior da página **Sistemas de arquivos** mostra a tarefa que você acabou de criar em andamento. Para ver o status e os detalhes da tarefa, role para baixo até o painel **Tarefas do repositório de dados** na guia **Repositório de dados** do sistema de arquivos. A ordem de classificação padrão mostra a tarefa mais recente no topo da lista. Para ver um resumo da tarefa nessa página, escolha **ID da tarefa** referente à tarefa que você acabou de criar. A página **Resumo** da tarefa é exibida. ## Exportar alterações (CLI) + Use o comando [https://docs.aws.amazon.com/cli/latest/reference/fsx/create-data-repository-task.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/create-data-repository-task.html)CLI para exportar alterações de dados e metadados em seu sistema de arquivos FSx for Lustre. A operação de API correspondente é [https://docs.aws.amazon.com/fsx/latest/APIReference/API_CreateDataRepositoryTask.html](https://docs.aws.amazon.com/fsx/latest/APIReference/API_CreateDataRepositoryTask.html). ``` $ aws fsx create-data-repository-task \ --file-system-id fs-0123456789abcdef0 \ --type EXPORT_TO_REPOSITORY \ --paths path1,path2/file1 \ --report Enabled=true ``` Depois de criar com sucesso a tarefa do repositório de dados, a Amazon FSx retorna a descrição da tarefa como JSON, conforme mostrado no exemplo a seguir. ``` { "Task": { "TaskId": "task-123f8cd8e330c1321", "Type": "EXPORT_TO_REPOSITORY", "Lifecycle": "PENDING", "FileSystemId": "fs-0123456789abcdef0", "Paths": ["path1", "path2/file1"], "Report": { "Path":"s3://dataset-01/reports", "Format":"REPORT_CSV_20191124", "Enabled":true, "Scope":"FAILED_FILES_ONLY" }, "CreationTime": "1545070680.120", "ClientRequestToken": "10192019-drt-12", "ResourceARN": "arn:aws:fsx:us-east-1:123456789012:task:task-123f8cd8e330c1321" } } ``` Depois de criar a tarefa para exportar dados para o repositório de dados vinculado, você pode verificar o status da tarefa de exportação do repositório de dados. Para obter mais informações sobre como visualizar tarefas do repositório de dados, consulte [Acesso a tarefas do repositório de dados](view-data-repo-tasks.md). # Exportação de arquivos usando comandos do HSM **nota** Para exportar alterações nos dados e metadados do seu FSx sistema de arquivos for Lustre para um repositório de dados durável no Amazon S3, use o recurso de exportação automática descrito em. [Exportação automática de atualizações para o bucket do S3](autoexport-data-repo-dra.md) Você também pode usar as tarefas de exportação do repositório de dados, descritas em [Como usar tarefas do repositório de dados para exportar alterações](export-data-repo-task-dra.md). Para exportar um arquivo individual para seu repositório de dados e verificar se o arquivo foi exportado com êxito para seu repositório de dados, você pode executar os comandos mostrados a seguir. Um valor de retorno `states: (0x00000009) exists archived` indica que o arquivo foi exportado com êxito. ``` sudo lfs hsm_archive path/to/export/file sudo lfs hsm_state path/to/export/file ``` **nota** Você deve executar os comandos do HSM (como `hsm_archive`) como usuário raiz ou usando `sudo`. Para exportar todo o sistema de arquivos ou um diretório inteiro no sistema de arquivos, execute os comandos a seguir. Se você exportar vários arquivos simultaneamente, o Amazon FSx for Lustre exportará seus arquivos para o repositório de dados do Amazon S3 em paralelo. ``` nohup find local/directory -type f -print0 | xargs -0 -n 1 sudo lfs hsm_archive & ``` Para determinar se a exportação foi concluída, execute o comando a seguir. ``` find path/to/export/file -type f -print0 | xargs -0 -n 1 -P 8 sudo lfs hsm_state | awk '!/\/ || /\/' | wc -l ``` Se o comando retornar com zero arquivo restante, a exportação estará concluída. # Tarefas de repositório de dados Ao usar tarefas de importação e exportação do repositório de dados, você pode gerenciar a transferência de dados e metadados entre seu sistema de arquivos FSx for Lustre e qualquer um de seus repositórios de dados duráveis no Amazon S3. *As tarefas do repositório de dados otimizam as* transferências de dados e metadados entre seu sistema de arquivos FSx for Lustre e um repositório de dados no S3. Uma maneira de fazer isso é rastreando as alterações entre o sistema de FSx arquivos da Amazon e o repositório de dados vinculado. Eles também fazem isso usando técnicas de transferência paralela para transferir dados em velocidades de até centenas de GBps. Você cria e visualiza tarefas do repositório de dados usando o FSx console da Amazon AWS CLI, o e a FSx API da Amazon. As tarefas de repositório de dados mantêm os metadados do Portable Operating System Interface (POSIX) do sistema de arquivos, incluindo as propriedades, as permissões e os carimbos de data/hora. Como as tarefas mantêm esses metadados, você pode implementar e manter controles de acesso entre o sistema de arquivos FSx for Lustre e seus repositórios de dados vinculados. Você pode usar uma tarefa de repositório de dados de liberação para liberar espaço no sistema de arquivos para novos arquivos ao liberar arquivos exportados para o Amazon S3. O conteúdo dos arquivos liberados é removido, mas os metadados dos arquivos liberados permanecem no sistema de arquivos. Os usuários e as aplicações ainda podem acessar um arquivo liberado ao realizar novamente a leitura do arquivo. Quando o usuário ou o aplicativo lê o arquivo lançado, o FSx for Lustre recupera de forma transparente o conteúdo do arquivo do Amazon S3. ## Tipos de tarefas de repositório de dados Existem três tipos de tarefas de repositório de dados: + Tarefas de **exportação** de repositório de dados exportam do seu sistema de arquivos do Lustre para um bucket do S3 vinculado. + Tarefas de **importação** de repositório de dados importam de um bucket do S3 vinculado para o seu sistema de arquivos do Lustre. + Tarefas de **liberação** de repositório de dados liberam arquivos exportados para um bucket do S3 vinculado do seu sistema de arquivos do Lustre. Para obter mais informações, consulte [Como criar uma tarefa de repositório de dados](creating-data-repo-task.md). **Topics** + [Tipos de tarefas de repositório de dados](#data-repo-task-types) + [Noções básicas sobre o status e os detalhes de uma tarefa](data-repo-task-status.md) + [Como usar tarefas de repositório de dados](managing-data-repo-task.md) + [Como trabalhar com relatórios de conclusão de tarefas](task-completion-report.md) + [Solução de problemas para falhas de tarefas de repositório de dados](failed-tasks.md) # Noções básicas sobre o status e os detalhes de uma tarefa Uma tarefa de repositório de dados tem informações descritivas e um status do ciclo de vida. Depois que uma tarefa é criada, você pode visualizar as seguintes informações detalhadas para uma tarefa de repositório de dados usando o FSx console, a CLI ou a API da Amazon: + O tipo de tarefa: + `EXPORT_TO_REPOSITORY` indica uma tarefa de exportação. + `IMPORT_METADATA_FROM_REPOSITORY` indica uma tarefa de importação. + `RELEASE_DATA_FROM_FILESYSTEM` indica uma tarefa de liberação. + O sistema de arquivos em que a tarefa foi executada. + O horário de criação da tarefa. + O status da tarefa. + O número total de arquivos que a tarefa processou. + O número total de arquivos que a tarefa processou com êxito. + O número total de arquivos que a tarefa não conseguiu processar. Este valor é maior que zero quando o status da tarefa for COM FALHA. Informações detalhadas sobre os arquivos que falharam estão disponíveis em um relatório de conclusão da tarefa. Para obter mais informações, consulte [Como trabalhar com relatórios de conclusão de tarefas](task-completion-report.md). + O horário em que a tarefa foi iniciada. + O horário em que o status da tarefa foi atualizado pela última vez. O status da tarefa é atualizado a cada 30 segundos. Uma tarefa de repositório de dados pode ter um dos seguintes status: + **PENDING** indica que FSx a Amazon não iniciou a tarefa. + **EXECUTAR** indica que a Amazon FSx está processando a tarefa. + **FAILED** indica que a Amazon FSx não processou a tarefa com sucesso. Por exemplo, pode haver arquivos que a tarefa não conseguiu processar. Os detalhes sobre a tarefa fornecem mais informações sobre a falha. Para obter mais informações sobre tarefas com falha, consulte [Solução de problemas para falhas de tarefas de repositório de dados](failed-tasks.md). + **SUCCEEDED** indica que a Amazon FSx concluiu a tarefa com sucesso. + **CANCELADA** indica que a tarefa foi cancelada e não concluída. + **CANCELAR** indica que a Amazon FSx está cancelando a tarefa. As informações da tarefa do repositório de dados são mantidas por 14 dias após a conclusão da tarefa. Para obter mais informações sobre como acessar tarefas de repositório de dados existentes, consulte [Acesso a tarefas do repositório de dados](view-data-repo-tasks.md). # Como usar tarefas de repositório de dados Nas seções a seguir, você encontrará informações detalhadas sobre como gerenciar as tarefas do repositório de dados. Você pode criar, duplicar, visualizar detalhes e cancelar tarefas do repositório de dados usando o FSx console, a CLI ou a API da Amazon. **Topics** + [Como criar uma tarefa de repositório de dados](creating-data-repo-task.md) + [Duplicação de uma tarefa](recreate-task.md) + [Acesso a tarefas do repositório de dados](view-data-repo-tasks.md) + [Cancelamento de uma tarefa de repositório de dados](cancel-data-repo-task.md) # Como criar uma tarefa de repositório de dados Você pode criar uma tarefa de repositório de dados usando o FSx console, a CLI ou a API da Amazon. Após criar uma tarefa, você poderá visualizar o progresso e o status da tarefa ao usar o console, a CLI ou a API. Você pode criar três tipos de tarefas de repositório de dados: + A tarefa de **exportação** de repositório de dados exporta do seu sistema de arquivos do Lustre para um bucket do S3 vinculado. Para obter mais informações, consulte [Como usar tarefas do repositório de dados para exportar alterações](export-data-repo-task-dra.md). + A tarefa de **importação** de repositório de dados importa de um bucket do S3 vinculado para o seu sistema de arquivos do Lustre. Para obter mais informações, consulte [Como usar tarefas do repositório de dados para importar alterações](import-data-repo-task-dra.md). + A tarefa de **liberação** de repositório de dados libera arquivos do seu sistema de arquivos do Lustre que foram exportados para um bucket do S3 vinculado. Para obter mais informações, consulte [Como usar tarefas do repositório de dados para lançar arquivos](release-files-task.md). # Duplicação de uma tarefa Você pode duplicar uma tarefa de repositório de dados existente no console da Amazon FSx . Ao duplicar uma tarefa, uma cópia exata da tarefa existente será exibida na página **Criar tarefa de importação do repositório de dados** ou na página **Criar tarefa de exportação do repositório de dados**. Você pode fazer alterações nos caminhos para exportar ou importar, conforme necessário, antes de criar e executar a nova tarefa. **nota** Uma solicitação para executar uma tarefa duplicada falhará se uma cópia exata dessa tarefa já estiver em execução. Uma cópia exata de uma tarefa que já está em execução contém o mesmo caminho ou os mesmos caminhos do sistema de arquivos no caso de uma tarefa de exportação ou os mesmos caminhos do repositório de dados no caso de uma tarefa de importação. É possível duplicar uma tarefa usando a visualização de detalhes da tarefa, no painel **Tarefas de repositório de dados** na guia **Repositório de dados** do sistema de arquivos, ou usando a página **Tarefas de repositório de dados**. **Como duplicar uma tarefa existente** 1. Escolha uma tarefa no painel **Tarefas de repositório de dados** na guia **Repositório de dados** do sistema de arquivos. 1. Escolha **Duplicar tarefa**. Dependendo do tipo de tarefa que você escolher, a página **Criar tarefa de importação do repositório de dados** ou **Criar tarefa de exportação do repositório de dados** será exibida. Todas as configurações da nova tarefa são idênticas às da tarefa que você está duplicando. 1. Altere ou adicione os caminhos dos quais você deseja importar ou exportar. 1. Escolha **Criar**. # Acesso a tarefas do repositório de dados Depois de criar uma tarefa de repositório de dados, você pode acessar a tarefa e todas as tarefas existentes na sua conta usando o FSx console, a CLI e a API da Amazon. A Amazon FSx fornece as seguintes informações detalhadas sobre tarefas: + Todas as tarefas existentes. + Todas as tarefas para um sistema de arquivos específico. + Todas as tarefas para uma associação de repositório de dados específica. + Todas as tarefas com um status do ciclo de vida específico. Para obter mais informações sobre os valores de status do ciclo de vida da tarefa, consulte [Noções básicas sobre o status e os detalhes de uma tarefa](data-repo-task-status.md). Você pode acessar todas as tarefas existentes do repositório de dados em sua conta usando o FSx console, a CLI ou a API da Amazon, conforme descrito a seguir. ## Como visualizar as tarefas de repositório de dados e os detalhes das tarefas (console) 1. Abra o FSx console da Amazon em [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/). 1. No painel de navegação, escolha o sistema de arquivos para o qual você deseja visualizar as tarefas de repositório de dados. A página de detalhes do sistema de arquivos será exibida. 1. Na página de detalhes do sistema de arquivos, escolha a guia **Repositório de dados**. Quaisquer tarefas para este sistema de arquivos aparecem no painel **Tarefas de repositório de dados**. 1. Para visualizar os detalhes de uma tarefa, escolha **ID da tarefa** ou **Nome da tarefa** no painel **Tarefas de repositório de dados**. A página de detalhes da tarefa será exibida. ![\[Página Tarefas de repositório de dados\]](http://docs.aws.amazon.com/pt_br/fsx/latest/LustreGuide/images/task-details-rprt.png) ## Como recuperar as tarefas de repositório de dados e os detalhes das tarefas (CLI) Usando o comando Amazon FSx [https://docs.aws.amazon.com/cli/latest/reference/fsx/describe-data-repository-tasks.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/describe-data-repository-tasks.html)CLI, você pode visualizar todas as tarefas do repositório de dados e seus detalhes em sua conta. [https://docs.aws.amazon.com/fsx/latest/APIReference/API_DescribeDataRepositoryTasks.html](https://docs.aws.amazon.com/fsx/latest/APIReference/API_DescribeDataRepositoryTasks.html)é o comando equivalente da API. + Use o comando apresentado a seguir para visualizar todos os objetos da tarefa de repositório de dados em sua conta. ``` aws fsx describe-data-repository-tasks ``` Se o comando for bem-sucedido, a Amazon FSx retornará a resposta no formato JSON. ``` { "DataRepositoryTasks": [ { "Lifecycle": "EXECUTING", "Paths": [], "Report": { "Path":"s3://dataset-01/reports", "Format":"REPORT_CSV_20191124", "Enabled":true, "Scope":"FAILED_FILES_ONLY" }, "StartTime": 1591863862.288, "EndTime": , "Type": "EXPORT_TO_REPOSITORY", "Tags": [], "TaskId": "task-0123456789abcdef3", "Status": { "SucceededCount": 4255, "TotalCount": 4200, "FailedCount": 55, "LastUpdatedTime": 1571863875.289 }, "FileSystemId": "fs-0123456789a7", "CreationTime": 1571863850.075, "ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef3" }, { "Lifecycle": "FAILED", "Paths": [], "Report": { "Enabled": false, }, "StartTime": 1571863862.288, "EndTime": 1571863905.292, "Type": "EXPORT_TO_REPOSITORY", "Tags": [], "TaskId": "task-0123456789abcdef1", "Status": { "SucceededCount": 1153, "TotalCount": 1156, "FailedCount": 3, "LastUpdatedTime": 1571863875.289 }, "FileSystemId": "fs-0123456789abcdef0", "CreationTime": 1571863850.075, "ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef1" }, { "Lifecycle": "SUCCEEDED", "Paths": [], "Report": { "Path":"s3://dataset-04/reports", "Format":"REPORT_CSV_20191124", "Enabled":true, "Scope":"FAILED_FILES_ONLY" }, "StartTime": 1571863862.288, "EndTime": 1571863905.292, "Type": "EXPORT_TO_REPOSITORY", "Tags": [], "TaskId": "task-04299453935122318", "Status": { "SucceededCount": 258, "TotalCount": 258, "FailedCount": 0, "LastUpdatedTime": 1771848950.012, }, "FileSystemId": "fs-0123456789abcdef0", "CreationTime": 1771848950.012, "ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef0" } ] } ``` ## Visualização de tarefas por sistema de arquivos Você pode visualizar todas as tarefas de um sistema de arquivos específico usando o FSx console, a CLI ou a API da Amazon, conforme descrito a seguir. ### Como visualizar tarefas por sistema de arquivos (console) 1. Escolha **Sistemas de arquivos** no painel de navegação. A página **Sistema de arquivos** será exibida. 1. Escolha o sistema de arquivos para o qual você deseja visualizar as tarefas de repositório de dados. A página de detalhes do sistema de arquivos será exibida. 1. Na página de detalhes do sistema de arquivos, escolha a guia **Repositório de dados**. Quaisquer tarefas para este sistema de arquivos aparecem no painel **Tarefas de repositório de dados**. ### Como recuperar tarefas por sistema de arquivos (CLI) + Use o comando apresentado a seguir para visualizar todas as tarefas do repositório de dados para o sistema de arquivos `fs-0123456789abcdef0`. ``` aws fsx describe-data-repository-tasks \ --filters Name=file-system-id,Values=fs-0123456789abcdef0 ``` Se o comando for bem-sucedido, a Amazon FSx retornará a resposta no formato JSON. ``` { "DataRepositoryTasks": [ { "Lifecycle": "FAILED", "Paths": [], "Report": { "Path":"s3://dataset-04/reports", "Format":"REPORT_CSV_20191124", "Enabled":true, "Scope":"FAILED_FILES_ONLY" }, "StartTime": 1571863862.288, "EndTime": 1571863905.292, "Type": "EXPORT_TO_REPOSITORY", "Tags": [], "TaskId": "task-0123456789abcdef1", "Status": { "SucceededCount": 1153, "TotalCount": 1156, "FailedCount": 3, "LastUpdatedTime": 1571863875.289 }, "FileSystemId": "fs-0123456789abcdef0", "CreationTime": 1571863850.075, "ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef1" }, { "Lifecycle": "SUCCEEDED", "Paths": [], "Report": { "Enabled": false, }, "StartTime": 1571863862.288, "EndTime": 1571863905.292, "Type": "EXPORT_TO_REPOSITORY", "Tags": [], "TaskId": "task-0123456789abcdef0", "Status": { "SucceededCount": 258, "TotalCount": 258, "FailedCount": 0, "LastUpdatedTime": 1771848950.012, }, "FileSystemId": "fs-0123456789abcdef0", "CreationTime": 1771848950.012, "ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef0" } ] } ``` # Cancelamento de uma tarefa de repositório de dados É possível cancelar uma tarefa de repositório de dados enquanto ela estiver no estado PENDENTE ou EM EXECUÇÃO. Quando você cancela uma tarefa, ocorre o seguinte: + A Amazon FSx não processa nenhum arquivo que esteja na fila para ser processado. + FSx A Amazon continua processando todos os arquivos que estão atualmente em processamento. + A Amazon FSx não reverte nenhum arquivo que a tarefa já tenha processado. ## Como cancelar uma tarefa de repositório de dados (console) 1. Abra o FSx console da Amazon em [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/). 1. Clique no sistema de arquivos para o qual deseja cancelar uma tarefa de repositório de dados. 1. Abra a guia **Repositório de dados** e role para baixo para visualizar o painel **Tarefas de repositório de dados**. 1. Escolha o **ID da tarefa** ou o **Nome da tarefa** para a tarefa que você deseja cancelar. 1. Escolha **Cancelar tarefa** para cancelar a tarefa. 1. Insira o ID da tarefa para confirmar a solicitação de cancelamento. ## Como cancelar uma tarefa de repositório de dados (CLI) Use o comando Amazon FSx [https://docs.aws.amazon.com/cli/latest/reference/fsx/cancel-data-repository-task.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/cancel-data-repository-task.html)CLI para cancelar uma tarefa. [https://docs.aws.amazon.com/fsx/latest/APIReference/API_CancelDataRepositoryTask.html](https://docs.aws.amazon.com/fsx/latest/APIReference/API_CancelDataRepositoryTask.html)é o comando equivalente da API. + Use o comando apresentado a seguir para cancelar uma tarefa de repositório de dados. ``` aws fsx cancel-data-repository-task \ --task-id task-0123456789abcdef0 ``` Se o comando for bem-sucedido, a Amazon FSx retornará a resposta no formato JSON. ``` { "Status": "CANCELING", "TaskId": "task-0123456789abcdef0" } ``` # Como trabalhar com relatórios de conclusão de tarefas Um *relatório de conclusão da tarefa* fornece detalhes sobre os resultados de uma tarefa de exportação, de importação ou de liberação do repositório de dados. O relatório inclui resultados para os arquivos processados ​​pela tarefa que correspondem ao escopo do relatório. É possível especificar se deseja gerar um relatório para uma tarefa ao usar o parâmetro `Enabled`. A Amazon FSx entrega o relatório ao repositório de dados vinculado do sistema de arquivos no Amazon S3, usando o caminho que você especifica ao habilitar o relatório para uma tarefa. O nome do arquivo do relatório é `report.csv` para tarefas de importação e `failures.csv` para tarefas de exportação ou de liberação. O formato do relatório é um arquivo de valores separados por vírgulas (CSV) que tem três campos: `FilePath`, `FileStatus` e `ErrorCode`. Os relatórios são codificados usando a codificação no formato RFC-4180, como apresentado abaixo: + Os caminhos que começam com qualquer um dos seguintes caracteres estão contidos entre aspas simples: `@ + - =` + Strings que contêm, no mínimo, um dos seguintes caracteres estão contidos entre aspas duplas: `" ,` + Todas as aspas duplas são delimitadas com aspas duplas adicionais. A seguir, veja alguns exemplos da codificação de relatórios: + `@filename.txt` se torna `"""@filename.txt"""` + `+filename.txt` se torna `"""+filename.txt"""` + `file,name.txt` se torna `"file,name.txt"` + `file"name.txt` se torna `"file""name.txt"` Para obter mais informações sobre a codificação RFC-4180, consulte [RFC-4180 - Common Format and MIME Type for Comma-Separated Values (CSV) Files](https://tools.ietf.org/html/rfc4180) no site do IETF. Veja a seguir um exemplo das informações fornecidas em um relatório de conclusão da tarefa que inclui somente arquivos com falha. ``` myRestrictedFile,failed,S3AccessDenied dir1/myLargeFile,failed,FileSizeTooLarge dir2/anotherLargeFile,failed,FileSizeTooLarge ``` Para obter mais informações sobre as falhas de tarefas e como resolvê-las, consulte [Solução de problemas para falhas de tarefas de repositório de dados](failed-tasks.md). # Solução de problemas para falhas de tarefas de repositório de dados Você pode [ativar o registro no](cw-event-logging.md) CloudWatch Logs para registrar informações sobre quaisquer falhas ocorridas ao importar ou exportar arquivos usando tarefas do repositório de dados. Para obter informações sobre CloudWatch registros de eventos do Logs, consulte[Registros em log de eventos de repositório de dados](data-repo-event-logs.md). Quando uma tarefa do repositório de dados falha, você pode encontrar o número de arquivos que a Amazon FSx não processou em **Arquivos falharam ao exportar** na página de **status da tarefa** do console. Como alternativa, você pode usar a CLI ou a API e visualizar a propriedade `Status: FailedCount` da tarefa. Para obter informações sobre como acessar essas informações, consulte [Acesso a tarefas do repositório de dados](view-data-repo-tasks.md). Para tarefas de repositório de dados, a Amazon FSx também fornece opcionalmente informações sobre os arquivos e diretórios específicos que falharam em um relatório de conclusão. O relatório de conclusão da tarefa contém o caminho do arquivo ou do diretório no sistema de arquivos do Lustre que apresentou falhas, seu status e o motivo da falha. Para obter mais informações, consulte [Como trabalhar com relatórios de conclusão de tarefas](task-completion-report.md). Uma tarefa de repositório de dados pode falhar por vários motivos, incluindo os listados a seguir. | Código de erro | Explicação | | --- | --- | | `FileSizeTooLarge` | O tamanho máximo de objetos com suporte pelo Amazon S3 é 5 TiB. | | `InternalError` | Ocorreu um erro no sistema de FSx arquivos da Amazon para uma tarefa de importação, exportação ou lançamento. Geralmente, esse código de erro significa que o sistema de FSx arquivos da Amazon no qual a tarefa com falha foi executada está em um estado de ciclo de vida de FALHA. Quando isso ocorre, os arquivos afetados podem não ser recuperáveis devido à perda de dados. Caso contrário, você poderá usar os comandos do Hierarchical Storage Management (HSM) para exportar os arquivos e os diretórios para o repositório de dados no S3. Para obter mais informações, consulte [Exportação de arquivos usando comandos do HSM](exporting-files-hsm.md). | | `OperationNotPermitted` | O Amazon FSx não conseguiu liberar o arquivo porque ele não foi exportado para um bucket do S3 vinculado. Você deve usar a exportação automática ou as tarefas de exportação do repositório de dados para garantir que os arquivos sejam exportados primeiro para o bucket do Amazon S3 vinculado. | | `PathSizeTooLong` | O caminho de exportação é muito longo. O tamanho máximo da chave do objeto com suporte pelo S3 é 1.024 caracteres. | | `ResourceBusy` | O Amazon FSx não conseguiu exportar ou liberar o arquivo porque ele estava sendo acessado por outro cliente no sistema de arquivos. Você pode tentar novamente DataRepositoryTask depois que seu fluxo de trabalho terminar de gravar no arquivo. | | `S3AccessDenied` | O acesso ao Amazon S3 foi negado para uma tarefa de importação ou de exportação do repositório de dados. Para tarefas de exportação, o sistema de FSx arquivos da Amazon deve ter permissão para realizar a `S3:PutObject` operação de exportação para um repositório de dados vinculado no S3. Essa permissão é concedida no perfil vinculado ao serviço `AWSServiceRoleForFSxS3Access_fs-0123456789abcdef0`. Para obter mais informações, consulte [Usando funções vinculadas a serviços para a Amazon FSx](using-service-linked-roles.md). Para tarefas de exportação, como a tarefa de exportação requer que os dados fluam de forma externa à VPC de um sistema de arquivos, esse erro poderá ocorrer se o repositório de destino tiver uma política de bucket que contenha uma das chaves de condição globais do IAM `aws:SourceVpc` ou `aws:SourceVpce`. Para tarefas de importação, o sistema de FSx arquivos da Amazon deve ter permissão para realizar `S3:HeadObject` as `S3:GetObject` operações de importação de um repositório de dados vinculado no S3. Para tarefas de importação, se seu bucket do S3 usa criptografia do lado do servidor com chaves gerenciadas pelo cliente armazenadas em AWS Key Management Service (SSE-KMS), você deve seguir as configurações de política em. [Como trabalhar com buckets do Amazon S3 criptografados no lado do servidor](s3-server-side-encryption-support.md) Se o bucket do S3 contiver objetos carregados de uma conta de bucket Conta da AWS do S3 vinculada ao sistema de arquivos, você pode garantir que as tarefas do repositório de dados possam modificar os metadados do S3 ou sobrescrever objetos do S3, independentemente da conta que os carregou. Recomendamos habilitar o recurso Propriedade de objeto do S3 para seu bucket do S3. Esse recurso permite que você se aproprie de novos objetos que outros Contas da AWS enviam para seu bucket, forçando os uploads a fornecerem a `-/-acl bucket-owner-full-control` ACL padrão. Você habilita a propriedade de objeto do S3 ao escolher a opção **Proprietário do bucket preferencial** em seu bucket do S3. Para obter mais informações, consulte [Controlling ownership of uploaded objects using S3 Object Ownership](https://docs.aws.amazon.com/AmazonS3/latest/userguide/about-object-ownership.html) no *Guia do usuário do Amazon S3*. | | `S3Error` | A Amazon FSx encontrou um erro relacionado ao S3 que não estava. `S3AccessDenied` | | `S3FileDeleted` | A Amazon não FSx conseguiu exportar um arquivo de link físico porque o arquivo de origem não existe no repositório de dados. | | `S3ObjectInUnsupportedTier` | A Amazon importou FSx com sucesso um objeto sem link simbólico de uma classe de armazenamento S3 Glacier Flexible Retrieval ou S3 Glacier Deep Archive. O `FileStatus` será `succeeded with warning` no relatório de conclusão da tarefa. O aviso indica que, para recuperar os dados, primeiro é necessário restaurar o objeto da classe do S3 Glacier Flexible Retrieval ou do S3 Glacier Deep Archive e, em seguida, usar um comando `hsm_restore` para importá-lo. | | `S3ObjectNotFound` | A Amazon não FSx conseguiu importar ou exportar o arquivo porque ele não existe no repositório de dados. | | `S3ObjectPathNotPosixCompliant` | O objeto do Amazon S3 existe, mas não pode ser importado porque não é um objeto compatível com POSIX. Para obter informações sobre os metadados POSIX com suporte, consulte [Suporte a metadados POSIX para repositórios de dados](posix-metadata-support.md). | | `S3ObjectUpdateInProgressFromFileRename` | O Amazon FSx não conseguiu liberar o arquivo porque a exportação automática está processando uma renomeação do arquivo. O processo de renomeação da exportação automática deve ser concluído antes que o arquivo possa ser liberado. | | `S3SymlinkInUnsupportedTier` | A Amazon não FSx conseguiu importar um objeto de link simbólico porque ele está em uma classe de armazenamento Amazon S3 que não é suportada, como a classe de armazenamento S3 Glacier Flexible Retrieval ou S3 Glacier Deep Archive. O `FileStatus` será `failed` no relatório de conclusão da tarefa. | | `SourceObjectDeletedBeforeReleasing` | A Amazon não FSx conseguiu liberar o arquivo do sistema de arquivos porque o arquivo foi excluído do repositório de dados antes que pudesse ser lançado. | # Liberação de arquivos Libere tarefas do repositório de dados libere dados de arquivos do seu FSx sistema de arquivos for Lustre para liberar espaço para novos arquivos. A liberação de um arquivo retém a listagem e os metadados do arquivo, mas remove a cópia local do conteúdo desse arquivo. Se um usuário ou aplicação acessar um arquivo liberado, os dados serão carregados de volta de maneira automática e transparente em seu sistema de arquivos diretamente do bucket vinculado do Amazon S3. **nota** As tarefas do repositório de dados da versão não estão disponíveis nos sistemas FSx de arquivos Lustre 2.10. Os parâmetros **Caminhos do sistema de arquivos para liberar** e **Duração mínima desde o último acesso** determinam quais arquivos serão liberados. + **Caminhos do sistema de arquivos para liberar**: especifica o caminho no qual os arquivos serão liberados. + **Duração mínima desde o último acesso**: especifica a duração, em dias, para que qualquer arquivo não acessado nessa duração seja liberado. A duração desde o último acesso de um arquivo é calculada pela diferença entre a hora de criação da tarefa de liberação e a última vez em que um arquivo foi acessado (valor máximo de `atime`, `mtime` e `ctime`). Os arquivos só serão liberados no caminho do arquivo se tiverem sido exportados para o S3 e tiverem uma duração desde o último acesso superior à duração mínima desde o valor do último acesso. Informar uma duração mínima de `0` dias desde o último acesso liberará os arquivos independentemente da duração desde o último acesso. **nota** Não há suporte para o uso de curingas ao incluir ou excluir arquivos para liberação. As tarefas de liberação de repositório de dados só liberarão dados de arquivos que já tenham sido exportados para um repositório de dados vinculado do S3. Você pode exportar dados para o S3 usando o recurso de exportação automática, uma tarefa de repositório de dados de exportação ou comandos do HSM. Você pode executar o comando a seguir para verificar se um arquivo foi exportado para seu repositório de dados. Um valor de retorno `states: (0x00000009) exists archived` indica que o arquivo foi exportado com êxito. ``` sudo lfs hsm_state path/to/export/file ``` **nota** É necessário executar o comando do HSM como usuário raiz ou usando o `sudo`. Para liberar dados de arquivos em um intervalo regular, você pode programar uma tarefa recorrente do repositório de dados de lançamento usando o Amazon EventBridge Scheduler. Para obter mais informações, consulte [Introdução ao EventBridge Scheduler no Guia](https://docs.aws.amazon.com/scheduler/latest/UserGuide/getting-started.html) do *usuário do Amazon EventBridge Scheduler*. **Topics** + [Como usar tarefas do repositório de dados para lançar arquivos](release-files-task.md) # Como usar tarefas do repositório de dados para lançar arquivos Use os procedimentos a seguir para criar tarefas que liberam arquivos do sistema de arquivos usando o FSx console e a CLI da Amazon. A liberação de um arquivo retém a listagem e os metadados do arquivo, mas remove a cópia local do conteúdo desse arquivo. ## Liberar arquivos (console) 1. Abra o FSx console da Amazon em [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/). 1. No painel de navegação esquerdo, escolha **Sistemas de arquivos** e escolha o sistema de arquivos do Lustre. 1. Escolha a guia **Repositório de dados**. 1. No painel **Associações de repositórios de dados**, escolha a associação de repositório de dados para a qual você deseja criar a tarefa de liberação. 1. Em **Ações**, escolha **Criar tarefa de liberação**. Essa opção só estará disponível se o sistema de arquivos estiver vinculado a um repositório de dados no S3. A caixa de diálogo **Criar tarefa de liberação do repositório de dados** é exibida. 1. Em **Caminhos do sistema de arquivos para lançamento**, especifique até 32 diretórios ou arquivos a serem liberados do seu sistema de FSx arquivos da Amazon fornecendo os caminhos para esses diretórios ou arquivos. Os caminhos fornecidos precisam ser relativos ao ponto de montagem do sistema de arquivos. Por exemplo, se o ponto de montagem for `/mnt/fsx` e `/mnt/fsx/path1` for um arquivo no sistema de arquivos que você deseja liberar, o caminho a ser fornecido será `path1`. Para liberar todos os arquivos no sistema de arquivos, especifique uma barra (/) como caminho. **nota** Se um caminho fornecido não for válido, a tarefa falhará. 1. Em **Duração mínima desde o último acesso**, especifique a duração, em dias, para que qualquer arquivo não acessado nessa duração seja liberado. O horário do último acesso é calculado usando o valor máximo `atime`, `mtime` e `ctime`. Arquivos com um período de duração do último acesso maior que a duração mínima desde o último acesso (em relação ao horário de criação da tarefa) serão liberados. Arquivos com um período de duração do último acesso menor que esse número de dias não serão liberados, mesmo que estejam no campo **Caminhos do sistema de arquivos para liberação**. Forneça uma duração de `0` dias para liberar arquivos, independentemente da duração desde o último acesso. 1. (Opcional) Em **Relatório de conclusão**, escolha **Habilitar** para gerar um relatório de conclusão de tarefa que forneça detalhes sobre os arquivos que atendem ao escopo fornecido em **Escopo do relatório**. Para especificar um local para FSx a Amazon entregar o relatório, insira um caminho relativo no repositório de dados S3 vinculado ao sistema de arquivos para Caminho do **relatório**. 1. Escolha **Criar tarefa de repositório de dados**. Uma notificação na parte superior da página **Sistemas de arquivos** mostra a tarefa que você acabou de criar em andamento. Para ver o status e os detalhes da tarefa, na guia **Repositório de dados**, role para baixo até **Tarefas do repositório de dados**. A ordem de classificação padrão mostra a tarefa mais recente no topo da lista. Para ver um resumo da tarefa nessa página, escolha **ID da tarefa** referente à tarefa que você acabou de criar. ## Liberação de arquivos (CLI) + Use o comando [https://docs.aws.amazon.com/cli/latest/reference/fsx/create-data-repository-task.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/create-data-repository-task.html)CLI para criar uma tarefa que libera arquivos em seu sistema de arquivos FSx for Lustre. A operação de API correspondente é [https://docs.aws.amazon.com/fsx/latest/APIReference/API_CreateDataRepositoryTask.html](https://docs.aws.amazon.com/fsx/latest/APIReference/API_CreateDataRepositoryTask.html). Defina os seguintes parâmetros: + Defina `--file-system-id` como ID do sistema de arquivos do qual você está lançando arquivos. + Defina `--paths` como caminhos no sistema de arquivos do qual os dados serão liberados. Se um diretório for especificado, os arquivos dentro do diretório serão liberados. Se um caminho de arquivo for especificado, somente esse arquivo será liberado. Para liberar todos os arquivos no sistema de arquivos que foram exportados para um bucket do S3 vinculado, especifique uma barra (/) no caminho. + Defina `--type` como `RELEASE_DATA_FROM_FILESYSTEM`. + Defina as opções `--release-configuration DurationSinceLastAccess` desta forma: + `Unit`: defina como `DAYS`. + `Value`: especifique um número inteiro que represente a duração, em dias, para que qualquer arquivo não acessado nessa duração seja liberado. Arquivos que foram acessados durante um período menor que esse número de dias não serão liberados, mesmo que estejam no parâmetro `--paths`. Forneça uma duração de `0` dias para liberar arquivos, independentemente da duração desde o último acesso. Esse exemplo de comando especifica que os arquivos que foram exportados para um bucket do S3 vinculado e atendem aos critérios `--release-configuration` serão liberados dos diretórios nos caminhos especificados. ``` $ aws fsx create-data-repository-task \ --file-system-id fs-0123456789abcdef0 \ --type RELEASE_DATA_FROM_FILESYSTEM \ --paths path1,path2/file1 \ --release-configuration '{"DurationSinceLastAccess":{"Unit":"DAYS","Value":10}}' \ --report Enabled=false ``` Depois de criar com sucesso a tarefa do repositório de dados, a Amazon FSx retorna a descrição da tarefa como JSON. Depois de criar a tarefa para liberar arquivos, você pode verificar o status da tarefa. Para obter mais informações sobre como visualizar tarefas do repositório de dados, consulte [Acesso a tarefas do repositório de dados](view-data-repo-tasks.md). # Usando a Amazon FSx com seus dados locais Você pode usar o Lustre FSx para processar seus dados locais com instâncias de computação na nuvem. FSx for Lustre suporta acesso via Direct Connect VPN, permitindo que você monte seus sistemas de arquivos a partir de clientes locais. **FSx Para usar o Lustre com seus dados locais** 1. Crie um sistema de arquivos. Para obter mais informações, consulte [Etapa 1: criar o sistema de arquivos do FSx para Lustre](getting-started.md#getting-started-step1) no exercício de conceitos básicos. 1. Monte o sistema de arquivos em clientes on-premises. Para obter mais informações, consulte [Montando sistemas de FSx arquivos da Amazon a partir de um Amazon VPC local ou emparelhado](mounting-on-premises.md). 1. Copie os dados que você deseja processar em seu sistema de arquivos FSx for Lustre. 1. Execute sua workload de intensa computação em instâncias do Amazon EC2 na nuvem, montando seu sistema de arquivos. 1. Ao terminar, copie os resultados finais do seu sistema de arquivos de volta para o local de dados local e exclua o FSx sistema de arquivos do Lustre. # Registros em log de eventos de repositório de dados É possível ativar o registro em log para o CloudWatch Logs com a finalidade de registrar em log informações sobre quaisquer falhas ocorridas durante a importação ou a exportação de arquivos usando as tarefas de importação, exportação e de repositório de dados, além de eventos de restauração. Para obter mais informações, consulte [Registro com Amazon CloudWatch Logs](cw-event-logging.md). **nota** Quando uma tarefa de repositório de dados apresenta falhas, o Amazon FSx também grava as informações sobre a falha no relatório de conclusão da tarefa. Para obter mais informações sobre as informações sobre falhas nos relatórios de conclusão, consulte [Solução de problemas para falhas de tarefas de repositório de dados](failed-tasks.md). **Topics** + [Importação de eventos](#import-event-logging) + [Exportação de eventos](#export-event-logging) + [Eventos de restauração do HSM](#hsm-restore-event-logging) ## Importação de eventos | Tipo de erro | Nível de log | Mensagem de log | Causa raiz | Código de erro no relatório de conclusão | | --- | --- | --- | --- | --- | | Falha na lista | ERRO | Falha ao listar objetos do S3 no bucket do S3 bucket\$1name com o prefixo prefix. | O Amazon FSx não conseguiu listar objetos do S3 no bucket do S3. Isto pode acontecer se a política do bucket do S3 não fornecer permissões suficientes para o Amazon FSx. | N/D | | Classes de armazenamento S3 não compatíveis | WARN | Falha ao importar objetos do S3 com a chave key\$1value no bucket do S3 bucket\$1name devido a um objeto do S3 em uma camada sem suporte S3\$1tier\$1name. | O Amazon FSx não conseguiu importar um objeto do S3 porque ele está em uma classe de armazenamento do Amazon S3 que não tem suporte, como as classes de armazenamento do S3 Glacier Flexible Retrieval ou do S3 Glacier Deep Archive. | S3ObjectInUnsupportedTier | | Classe de armazenamento de link simbólico não correspondente | ERRO | Falha ao importar objetos do S3 com a chave key\$1value no bucket do S3 bucket\$1name devido a um objeto de link simbólico do S3 em uma camada sem suporte S3\$1tier\$1name. | O Amazon FSx não conseguiu importar um objeto de link simbólico porque ele está em uma classe de armazenamento do Amazon S3 que não tem suporte, como as classes de armazenamento do S3 Glacier Flexible Retrieval ou do S3 Glacier Deep Archive. | S3SymlinkInUnsupportedTier | | Acesso negado ao S3 | ERRO | Falha ao importar objetos do S3 com a chave key\$1value no bucket do S3 bucket\$1name porque o acesso ao objeto do S3 foi negado. | O acesso ao Amazon S3 foi negado para uma tarefa de importação ou de exportação do repositório de dados. Para tarefas de importação, o sistema de arquivos do Amazon FSx deve ter permissão para executar as operações `s3:HeadObject` e `s3:GetObject` com a finalidade de importar de um repositório de dados vinculado no S3. Para tarefas de importação, se o bucket do S3 usar criptografia do lado do servidor com chaves gerenciadas pelo cliente e armazenadas no AWS Key Management Service (SSE-KMS), você deverá seguir as configurações de política em [Como trabalhar com buckets do Amazon S3 criptografados no lado do servidor](s3-server-side-encryption-support.md). | S3AccessDenied | | Excluir acesso negado | ERRO | Falha ao excluir o arquivo local para o objeto do S3 com a chave key\$1value no bucket do S3 bucket\$1name porque o acesso ao objeto do S3 foi negado. | A importação automática teve o acesso negado a um objeto do S3. | N/D | | Objeto não compatível com POSIX | ERRO | Falha ao importar objetos do S3 com a chave key\$1value no bucket do S3 bucket\$1name porque o objeto do S3 não é compatível com POSIX. | O objeto do Amazon S3 existe, mas não pode ser importado porque não é um objeto compatível com POSIX. Para obter informações sobre os metadados POSIX com suporte, consulte [Suporte a metadados POSIX para repositórios de dados](posix-metadata-support.md). | S3ObjectPathNotPosixCompliant | | Incompatibilidade de tipo de objeto | ERRO | Falha ao importar objetos do S3 com a chave key\$1value no bucket do S3 bucket\$1name porque um objeto do S3 com o mesmo nome já foi importado para o sistema de arquivos. | O objeto do S3 que está sendo importado é de um tipo diferente (arquivo ou diretório) quando comparado com um objeto existente com o mesmo nome no sistema de arquivos. | S3ObjectTypeMismatch | | Falha na atualização de metadados do diretório | ERRO | Falha ao atualizar os metadados do diretório local devido a um erro interno. | Não foi possível importar os metadados do diretório devido a um erro interno. | N/D | | Objeto do S3 não encontrado | ERRO | Falha ao importar objetos do S3 com a chave key\$1value porque eles não foram encontrados no bucket do S3 bucket\$1name. | O Amazon FSx não conseguiu importar metadados do arquivo porque o objeto correspondente não existia no repositório de dados. | S3FileDeleted | | Bucket do S3 não encontrado | ERRO | Falha ao importar objetos do S3 com a chave key\$1value no bucket do S3 bucket\$1name devido ao bucket não existir. | O Amazon FSx não pode importar automaticamente um objeto do S3 para o sistema de arquivos porque o bucket do S3 não existe mais. | N/D | | Bucket do S3 não encontrado | ERRO | Falha ao excluir um arquivo local para o objeto do S3 com a chave key\$1value no bucket do S3 bucket\$1name devido ao bucket não existir. | O Amazon FSx não pode excluir um arquivo vinculado a um objeto do S3 no sistema de arquivos porque o bucket do S3 não existe mais. | N/D | | Falha na criação do diretório | ERRO | Falha ao criar o diretório local devido a um erro interno. | O Amazon FSx não conseguiu importar automaticamente a criação de um diretório no sistema de arquivos devido a um erro interno. | N/D | | Espaço em disco cheio | ERRO | Falha ao importar objetos do S3 com a chave key\$1value no bucket do S3 bucket\$1name porque o sistema de arquivos está cheio. | O sistema de arquivos ficou sem espaço no disco nos servidores de metadados durante a criação do arquivo ou do diretório. | N/D | ## Exportação de eventos | Tipo de erro | Nível de log | Mensagem de log | Causa raiz | Código de erro no relatório de conclusão | | --- | --- | --- | --- | --- | | Acesso negado | ERRO | Falha ao exportar o arquivo porque o acesso foi negado ao objeto do S3 com a chave key\$1value no bucket do S3 bucket\$1name. | O acesso ao Amazon S3 foi negado para uma tarefa de exportação do repositório de dados. Para tarefas de exportação, o sistema de arquivos do Amazon FSx deve ter permissão para executar a operação `s3:PutObject` com a finalidade de exportar para um repositório de dados vinculado no S3. Essa permissão é concedida no perfil vinculado ao serviço `AWSServiceRoleForFSxS3Access_fs-0123456789abcdef0`. Para obter mais informações, consulte [Usando funções vinculadas a serviços para a Amazon FSx](using-service-linked-roles.md). Como a tarefa de exportação requer que os dados fluam de forma externa à VPC de um sistema de arquivos, esse erro poderá ocorrer se o repositório de destino tiver uma política de bucket que contenha uma das chaves de condição globais do IAM `aws:SourceVpc` ou `aws:SourceVpce`. Se o bucket do S3 contiver objetos carregados de uma Conta da AWS diferente da conta do bucket do S3 vinculada ao sistema de arquivos, você poderá garantir que as tarefas do repositório de dados possam modificar os metadados do S3 ou substituir os objetos do S3, independentemente de qual conta os carregou. Recomendamos habilitar o recurso Propriedade de objeto do S3 para seu bucket do S3. Esse recurso possibilita que você assuma a propriedade dos novos objetos que outras Contas da AWS fazem upload em seu bucket ao impor aos uploads o fornecimento da ACL predefinida `--acl bucket-owner-full-control`. Você habilita a propriedade de objeto do S3 ao escolher a opção **Proprietário do bucket preferencial** em seu bucket do S3. Para obter mais informações, consulte [Controlling ownership of uploaded objects using S3 Object Ownership](https://docs.aws.amazon.com/AmazonS3/latest/userguide/about-object-ownership.html) no *Guia do usuário do Amazon S3*. | S3AccessDenied | | Caminho de exportação muito longo | ERRO | Falha ao exportar o arquivo porque o tamanho do caminho do arquivo local excede o tamanho máximo da chave do objeto com suporte pelo S3. | O caminho de exportação é muito longo. O tamanho máximo da chave do objeto com suporte pelo S3 é 1.024 caracteres. | PathSizeTooLong | | Arquivo muito grande | ERRO | Falha ao exportar o arquivo porque o tamanho do arquivo excede o tamanho máximo de objetos com suporte pelo S3. | O tamanho máximo de objetos com suporte pelo Amazon S3 é 5 TiB. | FileSizeTooLarge | | Chave do KMS não encontrada | ERRO | Falha ao exportar o arquivo para o objeto do S3 com a chave key\$1value no bucket do S3 bucket\$1name porque a chave do KMS pertencente ao bucket não foi encontrada. | O Amazon FSx não conseguiu exportar o arquivo porque a AWS KMS key não foi encontrada. Certifique-se de usar uma chave que esteja na mesma Região da AWS que o bucket do S3. Para obter mais informações sobre como criar chaves do KMS, consulte [Criar chaves](https://docs.aws.amazon.com/kms/latest/developerguide/create-keys.html) no Guia do desenvolvedor do AWS Key Management Service. | N/A | | Recurso ocupado | ERRO | Falha ao exportar o arquivo porque ele está sendo usado por outro processo. | O Amazon FSx não conseguiu exportar o arquivo porque ele estava sendo modificado por outro cliente no sistema de arquivos. É possível tentar realizar a tarefa novamente depois que o fluxo de trabalho terminar a gravação no arquivo. | ResourceBusy | | Arquivo lançado | WARN | Exportação ignorada: o arquivo local está em estado liberado e um objeto do S3 vinculado com a chave key\$1value não foi encontrado no bucket bucket\$1name. | O Amazon FSx não conseguiu exportar o arquivo porque ele estava em um estado liberado no sistema de arquivos. | N/D | | Incompatibilidade do caminho do repositório de dados | WARN | Exportação ignorada: o arquivo local não pertence a um caminho do sistema de arquivos vinculado ao repositório de dados. | O Amazon FSx não conseguiu realizar a exportação porque o objeto não pertence a um caminho do sistema de arquivos que está vinculado a um repositório de dados. | N/D | | Internal failure (Falha interna) | ERRO | A exportação automática encontrou um erro interno durante a exportação de um objeto do sistema de arquivos. | A exportação falhou devido a um erro interno (auto-export- ou lustre-level). | N/D | | Falha no upload do relatório | ERRO | Falha ao fazer upload do relatório de conclusão da tarefa do repositório de dados para bucket\$1name. | O Amazon FSx não conseguiu fazer upload do relatório de conclusão. | N/D | | Falha na validação do relatório de conclusão | ERRO | Falha ao fazer upload do relatório de conclusão da tarefa do repositório de dados no bucket bucket\$1name porque o caminho do relatório de conclusão report\$1path não pertence a um repositório de dados associado a este sistema de arquivos. | O Amazon FSx não conseguiu fazer upload do relatório de conclusão porque o caminho do S3 fornecido pelo cliente não pertence a um repositório de dados vinculado. | N/D | ## Eventos de restauração do HSM | Tipo de erro | Nível de log | Mensagem de log | Causa raiz | | --- | --- | --- | --- | | Acesso negado | ERRO | Falha ao exportar o arquivo porque o acesso foi negado ao objeto do S3 object\$1name no bucket do S3 bucket\$1name. | O acesso ao Amazon S3 foi negado ao tentar restaurar um arquivo usando comandos do HSM. O sistema de arquivos deve ter permissão para executar as operações `s3:HeadObject` e `s3:GetObject` com a finalidade de restaurar no repositório de dados vinculado no S3. | | Classes de armazenamento S3 não compatíveis | WARN | Falha ao restaurar o arquivo porque o objeto do S3 object\$1name no bucket bucket\$1name não era compatível com S3\$1storage\$1class \$1name. | O Amazon FSx não conseguiu restaurar o arquivo porque o objeto do S3 correspondente está em uma classe de armazenamento não correspondente, como as classes de armazenamento do S3 Glacier Flexible Retrieval ou do S3 Glacier Deep Archive. Você deve primeiro restaurar o objeto da classe de armazenamento Glacier antes de usar `hsm_restore`. | | Objeto do S3 não encontrado | ERRO | Falha ao restaurar o arquivo porque um objeto do S3 com a chave key\$1value não foi encontrado no bucket do S3 bucket\$1name. | O Amazon FSx não conseguiu restaurar o arquivo porque o objeto correspondente do S3 não existia no repositório de dados. | | Bucket do S3 não encontrado | ERRO | Falha ao restaurar o arquivo porque o bucket bucket\$1name do S3 não existe. | O Amazon FSx não pode restaurar o arquivo porque o bucket do S3 não existe mais. | | Espaço em disco cheio | ERRO | Falha ao restaurar o arquivo porque não havia espaço de armazenamento disponível no sistema de arquivos. | O sistema de arquivos ficou sem espaço de armazenamento disponível ao tentar restaurar os dados do arquivo do S3. Considere aumentar a capacidade de armazenamento do sistema de arquivos ou liberar arquivos para liberar espaço. | # Como trabalhar com tipos de implantação mais antigos Esta seção se aplica aos sistemas de arquivos com tipo de implantação Scratch 1 e também aos sistemas de arquivos com tipos de implantação `Scratch 2` ou `Persistent 1` que não usam associações de repositório de dados. Observe que a exportação automática e o suporte para vários repositórios de dados não estão disponíveis nos sistemas FSx de arquivos Lustre que não usam associações de repositórios de dados. **Topics** + [Vinculação do sistema de arquivos a um bucket do Amazon S3](#legacy-link-to-S3) + [Importação automática de atualizações do bucket do S3](#legacy-auto-import-from-s3) ## Vinculação do sistema de arquivos a um bucket do Amazon S3 Ao criar um sistema de arquivos Amazon FSx for Lustre, você pode vinculá-lo a um repositório de dados durável no Amazon S3. Antes de criar o sistema de arquivos, certifique-se de já ter criado o bucket do Amazon S3 ao qual ele está sendo vinculando. No assistente **Criar sistema de arquivos**, você define as propriedades de configuração do repositório de dados apresentadas a seguir no painel opcional **Importação e exportação de repositórios de dados**. + Escolha como a Amazon FSx mantém sua lista de arquivos e diretórios atualizada à medida que você adiciona ou modifica objetos em seu bucket do S3 após a criação do sistema de arquivos. Para obter mais informações, consulte [Importação automática de atualizações do bucket do S3](#legacy-auto-import-from-s3). + **Bucket de importação**: insira o nome do bucket do S3 que você está usando para o repositório vinculado. + **Prefixo de importação**: insira um prefixo de importação opcional se desejar importar somente algumas listagens de dados de arquivos e de diretórios no bucket do S3 para o sistema de arquivos. O prefixo de importação define de que local os dados no bucket do S3 serão importados. + **Prefixo de exportação**: define para onde a Amazon FSx exporta o conteúdo do seu sistema de arquivos para o bucket vinculado do S3. Você pode ter um mapeamento 1:1 em que a Amazon FSx exporta dados do seu sistema de arquivos FSx for Lustre de volta para os mesmos diretórios no bucket do S3 do qual foram importados. Para ter um mapeamento de um para um, especifique um caminho de exportação para o bucket do S3 sem prefixos ao criar o sistema de arquivos. + Ao criar um sistema de arquivos usando o console, escolha a opção **Prefixo de exportação > Um prefixo especificado por você** e mantenha o campo de prefixo em branco. + Ao criar um sistema de arquivos usando a AWS CLI ou a API, especifique o caminho de exportação como o nome do bucket do S3 sem prefixos adicionais, por exemplo,. `ExportPath=s3://amzn-s3-demo-bucket/` Usando esse método, é possível incluir um prefixo de importação ao especificar o caminho de importação, e isso não afeta um mapeamento individual para as exportações. ### Como criar sistemas de arquivos vinculados a um bucket do S3 Os procedimentos a seguir orientam você no processo de criação de um sistema de FSx arquivos da Amazon vinculado a um bucket do S3 usando o console de AWS gerenciamento e a interface de linha de AWS comando (AWS CLI). ------ #### [ Console ] 1. Abra o FSx console da Amazon em [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/). 1. No painel, escolha **Criar sistema de arquivos**. 1. Para o tipo de sistema de arquivos, escolha **FSx Lustre e**, em seguida, escolha **Avançar**. 1. Forneça as informações necessárias para as seções **Detalhes do sistema de arquivos** e **Rede e segurança**. Para obter mais informações, consulte [Etapa 1: criar o sistema de arquivos do FSx para Lustre](getting-started.md#getting-started-step1). 1. Você usa o painel **Importação e exportação de repositórios de dados** para configurar um repositório de dados vinculado no Amazon S3. Selecione **Importar dados do e exportar dados para o S3** para expandir a seção **Importação e exportação de repositórios de dados** e definir as configurações do repositório de dados. ![\[O painel Importação e exportação de repositórios de dados para a configuração de um repositório de dados vinculado no Amazon S3.\]](http://docs.aws.amazon.com/pt_br/fsx/latest/LustreGuide/images/legacy-data-repository-import-export.png) 1. Escolha como a Amazon FSx mantém sua lista de arquivos e diretórios atualizada à medida que você adiciona ou modifica objetos em seu bucket do S3. Quando você cria o sistema de arquivos, seus objetos existentes no S3 aparecem como listagens de arquivos e diretórios. + **Atualize minha lista de arquivos e diretórios à medida que objetos são adicionados ao meu bucket do S3**: (padrão) A Amazon atualiza FSx automaticamente as listagens de arquivos e diretórios de quaisquer novos objetos adicionados ao bucket do S3 vinculado que não existam atualmente no sistema de FSx arquivos. FSx A Amazon não atualiza as listagens de objetos que foram alterados no bucket do S3. FSx A Amazon não exclui listagens de objetos que são excluídos no bucket do S3. **nota** A configuração padrão de preferências de importação para importar dados de um bucket do S3 vinculado usando a CLI e a API é `NONE`. A configuração padrão de preferências de importação ao usar o console é atualizar o Lustre conforme novos objetos são adicionados ao bucket do S3. + **Atualizar minha listagem de arquivos e diretórios à medida que objetos são adicionados ou alterados no meu bucket do S3**: a Amazon atualiza FSx automaticamente as listagens de arquivos e diretórios de todos os novos objetos adicionados ao bucket do S3 e de quaisquer objetos existentes que são alterados no bucket do S3 após você escolher essa opção. FSx A Amazon não exclui listagens de objetos que são excluídos no bucket do S3. + **Atualizar minha listagem de arquivos e diretórios à medida que objetos são adicionados, alterados ou excluídos do meu bucket do S3**: a Amazon atualiza FSx automaticamente as listagens de arquivos e diretórios de todos os novos objetos adicionados ao bucket do S3, quaisquer objetos existentes que são alterados no bucket do S3 e quaisquer objetos existentes que são excluídos do bucket do S3 após você escolher essa opção. + **Não atualize meu arquivo e minha listagem direta quando objetos são adicionados, alterados ou excluídos do meu bucket do S3**. A Amazon FSx só atualiza as listagens de arquivos e diretórios do bucket do S3 vinculado quando o sistema de arquivos é criado. FSx não atualiza as listagens de arquivos e diretórios de objetos novos, alterados ou excluídos depois de escolher essa opção. 1. Insira um **Prefixo de importação** opcional se desejar importar somente algumas das listagens de dados de arquivos e de diretórios no bucket do S3 para o sistema de arquivos. O prefixo de importação define de que local os dados no bucket do S3 serão importados. Para obter mais informações, consulte [Importação automática de atualizações do bucket do S3](autoimport-data-repo-dra.md). 1. Escolha uma das opções de **Prefixo de exportação** disponíveis: + **Um prefixo exclusivo que a Amazon FSx cria em seu bucket**: escolha essa opção para exportar objetos novos e alterados usando um prefixo gerado pelo FSx for Lustre. O prefixo é semelhante ao seguinte: `/FSxLustrefile-system-creation- timestamp`. O timestamp é no formato UTC, por exemplo `FSxLustre20181105T222312Z`. + **O mesmo prefixo do qual você importou (substituiu objetos existentes por objetos atualizados)**: escolha esta opção para substituir objetos existentes por objetos atualizados. + **Um prefixo especificado por você**: escolha esta opção para preservar os dados importados e exportar objetos novos e alterados usando um prefixo especificado por você. Para obter um mapeamento 1:1 ao exportar dados para seu bucket do S3, escolha essa opção e deixe o campo de prefixo em branco. FSx exportará dados para os mesmos diretórios dos quais foram importados. 1. (Opcional) Defina **Preferências de manutenção** ou use os padrões do sistema. 1. Escolha **Próximo** e analise as configurações do sistema de arquivos. Realize alterações, se necessário. 1. Escolha **Create file system (Criar sistema de arquivos)**. ------ #### [ AWS CLI ] O exemplo a seguir cria um sistema de FSx arquivos da Amazon vinculado ao`amzn-s3-demo-bucket`, com uma preferência de importação que importa todos os arquivos novos, alterados e excluídos no repositório de dados vinculado após a criação do sistema de arquivos. **nota** A configuração padrão de preferências de importação para importar dados de um bucket do S3 vinculado usando a CLI e a API é `NONE`, que é diferente do comportamento padrão ao usar o console. Para criar um sistema de arquivos FSx para o Lustre, use o [https://docs.aws.amazon.com/cli/latest/reference/fsx/create-file-system.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/create-file-system.html)comando Amazon FSx CLI, conforme mostrado abaixo. A operação de API correspondente é [https://docs.aws.amazon.com/fsx/latest/APIReference/API_CreateFileSystem.html](https://docs.aws.amazon.com/fsx/latest/APIReference/API_CreateFileSystem.html). ``` $ aws fsx create-file-system \ --client-request-token CRT1234 \ --file-system-type LUSTRE \ --file-system-type-version 2.10 \ --lustre-configuration AutoImportPolicy=NEW_CHANGED_DELETED,DeploymentType=SCRATCH_1,ImportPath=s 3://amzn-s3-demo-bucket/,ExportPath=s3://amzn-s3-demo-bucket/export, PerUnitStorageThroughput=50 \ --storage-capacity 2400 \ --subnet-ids subnet-123456 \ --tags Key=Name,Value=Lustre-TEST-1 \ --region us-east-2 ``` Depois de criar o sistema de arquivos com sucesso, a Amazon FSx retorna a descrição do sistema de arquivos como JSON, conforme mostrado no exemplo a seguir. ``` { "FileSystems": [ { "OwnerId": "owner-id-string", "CreationTime": 1549310341.483, "FileSystemId": "fs-0123456789abcdef0", "FileSystemType": "LUSTRE", "FileSystemTypeVersion": "2.10", "Lifecycle": "CREATING", "StorageCapacity": 2400, "VpcId": "vpc-123456", "SubnetIds": [ "subnet-123456" ], "NetworkInterfaceIds": [ "eni-039fcf55123456789" ], "DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com", "ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0", "Tags": [ { "Key": "Name", "Value": "Lustre-TEST-1" } ], "LustreConfiguration": { "DeploymentType": "PERSISTENT_1", "DataRepositoryConfiguration": { "AutoImportPolicy": "NEW_CHANGED_DELETED", "Lifecycle": "UPDATING", "ImportPath": "s3://amzn-s3-demo-bucket/", "ExportPath": "s3://amzn-s3-demo-bucket/export", "ImportedFileChunkSize": 1024 }, "PerUnitStorageThroughput": 50 } } ] } ``` ------ ### Visualização do caminho de exportação de um sistema de arquivos Você pode visualizar o caminho de exportação de um sistema de arquivos usando o FSx console do Lustre, a AWS CLI e a API. ------ #### [ Console ] 1. Abra o FSx console da Amazon em [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/) 1. Escolha **Nome do sistema** de **arquivos ou ID do sistema** de arquivos FSx para o Lustre do qual você deseja visualizar o caminho de exportação. A página de detalhes do sistema de arquivos é exibida para esse sistema de arquivos. 1. Escolha a guia **Repositório de dados**. O painel **Integração do repositório de dados** será exibido, mostrando os caminhos de importação e de exportação. ![\[Os caminhos de importação e exportação do Repositório de dados no painel Integração do repositório de dados.\]](http://docs.aws.amazon.com/pt_br/fsx/latest/LustreGuide/images/legacy-view-export-path.png) ------ #### [ CLI ] Para determinar o caminho de exportação para seu sistema de arquivos, use o comando [https://docs.aws.amazon.com/cli/latest/reference/fsx/describe-file-systems.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/describe-file-systems.html) AWS CLI. ``` aws fsx describe-file-systems ``` Procure a propriedade `ExportPath` em `LustreConfiguration` na resposta. ``` { "OwnerId": "111122223333", "CreationTime": 1563382847.014, "FileSystemId": "", "FileSystemType": "LUSTRE", "Lifecycle": "AVAILABLE", "StorageCapacity": 2400, "VpcId": "vpc-6296a00a", "SubnetIds": [ "subnet-1111111" ], "NetworkInterfaceIds": [ "eni-0c288d5b8cc06c82d", "eni-0f38b702442c6918c" ], "DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com", "ResourceARN": "arn:aws:fsx:us-east-2:267731178466:file-system/fs-0123456789abcdef0", "Tags": [ { "Key": "Name", "Value": "Lustre System" } ], "LustreConfiguration": { "DeploymentType": "SCRATCH_1", "DataRepositoryConfiguration": { "AutoImportPolicy": " NEW_CHANGED_DELETED", "Lifecycle": "AVAILABLE", "ImportPath": "s3://amzn-s3-demo-bucket/", "ExportPath": "s3://amzn-s3-demo-bucket/FSxLustre20190717T164753Z", "ImportedFileChunkSize": 1024 } }, "PerUnitStorageThroughput": 50, "WeeklyMaintenanceStartTime": "6:09:30" } ``` ------ ### Estado do ciclo de vida do repositório de dados O estado do ciclo de vida do repositório de dados fornece informações de status sobre o repositório de dados vinculado do sistema de arquivos. Um repositório de dados pode ter os estados de ciclo de vida apresentados a seguir. + **Criação**: a Amazon FSx está criando a configuração do repositório de dados entre o sistema de arquivos e o repositório de dados vinculado. O repositório de dados está indisponível. + **Disponível**: o repositório de dados está disponível para uso. + **Atualizando**: a configuração do repositório de dados está passando por uma atualização iniciada pelo cliente que pode afetar sua disponibilidade. + **Configuração incorreta**: a Amazon FSx não pode importar automaticamente as atualizações do bucket do S3 até que a configuração do repositório de dados seja corrigida. Para obter mais informações, consulte [Solução de problemas de um bucket do S3 vinculado configurado incorretamente](troubleshooting-misconfigured-data-repository.md). Você pode visualizar o estado do ciclo de vida do repositório de dados vinculado de um sistema de arquivos usando o FSx console da Amazon, a interface de linha de AWS comando e a API da Amazon. FSx No FSx console da Amazon, você pode acessar o **estado do ciclo** de vida do repositório de dados no painel **Integração do repositório de dados** da guia **Repositório de dados do sistema de arquivos**. A propriedade `Lifecycle` está localizada no objeto `DataRepositoryConfiguration` na resposta de um comando [https://docs.aws.amazon.com/cli/latest/reference/fsx/describe-file-systems.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/describe-file-systems.html) da CLI (a ação de API equivalente é [https://docs.aws.amazon.com/fsx/latest/APIReference/API_DescribeFileSystems.html](https://docs.aws.amazon.com/fsx/latest/APIReference/API_DescribeFileSystems.html)). ## Importação automática de atualizações do bucket do S3 Por padrão, quando você cria um novo sistema de arquivos, a Amazon FSx importa os metadados do arquivo (nome, propriedade, data e hora e permissões) dos objetos no bucket vinculado do S3 no momento da criação do sistema de arquivos. Você pode configurar seu FSx sistema de arquivos for Lustre para importar automaticamente metadados de objetos que são adicionados, alterados ou excluídos do seu bucket do S3 após a criação do sistema de arquivos. FSx for Lustre atualiza a listagem de arquivos e diretórios de um objeto alterado após a criação, da mesma forma que importa os metadados do arquivo na criação do sistema de arquivos. Quando a Amazon FSx atualiza a listagem de arquivos e diretórios de um objeto alterado, se o objeto alterado no bucket do S3 não contiver mais seus metadados, a Amazon FSx mantém os valores atuais dos metadados do arquivo, em vez de usar as permissões padrão. **nota** As configurações de importação estão disponíveis FSx para sistemas de arquivos Lustre criados após as 15h EDT, 23 de julho de 2020. Você pode definir preferências de importação ao criar um novo sistema de arquivos e atualizar a configuração nos sistemas de arquivos existentes usando o console FSx de gerenciamento, a AWS CLI e a AWS API. Quando você cria o sistema de arquivos, seus objetos existentes no S3 aparecem como listagens de arquivos e diretórios. Após criar o sistema de arquivos, como você deseja atualizá-lo à medida que o conteúdo do bucket do S3 é atualizado? Um sistema de arquivos pode ter uma das seguintes preferências de importação: **nota** O sistema de arquivos FSx for Lustre e seu bucket S3 vinculado devem estar localizados na mesma AWS região para importar atualizações automaticamente. + **Atualize minha lista de arquivos e diretórios à medida que objetos são adicionados ao meu bucket do S3**: (padrão) A Amazon atualiza FSx automaticamente as listagens de arquivos e diretórios de quaisquer novos objetos adicionados ao bucket do S3 vinculado que não existam atualmente no sistema de FSx arquivos. FSx A Amazon não atualiza as listagens de objetos que foram alterados no bucket do S3. FSx A Amazon não exclui listagens de objetos que são excluídos no bucket do S3. **nota** A configuração padrão de preferências de importação para importar dados de um bucket do S3 vinculado usando a CLI e a API é `NONE`. A configuração padrão de preferências de importação ao usar o console é atualizar o Lustre conforme novos objetos são adicionados ao bucket do S3. + **Atualizar minha listagem de arquivos e diretórios à medida que objetos são adicionados ou alterados no meu bucket do S3**: a Amazon atualiza FSx automaticamente as listagens de arquivos e diretórios de todos os novos objetos adicionados ao bucket do S3 e de quaisquer objetos existentes que são alterados no bucket do S3 após você escolher essa opção. FSx A Amazon não exclui listagens de objetos que são excluídos no bucket do S3. + **Atualizar minha listagem de arquivos e diretórios à medida que objetos são adicionados, alterados ou excluídos do meu bucket do S3**: a Amazon atualiza FSx automaticamente as listagens de arquivos e diretórios de todos os novos objetos adicionados ao bucket do S3, quaisquer objetos existentes que são alterados no bucket do S3 e quaisquer objetos existentes que são excluídos do bucket do S3 após você escolher essa opção. + **Não atualize meu arquivo e minha listagem direta quando objetos são adicionados, alterados ou excluídos do meu bucket do S3**. A Amazon FSx só atualiza as listagens de arquivos e diretórios do bucket do S3 vinculado quando o sistema de arquivos é criado. FSx não atualiza as listagens de arquivos e diretórios de objetos novos, alterados ou excluídos depois de escolher essa opção. Quando você define as preferências de importação para atualizar suas listagens de arquivos e diretórios do sistema de arquivos com base nas alterações no bucket S3 vinculado, a Amazon FSx cria uma configuração de notificação de eventos no bucket S3 vinculado chamado. `FSx` Não modifique ou exclua a configuração de notificação de eventos `FSx` no bucket do S3. Isso evita a importação automática de listagens de arquivos e de diretórios novos ou alterados para seu sistema de arquivos. Quando a Amazon FSx atualiza uma lista de arquivos que foi alterada no bucket S3 vinculado, ela substitui o arquivo local pela versão atualizada, mesmo que o arquivo esteja bloqueado para gravação. Da mesma forma, quando a Amazon FSx atualiza uma lista de arquivos quando o objeto correspondente é excluído no bucket S3 vinculado, ela exclui o arquivo local, mesmo que o arquivo esteja bloqueado para gravação. A Amazon FSx se esforça ao máximo para atualizar seu sistema de arquivos. A Amazon FSx não pode atualizar o sistema de arquivos com alterações nas seguintes situações: + Quando FSx a Amazon não tem permissão para abrir o objeto S3 alterado ou novo. + Quando a configuração de notificação de eventos `FSx` no bucket do S3 vinculado é excluída ou alterada. Qualquer uma dessas condições faz com que o estado do ciclo de vida do repositório de dados se torne o estado de **Configuração incorreta**. Para obter mais informações, consulte [Estado do ciclo de vida do repositório de dados](#legacy-data-lifecycle). ### Pré-requisitos As seguintes condições são necessárias para FSx que a Amazon importe automaticamente arquivos novos, alterados ou excluídos do bucket S3 vinculado: + O sistema de arquivos e o bucket do S3 vinculado devem estar localizados na mesma região da AWS . + O bucket do S3 não tem um estado de ciclo de vida de Configuração incorreta. Para obter mais informações, consulte [Estado do ciclo de vida do repositório de dados](#legacy-data-lifecycle). + Sua conta deve ter as permissões obrigatórias para configurar e receber notificações de eventos no bucket do S3 vinculado. ### Tipos de alterações de arquivo com suporte A Amazon FSx oferece suporte à importação das seguintes alterações nos arquivos e pastas que ocorrem no bucket S3 vinculado: + Alterações no conteúdo do arquivo + Alterações nos metadados de arquivos ou de pastas + Alterações no destino do link simbólico ou nos metadados ### Atualização das preferências de importação É possível definir as preferências de importação de um sistema de arquivos ao criar um novo sistema de arquivos. Para obter mais informações, consulte [Vincular o sistema de arquivos a um bucket do Amazon S3](create-dra-linked-data-repo.md). Você também pode atualizar as preferências de importação de um sistema de arquivos após sua criação usando o AWS Management Console, a AWS CLI e a FSx API da Amazon, conforme mostrado no procedimento a seguir. ------ #### [ Console ] 1. Abra o FSx console da Amazon em [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/). 1. No painel, escolha **Sistemas de arquivos**. 1. Selecione o sistema de arquivos que deseja gerenciar para exibir os detalhes do sistema de arquivos. 1. Escolha **Repositório de dados** para visualizar as configurações do repositório de dados. É possível modificar as preferências de importação se o estado do ciclo de vida for **DISPONÍVEL** ou **CONFIGURAÇÃO INCORRETA**. Para obter mais informações, consulte [Estado do ciclo de vida do repositório de dados](#legacy-data-lifecycle). 1. Selecione **Ações** e, em seguida, escolha **Atualizar preferências de importação** para exibir a caixa de diálogo **Atualizar preferências de importação**. 1. Selecione a nova configuração e, em seguida, escolha **Atualizar** para fazer a alteração. ------ #### [ CLI ] Para atualizar as preferências de importação, use o comando [https://docs.aws.amazon.com/cli/latest/reference/fsx/update-file-system.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/update-file-system.html) da CLI. A operação de API correspondente é [https://docs.aws.amazon.com/fsx/latest/APIReference/API_UpdateFileSystem.html](https://docs.aws.amazon.com/fsx/latest/APIReference/API_UpdateFileSystem.html). Depois de atualizar com sucesso o sistema de arquivos`AutoImportPolicy`, a Amazon FSx retornará a descrição do sistema de arquivos atualizado como JSON, conforme mostrado aqui: ``` { "FileSystems": [ { "OwnerId": "111122223333", "CreationTime": 1549310341.483, "FileSystemId": "fs-0123456789abcdef0", "FileSystemType": "LUSTRE", "Lifecycle": "UPDATING", "StorageCapacity": 2400, "VpcId": "vpc-123456", "SubnetIds": [ "subnet-123456" ], "NetworkInterfaceIds": [ "eni-039fcf55123456789" ], "DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com", "ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0", "Tags": [ { "Key": "Name", "Value": "Lustre-TEST-1" } ], "LustreConfiguration": { "DeploymentType": "SCRATCH_1", "DataRepositoryConfiguration": { "AutoImportPolicy": "NEW_CHANGED_DELETED", "Lifecycle": "UPDATING", "ImportPath": "s3://amzn-s3-demo-bucket/", "ExportPath": "s3://amzn-s3-demo-bucket/export", "ImportedFileChunkSize": 1024 } "PerUnitStorageThroughput": 50, "WeeklyMaintenanceStartTime": "2:04:30" } } ] } ``` ------