View a markdown version of this page

Armazenamento persistente para frotas gerenciadas por serviços - AWS Nuvem de prazos
Como funciona o armazenamento persistenteBenefícios do armazenamento persistenteQuando usar o armazenamento persistenteConfigurando o armazenamento persistente para uma frotaIntegração RuntimeGerenciando volumes persistentesAtualizando a configuração de armazenamento persistenteCriptografiaConsiderações

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Armazenamento persistente para frotas gerenciadas por serviços

AWS O armazenamento persistente do Deadline Cloud (Deadline Cloud) fornece volumes dedicados do Amazon Elastic Block Store (Amazon EBS), separados do volume de inicialização raiz, para trabalhadores de frotas gerenciadas por serviços (SMF). Esses volumes preservam os dados em todos os eventos do ciclo de vida do trabalhador. Com o armazenamento persistente, as instalações do pacote conda, os caches de aplicativos e os arquivos de ativos permanecem disponíveis quando os trabalhadores são substituídos durante operações rotineiras de manutenção ou escalonamento.

Como funciona o armazenamento persistente

Quando você ativa o armazenamento persistente em uma frota gerenciada por serviços, o Deadline Cloud gerencia automaticamente o ciclo de vida dos volumes do Amazon EBS para seus funcionários:

  1. Quando um trabalhador inicia, o Deadline Cloud cria ou reutiliza um volume Amazon EBS disponível na mesma zona de disponibilidade e anexa o volume ao funcionário.

  2. O Deadline Cloud formata o volume (se novo) e o monta no caminho especificado na configuração da frota.

  3. Quando o funcionário é demitido ou substituído, o Deadline Cloud separa o volume e o disponibiliza para reutilização por um futuro trabalhador na mesma frota e zona de disponibilidade.

Como os volumes são reutilizados na mesma frota e zona de disponibilidade, os funcionários subsequentes se beneficiam dos dados que foram gravados anteriormente no volume. O volume fornece largura de banda dedicada e IOPS sem contenção entre trabalhadores.

nota

O armazenamento persistente está disponível somente para frotas gerenciadas por serviços. Para frotas gerenciadas pelo cliente, você gerencia sua própria infraestrutura de armazenamento.

Benefícios do armazenamento persistente

O armazenamento persistente oferece os seguintes benefícios para cargas de trabalho de frota gerenciadas por serviços:

  • Inicialização mais rápida do trabalho — as instalações do pacote Conda, os shaders compilados e os ativos processados persistem durante a substituição do trabalhador, eliminando downloads e instalações repetidos.

  • Desempenho dedicado — Cada trabalhador recebe seu próprio volume do Amazon EBS com IOPS e taxa de transferência dedicados, evitando a contenção que ocorre com o armazenamento de rede compartilhado.

  • Gerenciamento automático — O Deadline Cloud gerencia a criação, anexação, formatação, montagem e limpeza de volumes sem exigir intervenção manual.

  • Integração de tempo de execução — consumidores de tempo de execução compatíveis, como ambientes de fila conda e o cache imutável do sistema de arquivos virtual (VFS), usam automaticamente o armazenamento persistente quando disponível, sem exigir alterações na configuração do trabalho.

  • Controle de custos — configure um time-to-life (TTL) para limpar automaticamente os volumes não utilizados e reduzir os custos de armazenamento durante os períodos de inatividade.

Quando usar o armazenamento persistente

Considere habilitar o armazenamento persistente para sua frota gerenciada por serviços nos seguintes cenários:

  • Seus trabalhos usam pacotes conda que exigem um tempo significativo de download e instalação.

  • Suas cargas de trabalho de renderização compilam sombreadores ou ativos de processo que podem ser reutilizados em renderizações subsequentes.

  • Você usa o Perforce ou outros sistemas de controle de versão em que o estado de sincronização do espaço de trabalho reduz a transferência de dados em atualizações subsequentes.

  • Seus trabalhos usam o sistema de arquivos virtual (VFS) e se beneficiariam de um cache persistente de ativos imutáveis.

  • Você quer desempenho de armazenamento dedicado sem a sobrecarga operacional de gerenciar sistemas de arquivos de rede compartilhados.

  • Você instala renderizadores personalizados ou outro software nos trabalhadores por meio de scripts de configuração do host e deseja que essas instalações sejam armazenadas em cache no volume persistente.

Configurando o armazenamento persistente para uma frota

Você pode configurar o armazenamento persistente ao criar uma nova frota gerenciada por serviços ou atualizar uma frota existente.

Configurando o armazenamento persistente (console)

Antes de começar, você deve ter uma fazenda existente com pelo menos uma frota gerenciada por serviços ou estar pronto para criar uma nova frota.

Para configurar o armazenamento persistente para uma frota

  1. Faça login no AWS Management Console e abra o console do Deadline Cloud.

  2. No painel de navegação, escolha Fazendas e selecione sua fazenda.

  3. Escolha a guia Frotas e, em seguida, escolha Criar frota ou selecione uma frota existente gerenciada por serviços e escolha Editar.

  4. Em Recursos de armazenamento, em Modo de armazenamento, escolha Armazenamento persistente.

  5. Defina as configurações de armazenamento raiz para o volume de inicialização (tamanho, IOPS e taxa de transferência).

  6. Em Armazenamento persistente, defina as seguintes configurações:

    • Tamanho — O tamanho do volume persistente. O intervalo válido é de 1 a 65.536 GiB. Verifique se o tamanho padrão é adequado para suas cargas de trabalho de renderização e considere aumentar o tamanho do volume para fluxos de trabalho que usam ativos ou caches maiores.

    • Caminho de montagem — O caminho absoluto em que o volume é montado no trabalhador (por /mnt/persistent exemplo, forLinux). Para Windows trabalhadores, especifique uma letra de drive, comoD:.

    • Taxa de transferência — A taxa de transferência provisionada para o volume. O intervalo válido é de 125 MiB/s a 2.000.

    • Tempo máximo de inatividade — Por quanto tempo um volume disponível pode ficar inativo antes de ser excluído. Selecione um valor na lista suspensa (por exemplo, 12 horas).

    • IOPS — O IOPS provisionado para o volume. O intervalo válido é de 3.000 a 80.000 IOPS. O IOPS deve ter pelo menos 4 vezes a taxa de transferência.

  7. Conclua as etapas restantes de configuração da frota e escolha Criar frota ou Salvar alterações.

Configurando o armazenamento persistente (AWS CLI)

Para configurar o armazenamento persistente usando o AWS Command Line Interface (AWS CLI), inclua o persistentVolumeConfiguration parâmetro na configuração da sua frota ao criar ou atualizar uma frota.

O exemplo a seguir cria uma frota com armazenamento persistente ativado:

{
  "configuration": {
    "serviceManagedEc2FleetConfiguration": {
      "instanceCapabilities": {
        "vCpuCount": {"min": 4, "max": 8},
        "memoryMiB": {"min": 16384, "max": 32768},
        "osFamily": "LINUX"
      },
      "instanceMarketOptions": {
        "type": "spot"
      },
      "persistentVolumeConfiguration": {
        "sizeGiB": 2048,
        "iops": 16000,
        "throughputMiB": 500,
        "mountPath": "/mnt/persistent",
        "lastUsedTtlHours": 168
      }
    }
  }
}

Integração Runtime

Quando o armazenamento persistente é montado com sucesso em um trabalhador, o Deadline Cloud define a variável de DEADLINE_PERSISTENT_MOUNT ambiente para o caminho de montagem configurado. Os seguintes consumidores de tempo de execução usam automaticamente o armazenamento persistente quando a variável de ambiente está presente:

  • Ambientes de fila Conda — As instalações do Package são armazenadas no volume persistente, para que os trabalhadores subsequentes reutilizem os pacotes instalados anteriormente em vez de baixá-los e instalá-los novamente.

  • Cache imutável do sistema de arquivos virtual (VFS) — O VFS armazena seu cache de ativos imutáveis no volume persistente, de forma que os ativos baixados anteriormente estejam disponíveis sem necessidade de serem baixados novamente do Amazon Simple Storage Service (Amazon S3).

Você também pode usar a variável de DEADLINE_PERSISTENT_MOUNT ambiente em seus próprios scripts e modelos de trabalho para armazenar dados que devem persistir em todos os eventos do ciclo de vida do trabalhador.

Gerenciando volumes persistentes

Você pode visualizar e gerenciar volumes persistentes para sua frota usando o console ou a API do Deadline Cloud. AWS CLI As seguintes operações estão disponíveis:

  • Listar volumes — Visualize todos os volumes persistentes associados a uma frota, incluindo seu estado, tamanho e zona de disponibilidade.

  • Obtenha detalhes do volume — recupere informações detalhadas sobre um volume específico, incluindo seu estado atual, status do anexo e configuração.

  • Excluir um volume — exclua permanentemente um volume persistente não anexado que não seja mais necessário. Você não pode excluir um volume atualmente anexado a um trabalhador.

Atualizando a configuração de armazenamento persistente

Você pode atualizar a configuração de armazenamento persistente em uma frota existente. As seguintes alterações são suportadas:

  • IOPS e taxa de transferência — o Deadline Cloud aplica as alterações na próxima vez em que anexa um volume a um trabalhador.

  • Tamanho do volume (somente aumento) — O Deadline Cloud amplia os volumes antes do próximo anexo. Você não pode diminuir o tamanho do volume.

  • Desative o armazenamento persistente — O Deadline Cloud limpa automaticamente os volumes existentes quando eles não estão mais conectados a um trabalhador.

Importante

As alterações na configuração não afetam os trabalhadores existentes. As alterações se aplicam somente aos novos trabalhadores lançados após a atualização.

Criptografia

Os volumes persistentes usam as configurações de criptografia definidas no nível do farm. Se você configurou uma chave gerenciada pelo cliente AWS Key Management Service (AWS KMS) para sua fazenda, os volumes persistentes são criptografados com essa chave. Caso contrário, os volumes persistentes são criptografados com uma chave de propriedade do serviço.

Considerações

Lembre-se das seguintes considerações ao usar o armazenamento persistente:

  • Os volumes persistentes são uma otimização do cache, não um armazenamento primário durável. Use volumes persistentes somente para dados que você possa recriar, como instalações de pacotes, sombreamentos compilados e caches de ativos. O Deadline Cloud pode substituir um volume a qualquer momento, e você não pode acessar volumes persistentes diretamente.

  • O Deadline Cloud configura o diretório inicial do trabalhador para usar o volume persistente. O software que armazena dados no diretório inicial (como pacotes conda e caches de aplicativos) se beneficia automaticamente da persistência. Se seu software grava em caminhos fora do diretório inicial, você deve reconfigurá-lo para usar o caminho de montagem persistente, ou esses arquivos não persistirão nos eventos do ciclo de vida do trabalhador.

  • Os volumes persistentes não são vinculados a vários trabalhadores simultaneamente. Cada volume atende a um trabalhador por vez, mas é reutilizado por diferentes trabalhadores em eventos do ciclo de vida.

  • Os volumes têm como escopo uma frota e uma zona de disponibilidade específicas. Um volume criado em uma zona de disponibilidade não pode ser reutilizado por um trabalhador em outra zona de disponibilidade.

  • Não é garantido que um trabalhador específico receba o mesmo volume usado anteriormente. Qualquer volume disponível na mesma frota e zona de disponibilidade pode ser atribuído.

  • Se o armazenamento persistente não puder ser provisionado (por exemplo, devido aos limites de cota), o trabalho falhará. Os trabalhadores não voltam a trabalhar sem armazenamento persistente.

  • Você é cobrado pelo armazenamento persistente com base no número de volumes ativos e em suas configurações. Para controlar os custos durante os períodos de inatividade, configure um TTL ou remova a configuração de armazenamento persistente da sua frota.