View a markdown version of this page

Almacenamiento persistente para flotas gestionadas por servicios - AWS Nube de plazos
Cómo funciona el almacenamiento persistenteVentajas del almacenamiento persistenteCuándo usar el almacenamiento persistenteConfigurar el almacenamiento persistente para una flotaIntegración en tiempo de ejecuciónAdministrar los volúmenes persistentesActualización de la configuración de almacenamiento persistenteCifradoConsideraciones

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Almacenamiento persistente para flotas gestionadas por servicios

AWS El almacenamiento persistente de Deadline Cloud (Deadline Cloud) proporciona volúmenes dedicados de Amazon Elastic Block Store (Amazon EBS), separados del volumen de arranque raíz, para los trabajadores de flotas gestionadas por servicios (SMF). Estos volúmenes conservan los datos de todos los eventos del ciclo de vida de los trabajadores. Con el almacenamiento persistente, las instalaciones de los paquetes conda, las cachés de aplicaciones y los archivos de activos permanecen disponibles cuando se reemplaza a los trabajadores durante las operaciones de mantenimiento rutinario o de escalado.

Cómo funciona el almacenamiento persistente

Cuando habilita el almacenamiento persistente en una flota gestionada por servicios, Deadline Cloud gestiona automáticamente el ciclo de vida de los volúmenes de Amazon EBS para sus trabajadores:

  1. Cuando un trabajador se lanza, Deadline Cloud crea o reutiliza un volumen de Amazon EBS disponible en la misma zona de disponibilidad y lo adjunta al trabajador.

  2. Deadline Cloud formatea el volumen (si es nuevo) y lo monta en la ruta que especifiques en la configuración de la flota.

  3. Cuando el trabajador se despide o es reemplazado, Deadline Cloud separa el volumen y lo pone a disposición de un futuro trabajador de la misma flota y zona de disponibilidad para que lo reutilice.

Como los volúmenes se reutilizan dentro de la misma flota y zona de disponibilidad, los trabajadores subsiguientes se benefician de los datos que se escribieron anteriormente en el volumen. El volumen proporciona ancho de banda dedicado e IOPS sin problemas entre los trabajadores.

nota

El almacenamiento persistente solo está disponible para las flotas gestionadas por el servicio. En el caso de las flotas administradas por el cliente, usted administra su propia infraestructura de almacenamiento.

Ventajas del almacenamiento persistente

El almacenamiento persistente ofrece las siguientes ventajas para las cargas de trabajo de flotas gestionadas por el servicio:

  • Inicio de tareas más rápido: las instalaciones de paquetes, los sombreadores compilados y los activos procesados de Conda persisten hasta que los trabajadores sustituyen a los trabajadores, lo que elimina la repetición de descargas e instalaciones.

  • Rendimiento dedicado: cada trabajador recibe su propio volumen de Amazon EBS con IOPS y rendimiento dedicados, lo que evita la contención que se produce con el almacenamiento en red compartido.

  • Administración automática: Deadline Cloud gestiona la creación, el adjunto, el formateo, el montaje y la limpieza de los volúmenes sin necesidad de intervención manual.

  • Integración del tiempo de ejecución: los consumidores de tiempo de ejecución compatibles, como los entornos de colas conda y la caché inmutable del sistema de archivos virtual (VFS), utilizan automáticamente el almacenamiento persistente cuando está disponible, sin necesidad de cambiar la configuración del trabajo.

  • Control de costos: configure un tiempo de vida (TTL) para limpiar automáticamente los volúmenes no utilizados y reducir los costos de almacenamiento durante los períodos de inactividad.

Cuándo usar el almacenamiento persistente

Considere la posibilidad de habilitar el almacenamiento persistente para su flota gestionada por el servicio en los siguientes escenarios:

  • Sus trabajos utilizan paquetes conda que requieren un tiempo considerable de descarga e instalación.

  • Sus cargas de trabajo de renderizado compilan sombreadores o procesan activos que pueden reutilizarse en renderizados posteriores.

  • Utiliza Perforce u otros sistemas de control de versiones en los que el estado de sincronización del espacio de trabajo reduce la transferencia de datos en las actualizaciones posteriores.

  • Sus trabajos utilizan el sistema de archivos virtual (VFS) y se beneficiarían de una caché de activos persistente e inmutable.

  • Desea un rendimiento de almacenamiento dedicado sin la sobrecarga operativa que supone administrar sistemas de archivos de red compartidos.

  • Usted instala renderizadores personalizados u otro tipo de software en los trabajadores mediante scripts de configuración del host y desea que esas instalaciones se almacenen en caché en el volumen persistente.

Configurar el almacenamiento persistente para una flota

Puede configurar el almacenamiento persistente al crear una nueva flota gestionada por el servicio o al actualizar una flota existente.

Configuración del almacenamiento persistente (consola)

Antes de empezar, debe tener una granja existente con al menos una flota gestionada por el servicio o estar preparado para crear una nueva flota.

Para configurar el almacenamiento persistente para una flota

  1. Inicie sesión en la consola AWS de administración y abra la consola de Deadline Cloud.

  2. En el panel de navegación, selecciona Granjas y, a continuación, selecciona tu granja.

  3. Seleccione la pestaña Flotas y, a continuación, elija Crear flota, o seleccione una flota existente gestionada por el servicio y elija Editar.

  4. En Capacidades de almacenamiento, en Modo de almacenamiento, selecciona Almacenamiento persistente.

  5. Configure los ajustes de almacenamiento raíz para el volumen de arranque (tamaño, IOPS y rendimiento).

  6. En Almacenamiento persistente, configura los siguientes ajustes:

    • Tamaño: el tamaño del volumen persistente. El rango válido es de 1 a 65 536 GiB. Compruebe que el tamaño predeterminado es adecuado para sus cargas de trabajo de renderizado y considere aumentar el tamaño del volumen para los flujos de trabajo que utilizan recursos o cachés de mayor tamaño.

    • Ruta de montaje: la ruta absoluta en la que se monta el volumen en la máquina de trabajo (por ejemplo, /mnt/persistent paraLinux). En el caso de Windows los trabajadores, especifique una letra de unidad, por ejemploD:.

    • Rendimiento: el rendimiento aprovisionado para el volumen. El rango válido es de 125 a 2000. MiB/s

    • Tiempo máximo de inactividad: cuánto tiempo puede permanecer inactivo un volumen disponible antes de que se elimine. Seleccione un valor del menú desplegable (por ejemplo, 12 horas).

    • IOPS: las IOPS aprovisionadas para el volumen. El rango válido es de 3000 a 80 000 IOPS. Las IOPS deben tener un rendimiento de al menos 4 veces.

  7. Complete los pasos restantes de configuración de la flota y elija Crear flota o Guardar cambios.

Configuración del almacenamiento persistente (AWS CLI)

Para configurar el almacenamiento persistente mediante AWS Command Line Interface (AWS CLI), incluya el persistentVolumeConfiguration parámetro en la configuración de su flota cuando cree o actualice una flota.

En el siguiente ejemplo, se crea una flota con el almacenamiento persistente activado:

{
  "configuration": {
    "serviceManagedEc2FleetConfiguration": {
      "instanceCapabilities": {
        "vCpuCount": {"min": 4, "max": 8},
        "memoryMiB": {"min": 16384, "max": 32768},
        "osFamily": "LINUX"
      },
      "instanceMarketOptions": {
        "type": "spot"
      },
      "persistentVolumeConfiguration": {
        "sizeGiB": 2048,
        "iops": 16000,
        "throughputMiB": 500,
        "mountPath": "/mnt/persistent",
        "lastUsedTtlHours": 168
      }
    }
  }
}

Integración en tiempo de ejecución

Cuando el almacenamiento persistente se monta correctamente en un dispositivo de trabajo, Deadline Cloud establece la variable de DEADLINE_PERSISTENT_MOUNT entorno en la ruta de montaje configurada. Los siguientes consumidores de tiempo de ejecución utilizan automáticamente el almacenamiento persistente cuando la variable de entorno está presente:

  • Entornos de cola de Conda: las instalaciones de Package se almacenan en el volumen persistente, por lo que los trabajadores posteriores reutilizan los paquetes previamente instalados en lugar de volver a descargarlos e instalarlos.

  • Caché inmutable del sistema de archivos virtual (VFS): el VFS almacena su caché de activos inmutable en el volumen persistente, de modo que los activos descargados anteriormente están disponibles sin necesidad de volver a descargarlos desde Amazon Simple Storage Service (Amazon S3).

También puede usar la variable de DEADLINE_PERSISTENT_MOUNT entorno en sus propias plantillas de trabajo y scripts para almacenar los datos que deberían persistir a lo largo del ciclo de vida de los trabajadores.

Administrar los volúmenes persistentes

Puede ver y gestionar los volúmenes persistentes de su flota mediante la consola o la API de Deadline Cloud. AWS CLI Están disponibles las siguientes operaciones:

  • Listar volúmenes: vea todos los volúmenes persistentes asociados a una flota, incluidos su estado, tamaño y zona de disponibilidad.

  • Obtenga detalles del volumen: recupere información detallada sobre un volumen específico, incluido su estado actual, el estado de los archivos adjuntos y la configuración.

  • Eliminar un volumen: elimine permanentemente un volumen persistente no adjunto que ya no sea necesario. No puede eliminar un volumen que esté actualmente adjunto a un trabajador.

Actualización de la configuración de almacenamiento persistente

Puede actualizar la configuración de almacenamiento persistente en una flota existente. Se admiten los siguientes cambios:

  • IOPS y rendimiento: Deadline Cloud aplicará los cambios la próxima vez que adjunte un volumen a un trabajador.

  • Tamaño del volumen (solo para aumentar): Deadline Cloud amplía los volúmenes antes del siguiente archivo adjunto. No puedes reducir el tamaño del volumen.

  • Desactiva el almacenamiento persistente: Deadline Cloud limpia automáticamente los volúmenes existentes cuando ya no están conectados a un trabajador.

importante

Los cambios de configuración no afectan a los trabajadores actuales. Los cambios solo se aplican a los nuevos trabajadores que se lanzan después de la actualización.

Cifrado

Los volúmenes persistentes utilizan los ajustes de cifrado configurados a nivel de granja. Si configuró una clave administrada por el cliente AWS Key Management Service (AWS KMS) para su granja, los volúmenes persistentes se cifran con esa clave. De lo contrario, los volúmenes persistentes se cifran con una clave propiedad del servicio.

Consideraciones

Tenga en cuenta las siguientes consideraciones al utilizar el almacenamiento persistente:

  • Los volúmenes persistentes son una optimización del almacenamiento en caché, no un almacenamiento primario duradero. Utilice los volúmenes persistentes solo para los datos que pueda volver a crear, como instalaciones de paquetes, sombreadores compilados y cachés de activos. Deadline Cloud puede reemplazar un volumen en cualquier momento y no puedes acceder directamente a los volúmenes persistentes.

  • Deadline Cloud configura el directorio principal del trabajador para usar el volumen persistente. El software que almacena datos en el directorio principal (como los paquetes conda y las cachés de aplicaciones) se beneficia automáticamente de la persistencia. Si el software escribe en rutas ajenas al directorio principal, debe volver a configurarlo para que utilice la ruta de montaje persistente; de lo contrario, esos archivos no se conservarán a lo largo de los eventos del ciclo de vida de los trabajadores.

  • Los volúmenes persistentes no se adjuntan a varios trabajadores simultáneamente. Cada volumen sirve a un trabajador a la vez, pero diferentes trabajadores lo reutilizan a lo largo de los eventos del ciclo de vida.

  • Los volúmenes se clasifican en función de una flota y una zona de disponibilidad específicas. Un trabajador de otra zona de disponibilidad no puede reutilizar un volumen creado en una zona de disponibilidad diferente.

  • No se garantiza que un trabajador específico reciba el mismo volumen que utilizó anteriormente. Se puede asignar cualquier volumen disponible en la misma flota y zona de disponibilidad.

  • Si no se puede aprovisionar el almacenamiento persistente (por ejemplo, debido a los límites de cuota), el trabajo no se realizará correctamente. Los trabajadores no vuelven a trabajar sin un almacenamiento persistente.

  • El almacenamiento persistente se factura en función del número de volúmenes activos y de su configuración. Para controlar los costes durante los períodos de inactividad, configure un TTL o elimine la configuración de almacenamiento persistente de su flota.