Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés. # Uso de archivos en sus trabajos Muchos de los trabajos que envías a AWS Deadline Cloud tienen archivos de entrada y salida. Los archivos de entrada y los directorios de salida pueden estar ubicados en una combinación de sistemas de archivos compartidos y unidades locales. Los trabajos deben ubicar el contenido en esas ubicaciones. Deadline Cloud ofrece dos funciones, [los archivos adjuntos de los trabajos](https://docs.aws.amazon.com/deadline-cloud/latest/userguide/storage-job-attachments.html) y [los perfiles de almacenamiento](https://docs.aws.amazon.com/deadline-cloud/latest/userguide/storage-shared.html) que funcionan en conjunto para ayudar a sus trabajos a localizar los archivos que necesitan. Los adjuntos de trabajo ofrecen varios beneficios + Mueva archivos entre hosts mediante Amazon S3 + Transfiera archivos desde su estación de trabajo a los hosts de los trabajadores y viceversa + Disponible para los trabajos en colas en los que se habilita la función + Se utiliza principalmente con flotas gestionadas por el servicio, pero también es compatible con las flotas gestionadas por el cliente. Utilice los perfiles de almacenamiento para mapear el diseño de las ubicaciones de los sistemas de archivos compartidos en su estación de trabajo y en los hosts de los trabajadores. Este mapeo ayuda a sus trabajos a localizar los archivos y directorios compartidos cuando sus ubicaciones difieren entre la estación de trabajo y los hosts de los trabajadores, por ejemplo, en configuraciones multiplataforma con estaciones de trabajo basadas y hosts de trabajo basados en servidores de trabajo Windows basados. Linux Los adjuntos de trabajo también utilizan el mapa del perfil de almacenamiento de la configuración del sistema de archivos para identificar los archivos que necesitan transferirse de un host a otro a través de Amazon S3. Si no utiliza adjuntos de tareas y no necesita reasignar las ubicaciones de los archivos y directorios entre las estaciones de trabajo y los hosts de los trabajadores, no necesitará modelar sus archivos compartidos con perfiles de almacenamiento. **Topics** + [Ejemplo de infraestructura de proyecto](sample-project-infrastructure.md) + [Perfiles de almacenamiento y mapeo de rutas](storage-profiles-and-path-mapping.md) # Ejemplo de infraestructura de proyecto Para demostrar el uso de los archivos adjuntos de trabajo y los perfiles de almacenamiento, configure un entorno de prueba con dos proyectos distintos. Puede usar la consola de Deadline Cloud para crear los recursos de prueba. 1. Si aún no lo has hecho, crea una granja de pruebas. Para crear una granja, siga el procedimiento descrito en [Crear una granja](https://docs.aws.amazon.com/deadline-cloud/latest/userguide/farms.html). 1. Cree dos colas para los trabajos en cada uno de los dos proyectos. Para crear colas, siga el procedimiento descrito en [Crear una](https://docs.aws.amazon.com/deadline-cloud/latest/userguide/create-queue.html) cola. 1. Cree la primera cola llamada. **Q1** Utilice la siguiente configuración, utilice los valores predeterminados para todos los demás elementos. + Para adjuntar trabajos, selecciona **Crear un nuevo bucket de Amazon S3**. + Seleccione **Habilitar la asociación con flotas gestionadas por el cliente**. + Para ejecutar como usuario, introduzca tanto el usuario como **jobuser** el grupo de POSIX. + Para el rol de servicio de colas, cree un nuevo rol llamado **AssetDemoFarm-Q1-Role** + Desactive la casilla de verificación del entorno de colas conda predeterminado. 1. Cree la segunda cola llamada. **Q2** Utilice la siguiente configuración, utilice los valores predeterminados para todos los demás elementos. + Para adjuntar trabajos, selecciona **Crear un nuevo bucket de Amazon S3**. + Seleccione **Habilitar la asociación con flotas gestionadas por el cliente**. + Para ejecutar como usuario, introduzca tanto el usuario como **jobuser** el grupo de POSIX. + Para el rol de servicio de colas, cree un nuevo rol llamado **AssetDemoFarm-Q2-Role** + Desactive la casilla de verificación del entorno de colas conda predeterminado. 1. Cree una flota única gestionada por el cliente que ejecute los trabajos de ambas colas. Para crear la flota, siga el procedimiento descrito en [Crear una](https://docs.aws.amazon.com/deadline-cloud/latest/userguide/create-a-cmf.html) flota gestionada por el cliente. Utilice la siguiente configuración: + Para **Nombre**, utilice**DemoFleet**. + Para el **tipo de flota**, seleccione **Gestionado por el cliente** + Para el **rol de servicio de flota**, cree un nuevo rol denominado **AssetDemoFarm-Fleet-Role**. + No asocies la flota a ninguna cola. El entorno de prueba supone que hay tres sistemas de archivos compartidos entre los hosts que utilizan recursos compartidos de archivos de red. En este ejemplo, las ubicaciones tienen los siguientes nombres: + `FSCommon`- contiene activos de trabajo de entrada que son comunes a ambos proyectos. + `FS1`- contiene los activos de trabajo de entrada y salida para el proyecto 1. + `FS2`- contiene los activos de trabajo de entrada y salida para el proyecto 2. El entorno de prueba también supone que hay tres estaciones de trabajo, de la siguiente manera: + `WSAll`- Una estación de trabajo Linux basada que utilizan los desarrolladores para todos los proyectos. Las ubicaciones del sistema de archivos compartidos son: + `FSCommon`: `/shared/common` + `FS1`: `/shared/projects/project1` + `FS2`: `/shared/projects/project2` + `WS1`- Una estación de trabajo Windows basada en el proyecto 1. Las ubicaciones del sistema de archivos compartidos son: + `FSCommon`: `S:\` + `FS1`: `Z:\` + `FS2`: No disponible + `WS1`- Una estación de trabajo macOS basada en el proyecto 2. Las ubicaciones del sistema de archivos compartidos son: + `FSCommon`: `/Volumes/common` + `FS1`: No disponible + `FS2`: `/Volumes/projects/project2` Por último, defina las ubicaciones del sistema de archivos compartidos para los trabajadores de su flota. Los ejemplos siguientes se refieren a esta configuración como`WorkerConfig`. Las ubicaciones compartidas son: + `FSCommon`: `/mnt/common` + `FS1`: `/mnt/projects/project1` + `FS2`: `/mnt/projects/project2` No necesita configurar ningún sistema de archivos, estaciones de trabajo o trabajadores compartidos que coincidan con esta configuración. No es necesario que las ubicaciones compartidas existan para la demostración. # Perfiles de almacenamiento y mapeo de rutas Utilice los perfiles de almacenamiento para modelar los sistemas de archivos de las estaciones de trabajo y los hosts de los trabajadores. Cada perfil de almacenamiento describe el diseño del sistema operativo y del sistema de archivos de una de las configuraciones del sistema. En este tema se describe cómo usar los perfiles de almacenamiento para modelar las configuraciones del sistema de archivos de sus hosts, de modo que Deadline Cloud pueda generar reglas de mapeo de rutas para sus trabajos, y cómo se generan esas reglas de mapeo de rutas a partir de sus perfiles de almacenamiento. Cuando envíes un trabajo a Deadline Cloud, puedes proporcionar un ID de perfil de almacenamiento opcional para el trabajo. Este perfil de almacenamiento describe el sistema de archivos de la estación de trabajo que lo envía. Describe la configuración original del sistema de archivos que utilizan las rutas de archivos de la plantilla de trabajo. También puede asociar un perfil de almacenamiento a una flota. El perfil de almacenamiento describe la configuración del sistema de archivos de todos los hosts trabajadores de la flota. Si tiene trabajadores con una configuración de sistema de archivos diferente, esos trabajadores deben estar asignados a una flota diferente en su granja. Las reglas de mapeo de rutas describen cómo se deben reasignar las rutas desde la forma en que se especifican en el trabajo hasta la ubicación real de la ruta en el host de un trabajador. Deadline Cloud compara la configuración del sistema de archivos descrita en el perfil de almacenamiento de un trabajo con el perfil de almacenamiento de la flota que ejecuta el trabajo para derivar estas reglas de mapeo de rutas. **Topics** + [Modele ubicaciones de sistemas de archivos compartidos con perfiles de almacenamiento](modeling-your-shared-filesystem-locations-with-storage-profiles.md) + [Configure los perfiles de almacenamiento para las flotas](configuring-storage-profiles-for-fleets.md) + [Configure los perfiles de almacenamiento para las colas](storage-profiles-for-queues.md) + [Obtenga reglas de mapeo de rutas a partir de los perfiles de almacenamiento](deriving-path-mapping-rules-from-storage-profiles.md) # Modele ubicaciones de sistemas de archivos compartidos con perfiles de almacenamiento Un perfil de almacenamiento modela la configuración del sistema de archivos de una de las configuraciones de su host. Hay cuatro configuraciones de host diferentes en la [infraestructura del proyecto de muestra](). En este ejemplo, se crea un perfil de almacenamiento independiente para cada uno. Puede crear un perfil de almacenamiento mediante cualquiera de las siguientes opciones: + [CreateStorageProfile API](https://docs.aws.amazon.com/deadline-cloud/latest/APIReference/API_CreateStorageProfile.html) + [AWS::Deadline::StorageProfile](https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/aws-resource-deadline-storageprofile.html) CloudFormation recurso + [Consola de AWS](https://docs.aws.amazon.com/deadline-cloud/latest/userguide/storage-shared.html#storage-profile) Un perfil de almacenamiento se compone de una lista de ubicaciones de sistemas de archivos, cada una de las cuales indica a Deadline Cloud la ubicación y el tipo de ubicación del sistema de archivos relevantes para los trabajos enviados desde o ejecutados en un host. Un perfil de almacenamiento solo debe modelar las ubicaciones relevantes para los trabajos. Por ejemplo, la `FSCommon` ubicación compartida se encuentra en la estación de trabajo de `WS1``S:\`, por lo que la ubicación correspondiente del sistema de archivos es: ``` { "name": "FSCommon", "path": "S:\\", "type": "SHARED" } ``` Utilice los siguientes comandos para crear el perfil de almacenamiento para las configuraciones de las `WS1` estaciones de trabajo `WS3` y la configuración de trabajo `WorkerConfig` mediante el [AWS CLI](https://docs.aws.amazon.com/cli/latest/userguide/cli-chap-welcome.html)comando in: `WS2` [AWS CloudShell](https://docs.aws.amazon.com/cloudshell/latest/userguide/welcome.html) ``` # Change the value of FARM_ID to your farm's identifier FARM_ID=farm-00112233445566778899aabbccddeeff aws deadline create-storage-profile --farm-id $FARM_ID \ --display-name WSAll \ --os-family LINUX \ --file-system-locations \ '[ {"name": "FSCommon", "type":"SHARED", "path":"/shared/common"}, {"name": "FS1", "type":"SHARED", "path":"/shared/projects/project1"}, {"name": "FS2", "type":"SHARED", "path":"/shared/projects/project2"} ]' aws deadline create-storage-profile --farm-id $FARM_ID \ --display-name WS1 \ --os-family WINDOWS \ --file-system-locations \ '[ {"name": "FSCommon", "type":"SHARED", "path":"S:\\"}, {"name": "FS1", "type":"SHARED", "path":"Z:\\"} ]' aws deadline create-storage-profile --farm-id $FARM_ID \ --display-name WS2 \ --os-family MACOS \ --file-system-locations \ '[ {"name": "FSCommon", "type":"SHARED", "path":"/Volumes/common"}, {"name": "FS2", "type":"SHARED", "path":"/Volumes/projects/project2"} ]' aws deadline create-storage-profile --farm-id $FARM_ID \ --display-name WorkerCfg \ --os-family LINUX \ --file-system-locations \ '[ {"name": "FSCommon", "type":"SHARED", "path":"/mnt/common"}, {"name": "FS1", "type":"SHARED", "path":"/mnt/projects/project1"}, {"name": "FS2", "type":"SHARED", "path":"/mnt/projects/project2"} ]' ``` **nota** Debe consultar las ubicaciones del sistema de archivos en sus perfiles de almacenamiento utilizando los mismos valores para la `name` propiedad en todos los perfiles de almacenamiento de su granja. Deadline Cloud compara los nombres para determinar si las ubicaciones de los sistemas de archivos de diferentes perfiles de almacenamiento hacen referencia a la misma ubicación al generar las reglas de mapeo de rutas. # Configure los perfiles de almacenamiento para las flotas Puede configurar una flota para que incluya un perfil de almacenamiento que modele las ubicaciones de los sistemas de archivos de todos los trabajadores de la flota. La configuración del sistema de archivos anfitrión de todos los trabajadores de una flota debe coincidir con el perfil de almacenamiento de la flota. Los trabajadores con diferentes configuraciones de sistemas de archivos deben estar en flotas separadas. Para establecer la configuración de su flota para usar el perfil de `WorkerConfig` almacenamiento, utilice: [AWS CLI[AWS CloudShell](https://docs.aws.amazon.com/cloudshell/latest/userguide/welcome.html)](https://docs.aws.amazon.com/cli/latest/userguide/cli-chap-welcome.html) ``` # Change the value of FARM_ID to your farm's identifier FARM_ID=farm-00112233445566778899aabbccddeeff # Change the value of FLEET_ID to your fleet's identifier FLEET_ID=fleet-00112233445566778899aabbccddeeff # Change the value of WORKER_CFG_ID to your storage profile named WorkerConfig WORKER_CFG_ID=sp-00112233445566778899aabbccddeeff FLEET_WORKER_MODE=$( \ aws deadline get-fleet --farm-id $FARM_ID --fleet-id $FLEET_ID \ --query '.configuration.customerManaged.mode' \ ) FLEET_WORKER_CAPABILITIES=$( \ aws deadline get-fleet --farm-id $FARM_ID --fleet-id $FLEET_ID \ --query '.configuration.customerManaged.workerCapabilities' \ ) aws deadline update-fleet --farm-id $FARM_ID --fleet-id $FLEET_ID \ --configuration \ "{ \"customerManaged\": { \"storageProfileId\": \"$WORKER_CFG_ID\", \"mode\": $FLEET_WORKER_MODE, \"workerCapabilities\": $FLEET_WORKER_CAPABILITIES } }" ``` # Configure los perfiles de almacenamiento para las colas La configuración de una cola incluye una lista de nombres de las ubicaciones del sistema de archivos compartidos a las que deben acceder los trabajos enviados a la cola, que distinguen mayúsculas de minúsculas. Por ejemplo, los trabajos enviados a la cola `Q1` requieren ubicaciones del sistema de archivos y. `FSCommon` `FS1` Los trabajos enviados a la cola requieren ubicaciones en los sistemas de archivos `Q2` y. `FSCommon` `FS2` Para configurar las configuraciones de la cola de modo que requieran estas ubicaciones del sistema de archivos, utilice el siguiente script: ``` # Change the value of FARM_ID to your farm's identifier FARM_ID=farm-00112233445566778899aabbccddeeff # Change the value of QUEUE1_ID to queue Q1's identifier QUEUE1_ID=queue-00112233445566778899aabbccddeeff # Change the value of QUEUE2_ID to queue Q2's identifier QUEUE2_ID=queue-00112233445566778899aabbccddeeff aws deadline update-queue --farm-id $FARM_ID --queue-id $QUEUE1_ID \ --required-file-system-location-names-to-add FSComm FS1 aws deadline update-queue --farm-id $FARM_ID --queue-id $QUEUE2_ID \ --required-file-system-location-names-to-add FSComm FS2 ``` La configuración de una cola también incluye una lista de perfiles de almacenamiento permitidos que se aplica a los trabajos enviados a esa cola y a las flotas asociadas a ella. En la lista de perfiles de almacenamiento permitidos de la cola solo se permiten los perfiles de almacenamiento que definen las ubicaciones del sistema de archivos para todas las ubicaciones de sistemas de archivos requeridas para la cola. Se produce un error en un trabajo si lo envía con un perfil de almacenamiento que no figura en la lista de perfiles de almacenamiento permitidos para la cola. Siempre puedes enviar un trabajo sin perfil de almacenamiento a una cola. Las configuraciones de las estaciones de trabajo están etiquetadas `WSAll` y `WS1` ambas tienen las ubicaciones de sistema de archivos requeridas (`FSCommon`y`FS1`) para la cola. `Q1` Deben poder enviar los trabajos a la cola. Del mismo modo, las estaciones de trabajo configuran `WSAll` y `WS2` cumplen los requisitos de cola. `Q2` Deben poder enviar trabajos a esa cola. Actualice ambas configuraciones de cola para permitir que los trabajos se envíen con estos perfiles de almacenamiento mediante el siguiente script: ``` # Change the value of WSALL_ID to the identifier of the WSAll storage profile WSALL_ID=sp-00112233445566778899aabbccddeeff # Change the value of WS1 to the identifier of the WS1 storage profile WS1_ID=sp-00112233445566778899aabbccddeeff # Change the value of WS2 to the identifier of the WS2 storage profile WS2_ID=sp-00112233445566778899aabbccddeeff aws deadline update-queue --farm-id $FARM_ID --queue-id $QUEUE1_ID \ --allowed-storage-profile-ids-to-add $WSALL_ID $WS1_ID aws deadline update-queue --farm-id $FARM_ID --queue-id $QUEUE2_ID \ --allowed-storage-profile-ids-to-add $WSALL_ID $WS2_ID ``` Si agrega el perfil `WS2` de almacenamiento a la lista de perfiles de almacenamiento permitidos para la cola, se produce `Q1` un error: ``` $ aws deadline update-queue --farm-id $FARM_ID --queue-id $QUEUE1_ID \ --allowed-storage-profile-ids-to-add $WS2_ID An error occurred (ValidationException) when calling the UpdateQueue operation: Storage profile id: sp-00112233445566778899aabbccddeeff does not have required file system location: FS1 ``` Esto se debe a que el perfil de `WS2` almacenamiento no contiene una definición para la ubicación del sistema de archivos con el nombre `FS1` que requiere la cola`Q1`. También se produce un error al asociar una flota configurada con un perfil de almacenamiento que no está en la lista de perfiles de almacenamiento permitidos de la cola. Por ejemplo: ``` $ aws deadline create-queue-fleet-association --farm-id $FARM_ID \ --fleet-id $FLEET_ID \ --queue-id $QUEUE1_ID An error occurred (ValidationException) when calling the CreateQueueFleetAssociation operation: Mismatch between storage profile ids. ``` Para corregir el error, añada el perfil de almacenamiento mencionado `WorkerConfig` a la lista de perfiles de almacenamiento permitidos tanto para la cola como para la cola`Q1`. `Q2` A continuación, asocie la flota a estas colas para que los trabajadores de la flota puedan ejecutar los trabajos desde ambas colas. ``` # Change the value of FLEET_ID to your fleet's identifier FLEET_ID=fleet-00112233445566778899aabbccddeeff # Change the value of WORKER_CFG_ID to your storage profile named WorkerCfg WORKER_CFG_ID=sp-00112233445566778899aabbccddeeff aws deadline update-queue --farm-id $FARM_ID --queue-id $QUEUE1_ID \ --allowed-storage-profile-ids-to-add $WORKER_CFG_ID aws deadline update-queue --farm-id $FARM_ID --queue-id $QUEUE2_ID \ --allowed-storage-profile-ids-to-add $WORKER_CFG_ID aws deadline create-queue-fleet-association --farm-id $FARM_ID \ --fleet-id $FLEET_ID \ --queue-id $QUEUE1_ID aws deadline create-queue-fleet-association --farm-id $FARM_ID \ --fleet-id $FLEET_ID \ --queue-id $QUEUE2_ID ``` # Obtenga reglas de mapeo de rutas a partir de los perfiles de almacenamiento Las reglas de mapeo de rutas describen cómo se deben reasignar las rutas desde el trabajo hasta la ubicación real de la ruta en un host de trabajo. Cuando se ejecuta una tarea en un trabajador, el perfil de almacenamiento del trabajo se compara con el perfil de almacenamiento de la flota del trabajador para obtener las reglas de mapeo de rutas de la tarea. Deadline Cloud crea una regla de mapeo para cada una de las ubicaciones del sistema de archivos requeridas en la configuración de la cola. Por ejemplo, un trabajo enviado con el perfil de `WSAll` almacenamiento a la cola `Q1` tiene las siguientes reglas de mapeo de rutas: + `FSComm`: `/shared/common -> /mnt/common` + `FS1`: `/shared/projects/project1 -> /mnt/projects/project1` Deadline Cloud crea reglas para las ubicaciones `FSComm` y del sistema de `FS1` archivos, pero no para la ubicación del sistema de `FS2` archivos, aunque estén definidas tanto por el `WSAll` perfil como por el `WorkerConfig` de almacenamiento. `FS2` Esto se debe a que `Q1` la lista de ubicaciones de sistemas de archivos obligatorias de Queue sí lo es`["FSComm", "FS1"]`. Para confirmar las reglas de mapeo de rutas disponibles para los trabajos enviados con un perfil de almacenamiento concreto, envíe un trabajo que imprima el [archivo de reglas de mapeo de rutas de Open Job Description](https://github.com/OpenJobDescription/openjd-specifications/wiki/How-Jobs-Are-Run#path-mapping) y, a continuación, lea el registro de sesión una vez finalizado el trabajo: ``` # Change the value of FARM_ID to your farm's identifier FARM_ID=farm-00112233445566778899aabbccddeeff # Change the value of QUEUE1_ID to queue Q1's identifier QUEUE1_ID=queue-00112233445566778899aabbccddeeff # Change the value of WSALL_ID to the identifier of the WSALL storage profile WSALL_ID=sp-00112233445566778899aabbccddeeff aws deadline create-job --farm-id $FARM_ID --queue-id $QUEUE1_ID \ --priority 50 \ --storage-profile-id $WSALL_ID \ --template-type JSON --template \ '{ "specificationVersion": "jobtemplate-2023-09", "name": "DemoPathMapping", "steps": [ { "name": "ShowPathMappingRules", "script": { "actions": { "onRun": { "command": "/bin/cat", "args": [ "{{Session.PathMappingRulesFile}}" ] } } } } ] }' ``` Si usa la [CLI de Deadline Cloud](https://pypi.org/project/deadline/) para enviar trabajos, su `settings.storage_profile_id` configuración establece el perfil de almacenamiento que tendrán los trabajos enviados con la CLI. Para enviar trabajos con el perfil `WSAll` de almacenamiento, configure: ``` deadline config set settings.storage_profile_id $WSALL_ID ``` Para ejecutar un trabajador gestionado por el cliente como si se estuviera ejecutando en la infraestructura de ejemplo, siga el procedimiento descrito en [Ejecute el agente de trabajo](https://docs.aws.amazon.com/deadline-cloud/latest/userguide/run-worker.html) de la *Guía del usuario de Deadline Cloud* para ejecutar un trabajador. AWS CloudShell Si ha seguido esas instrucciones anteriormente, elimine primero los `~/demoenv-persist` directorios `~/demoenv-logs` y. Además, establezca los valores de las variables de `DEV_CMF_ID` entorno `DEV_FARM_ID` y las variables de entorno a las que hacen referencia las instrucciones de la siguiente manera antes de hacerlo: ``` DEV_FARM_ID=$FARM_ID DEV_CMF_ID=$FLEET_ID ``` Una vez ejecutado el trabajo, puede ver las reglas de mapeo de rutas en el archivo de registro del trabajo: ``` cat demoenv-logs/${QUEUE1_ID}/*.log ... JJSON log results (see below) ... ``` El registro contiene el mapeo del sistema de `FSComm` archivos `FS1` y del sistema de archivos. Reformateada para facilitar la lectura, la entrada de registro tiene el siguiente aspecto: ``` { "version": "pathmapping-1.0", "path_mapping_rules": [ { "source_path_format": "POSIX", "source_path": "/shared/projects/project1", "destination_path": "/mnt/projects/project1" }, { "source_path_format": "POSIX", "source_path": "/shared/common", "destination_path": "/mnt/common" } ] ``` Puede enviar trabajos con diferentes perfiles de almacenamiento para ver cómo cambian las reglas de mapeo de rutas.