As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
# Usando arquivos em seus trabalhos
Muitos dos trabalhos que você envia para o AWS Deadline Cloud têm arquivos de entrada e saída. Seus arquivos de entrada e diretórios de saída podem estar localizados em uma combinação de sistemas de arquivos compartilhados e unidades locais. Os trabalhos precisam localizar o conteúdo nesses locais. O Deadline Cloud fornece dois recursos, [anexos de tarefas](https://docs.aws.amazon.com/deadline-cloud/latest/userguide/storage-job-attachments.html) e [perfis de armazenamento](https://docs.aws.amazon.com/deadline-cloud/latest/userguide/storage-shared.html) que funcionam juntos para ajudar seus trabalhos a localizar os arquivos de que precisam.
Os anexos de emprego oferecem vários benefícios
+ Mova arquivos entre hosts usando o Amazon S3
+ Transfira arquivos da sua estação de trabalho para os hosts dos funcionários e vice-versa
+ Disponível para trabalhos em filas nas quais você ativa o recurso
+ Usado principalmente com frotas gerenciadas por serviços, mas também compatível com frotas gerenciadas pelo cliente.
Use perfis de armazenamento para mapear o layout dos locais compartilhados do sistema de arquivos em sua estação de trabalho e nos hosts de trabalho. Esse mapeamento ajuda seus trabalhos a localizar arquivos e diretórios compartilhados quando suas localizações diferem entre sua estação de trabalho e hosts de trabalho, como configurações multiplataforma com estações de trabalho baseadas e hosts de trabalho Windows baseados. Linux O mapa do perfil de armazenamento da configuração do seu sistema de arquivos também é usado pelos anexos de tarefas para identificar os arquivos que precisam ser transferidos entre os hosts por meio do Amazon S3.
Se você não estiver usando anexos de trabalho e não precisar remapear os locais de arquivos e diretórios entre estações de trabalho e hosts de trabalho, não precisará modelar seus compartilhamentos de arquivos com perfis de armazenamento.
**Topics**
+ [Exemplo de infraestrutura de projeto](sample-project-infrastructure.md)
+ [Perfis de armazenamento e mapeamento de caminhos](storage-profiles-and-path-mapping.md)
# Exemplo de infraestrutura de projeto
Para demonstrar o uso de anexos de tarefas e perfis de armazenamento, configure um ambiente de teste com dois projetos separados. Você pode usar o console do Deadline Cloud para criar os recursos de teste.
1. Se você ainda não o fez, crie uma fazenda de testes. Para criar uma fazenda, siga o procedimento em [Criar uma fazenda](https://docs.aws.amazon.com/deadline-cloud/latest/userguide/farms.html).
1. Crie duas filas para trabalhos em cada um dos dois projetos. Para criar filas, siga o procedimento em [Criar uma fila](https://docs.aws.amazon.com/deadline-cloud/latest/userguide/create-queue.html).
1. Crie a primeira fila chamada**Q1**. Use a configuração a seguir, use os padrões para todos os outros itens.
+ Para anexos de trabalho, escolha **Criar um novo bucket do Amazon S3**.
+ Selecione **Habilitar associação com frotas gerenciadas pelo cliente**.
+ Para executar como usuário, insira tanto **jobuser** para o usuário quanto para o grupo POSIX.
+ Para a função de serviço de fila, crie uma nova função chamada **AssetDemoFarm-Q1-Role**
+ Desmarque a caixa de seleção padrão do ambiente de fila conda.
1. Crie a segunda fila chamada**Q2**. Use a configuração a seguir, use os padrões para todos os outros itens.
+ Para anexos de trabalho, escolha **Criar um novo bucket do Amazon S3**.
+ Selecione **Habilitar associação com frotas gerenciadas pelo cliente**.
+ Para executar como usuário, insira tanto **jobuser** para o usuário quanto para o grupo POSIX.
+ Para a função de serviço de fila, crie uma nova função chamada **AssetDemoFarm-Q2-Role**
+ Desmarque a caixa de seleção padrão do ambiente de fila conda.
1. Crie uma única frota gerenciada pelo cliente que execute os trabalhos nas duas filas. Para criar a frota, siga o procedimento em [Criar uma frota gerenciada pelo cliente](https://docs.aws.amazon.com/deadline-cloud/latest/userguide/create-a-cmf.html). Use a seguinte configuração:
+ Para **Nome**, use**DemoFleet**.
+ Para **Tipo de frota**, escolha **Gerenciado pelo cliente**
+ Para a **função de serviço Fleet**, crie uma nova função chamada **AssetDemoFarm-Fleet-Role**.
+ Não associe a frota a nenhuma fila.
O ambiente de teste pressupõe que há três sistemas de arquivos compartilhados entre hosts usando compartilhamentos de arquivos de rede. Neste exemplo, os locais têm os seguintes nomes:
+ `FSCommon`- contém ativos de trabalho de entrada que são comuns aos dois projetos.
+ `FS1`- contém ativos de trabalho de entrada e saída para o projeto 1.
+ `FS2`- contém ativos de trabalho de entrada e saída para o projeto 2.
O ambiente de teste também pressupõe que haja três estações de trabalho, da seguinte forma:
+ `WSAll`- Uma estação de trabalho Linux baseada usada por desenvolvedores para todos os projetos. Os locais do sistema de arquivos compartilhados são:
+ `FSCommon`: `/shared/common`
+ `FS1`: `/shared/projects/project1`
+ `FS2`: `/shared/projects/project2`
+ `WS1`- Uma estação de trabalho Windows baseada usada para o projeto 1. Os locais do sistema de arquivos compartilhados são:
+ `FSCommon`: `S:\`
+ `FS1`: `Z:\`
+ `FS2`: Não disponível
+ `WS1`- Uma estação de trabalho macOS baseada usada para o projeto 2.Os locais do sistema de arquivos compartilhados são:
+ `FSCommon`: `/Volumes/common`
+ `FS1`: Não disponível
+ `FS2`: `/Volumes/projects/project2`
Por fim, defina os locais compartilhados do sistema de arquivos para os trabalhadores da sua frota. Os exemplos a seguir se referem a essa configuração como`WorkerConfig`. Os locais compartilhados são:
+ `FSCommon`: `/mnt/common`
+ `FS1`: `/mnt/projects/project1`
+ `FS2`: `/mnt/projects/project2`
Você não precisa configurar nenhum sistema de arquivos, estações de trabalho ou trabalhadores compartilhados que correspondam a essa configuração. Os locais compartilhados não precisam existir para a demonstração.
# Perfis de armazenamento e mapeamento de caminhos
Use perfis de armazenamento para modelar os sistemas de arquivos em sua estação de trabalho e hosts de trabalho. Cada perfil de armazenamento descreve o sistema operacional e o layout do sistema de arquivos de uma das configurações do sistema. Este tópico descreve como usar perfis de armazenamento para modelar as configurações do sistema de arquivos de seus hosts para que o Deadline Cloud possa gerar regras de mapeamento de caminhos para seus trabalhos e como essas regras de mapeamento de caminhos são geradas a partir de seus perfis de armazenamento.
Ao enviar um trabalho para o Deadline Cloud, você pode fornecer um ID de perfil de armazenamento opcional para o trabalho. Esse perfil de armazenamento descreve o sistema de arquivos da estação de trabalho de envio. Ele descreve a configuração original do sistema de arquivos que os caminhos de arquivo no modelo de trabalho usam.
Você também pode associar um perfil de armazenamento a uma frota. O perfil de armazenamento descreve a configuração do sistema de arquivos de todos os hosts de trabalho na frota. Se você tiver trabalhadores com diferentes configurações de sistema de arquivos, esses trabalhadores devem ser atribuídos a uma frota diferente em sua fazenda.
As regras de mapeamento de caminhos descrevem como os caminhos devem ser remapeados, desde a forma como são especificados no trabalho até a localização real do caminho em um host de trabalho. O Deadline Cloud compara a configuração do sistema de arquivos descrita no perfil de armazenamento de um trabalho com o perfil de armazenamento da frota que está executando o trabalho para derivar essas regras de mapeamento de caminhos.
**Topics**
+ [Modele locais de sistemas de arquivos compartilhados com perfis de armazenamento](modeling-your-shared-filesystem-locations-with-storage-profiles.md)
+ [Configurar perfis de armazenamento para frotas](configuring-storage-profiles-for-fleets.md)
+ [Configurar perfis de armazenamento para filas](storage-profiles-for-queues.md)
+ [Derive regras de mapeamento de caminhos a partir de perfis de armazenamento](deriving-path-mapping-rules-from-storage-profiles.md)
# Modele locais de sistemas de arquivos compartilhados com perfis de armazenamento
Um perfil de armazenamento modela a configuração do sistema de arquivos de uma de suas configurações de host. Há quatro configurações de host diferentes na [infraestrutura do projeto de amostra](). Neste exemplo, você cria um perfil de armazenamento separado para cada um. Você pode criar um perfil de armazenamento usando qualquer um dos seguintes:
+ [CreateStorageProfile API](https://docs.aws.amazon.com/deadline-cloud/latest/APIReference/API_CreateStorageProfile.html)
+ [AWS::Deadline::StorageProfile](https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/aws-resource-deadline-storageprofile.html) CloudFormation recurso
+ [Console do AWS](https://docs.aws.amazon.com/deadline-cloud/latest/userguide/storage-shared.html#storage-profile)
Um perfil de armazenamento é composto por uma lista de localizações do sistema de arquivos, cada uma informando ao Deadline Cloud a localização e o tipo de localização do sistema de arquivos que é relevante para trabalhos enviados ou executados em um host. Um perfil de armazenamento só deve modelar os locais relevantes para os trabalhos. Por exemplo, o `FSCommon` local compartilhado está localizado na estação de trabalho `WS1` em`S:\`, então o local correspondente do sistema de arquivos é:
```
{
"name": "FSCommon",
"path": "S:\\",
"type": "SHARED"
}
```
Use os comandos a seguir para criar o perfil de armazenamento para as configurações `WS1` da estação de trabalho `WS3` e a configuração do trabalhador `WorkerConfig` usando o [AWS CLI](https://docs.aws.amazon.com/cli/latest/userguide/cli-chap-welcome.html)in: `WS2` [AWS CloudShell](https://docs.aws.amazon.com/cloudshell/latest/userguide/welcome.html)
```
# Change the value of FARM_ID to your farm's identifier
FARM_ID=farm-00112233445566778899aabbccddeeff
aws deadline create-storage-profile --farm-id $FARM_ID \
--display-name WSAll \
--os-family LINUX \
--file-system-locations \
'[
{"name": "FSCommon", "type":"SHARED", "path":"/shared/common"},
{"name": "FS1", "type":"SHARED", "path":"/shared/projects/project1"},
{"name": "FS2", "type":"SHARED", "path":"/shared/projects/project2"}
]'
aws deadline create-storage-profile --farm-id $FARM_ID \
--display-name WS1 \
--os-family WINDOWS \
--file-system-locations \
'[
{"name": "FSCommon", "type":"SHARED", "path":"S:\\"},
{"name": "FS1", "type":"SHARED", "path":"Z:\\"}
]'
aws deadline create-storage-profile --farm-id $FARM_ID \
--display-name WS2 \
--os-family MACOS \
--file-system-locations \
'[
{"name": "FSCommon", "type":"SHARED", "path":"/Volumes/common"},
{"name": "FS2", "type":"SHARED", "path":"/Volumes/projects/project2"}
]'
aws deadline create-storage-profile --farm-id $FARM_ID \
--display-name WorkerCfg \
--os-family LINUX \
--file-system-locations \
'[
{"name": "FSCommon", "type":"SHARED", "path":"/mnt/common"},
{"name": "FS1", "type":"SHARED", "path":"/mnt/projects/project1"},
{"name": "FS2", "type":"SHARED", "path":"/mnt/projects/project2"}
]'
```
**nota**
Você deve consultar os locais do sistema de arquivos em seus perfis de armazenamento usando os mesmos valores para a `name` propriedade em todos os perfis de armazenamento em sua fazenda. O Deadline Cloud compara os nomes para determinar se os locais do sistema de arquivos de diferentes perfis de armazenamento se referem ao mesmo local ao gerar regras de mapeamento de caminhos.
# Configurar perfis de armazenamento para frotas
Você pode configurar uma frota para incluir um perfil de armazenamento que modele as localizações do sistema de arquivos em todos os trabalhadores da frota. A configuração do sistema de arquivos host de todos os trabalhadores em uma frota deve corresponder ao perfil de armazenamento da frota. Trabalhadores com diferentes configurações de sistema de arquivos devem estar em frotas separadas.
Para definir a configuração da sua frota para usar o perfil `WorkerConfig` de armazenamento, use o [AWS CLI](https://docs.aws.amazon.com/cli/latest/userguide/cli-chap-welcome.html)em [AWS CloudShell](https://docs.aws.amazon.com/cloudshell/latest/userguide/welcome.html):
```
# Change the value of FARM_ID to your farm's identifier
FARM_ID=farm-00112233445566778899aabbccddeeff
# Change the value of FLEET_ID to your fleet's identifier
FLEET_ID=fleet-00112233445566778899aabbccddeeff
# Change the value of WORKER_CFG_ID to your storage profile named WorkerConfig
WORKER_CFG_ID=sp-00112233445566778899aabbccddeeff
FLEET_WORKER_MODE=$( \
aws deadline get-fleet --farm-id $FARM_ID --fleet-id $FLEET_ID \
--query '.configuration.customerManaged.mode' \
)
FLEET_WORKER_CAPABILITIES=$( \
aws deadline get-fleet --farm-id $FARM_ID --fleet-id $FLEET_ID \
--query '.configuration.customerManaged.workerCapabilities' \
)
aws deadline update-fleet --farm-id $FARM_ID --fleet-id $FLEET_ID \
--configuration \
"{
\"customerManaged\": {
\"storageProfileId\": \"$WORKER_CFG_ID\",
\"mode\": $FLEET_WORKER_MODE,
\"workerCapabilities\": $FLEET_WORKER_CAPABILITIES
}
}"
```
# Configurar perfis de armazenamento para filas
A configuração de uma fila inclui uma lista de nomes com distinção entre maiúsculas e minúsculas dos locais do sistema de arquivos compartilhado aos quais os trabalhos enviados à fila exigem acesso. Por exemplo, trabalhos enviados à fila `Q1` exigem locais do sistema de arquivos e. `FSCommon` `FS1` Os trabalhos enviados à fila `Q2` exigem localizações do sistema de arquivos `FSCommon` e. `FS2`
Para definir as configurações da fila para exigir esses locais do sistema de arquivos, use o seguinte script:
```
# Change the value of FARM_ID to your farm's identifier
FARM_ID=farm-00112233445566778899aabbccddeeff
# Change the value of QUEUE1_ID to queue Q1's identifier
QUEUE1_ID=queue-00112233445566778899aabbccddeeff
# Change the value of QUEUE2_ID to queue Q2's identifier
QUEUE2_ID=queue-00112233445566778899aabbccddeeff
aws deadline update-queue --farm-id $FARM_ID --queue-id $QUEUE1_ID \
--required-file-system-location-names-to-add FSComm FS1
aws deadline update-queue --farm-id $FARM_ID --queue-id $QUEUE2_ID \
--required-file-system-location-names-to-add FSComm FS2
```
A configuração de uma fila também inclui uma lista de perfis de armazenamento permitidos que se aplicam aos trabalhos enviados e às frotas associadas a essa fila. Somente perfis de armazenamento que definem os locais do sistema de arquivos para todos os locais necessários do sistema de arquivos para a fila são permitidos na lista de perfis de armazenamento permitidos da fila.
Um trabalho falhará se você o enviar com um perfil de armazenamento que não esteja na lista de perfis de armazenamento permitidos para a fila. Você sempre pode enviar um trabalho sem perfil de armazenamento para uma fila. As configurações da estação de trabalho rotuladas `WSAll` e `WS1` ambas têm os locais necessários do sistema de arquivos (`FSCommon`e`FS1`) para a fila. `Q1` Eles precisam ter permissão para enviar trabalhos para a fila. Da mesma forma, as configurações `WSAll` da estação de trabalho `WS2` atendem aos requisitos de fila. `Q2` Eles precisam ter permissão para enviar trabalhos para essa fila. Atualize as duas configurações de fila para permitir que os trabalhos sejam enviados com esses perfis de armazenamento usando o seguinte script:
```
# Change the value of WSALL_ID to the identifier of the WSAll storage profile
WSALL_ID=sp-00112233445566778899aabbccddeeff
# Change the value of WS1 to the identifier of the WS1 storage profile
WS1_ID=sp-00112233445566778899aabbccddeeff
# Change the value of WS2 to the identifier of the WS2 storage profile
WS2_ID=sp-00112233445566778899aabbccddeeff
aws deadline update-queue --farm-id $FARM_ID --queue-id $QUEUE1_ID \
--allowed-storage-profile-ids-to-add $WSALL_ID $WS1_ID
aws deadline update-queue --farm-id $FARM_ID --queue-id $QUEUE2_ID \
--allowed-storage-profile-ids-to-add $WSALL_ID $WS2_ID
```
Se você adicionar o perfil `WS2` de armazenamento à lista de perfis de armazenamento permitidos para a fila, `Q1` ele falhará:
```
$ aws deadline update-queue --farm-id $FARM_ID --queue-id $QUEUE1_ID \
--allowed-storage-profile-ids-to-add $WS2_ID
An error occurred (ValidationException) when calling the UpdateQueue operation: Storage profile id: sp-00112233445566778899aabbccddeeff does not have required file system location: FS1
```
Isso ocorre porque o perfil `WS2` de armazenamento não contém uma definição para a localização do sistema de arquivos chamada `FS1` que a fila `Q1` exige.
A associação de uma frota configurada a um perfil de armazenamento que não está na lista de perfis de armazenamento permitidos da fila também falha. Por exemplo:
```
$ aws deadline create-queue-fleet-association --farm-id $FARM_ID \
--fleet-id $FLEET_ID \
--queue-id $QUEUE1_ID
An error occurred (ValidationException) when calling the CreateQueueFleetAssociation operation: Mismatch between storage profile ids.
```
Para corrigir o erro, adicione o perfil de armazenamento nomeado `WorkerConfig` à lista de perfis de armazenamento permitidos para fila `Q1` e fila`Q2`. Em seguida, associe a frota a essas filas para que os trabalhadores da frota possam executar trabalhos em ambas as filas.
```
# Change the value of FLEET_ID to your fleet's identifier
FLEET_ID=fleet-00112233445566778899aabbccddeeff
# Change the value of WORKER_CFG_ID to your storage profile named WorkerCfg
WORKER_CFG_ID=sp-00112233445566778899aabbccddeeff
aws deadline update-queue --farm-id $FARM_ID --queue-id $QUEUE1_ID \
--allowed-storage-profile-ids-to-add $WORKER_CFG_ID
aws deadline update-queue --farm-id $FARM_ID --queue-id $QUEUE2_ID \
--allowed-storage-profile-ids-to-add $WORKER_CFG_ID
aws deadline create-queue-fleet-association --farm-id $FARM_ID \
--fleet-id $FLEET_ID \
--queue-id $QUEUE1_ID
aws deadline create-queue-fleet-association --farm-id $FARM_ID \
--fleet-id $FLEET_ID \
--queue-id $QUEUE2_ID
```
# Derive regras de mapeamento de caminhos a partir de perfis de armazenamento
As regras de mapeamento de caminhos descrevem como os caminhos devem ser remapeados do trabalho até a localização real do caminho em um host de trabalho. Quando uma tarefa está sendo executada em um trabalhador, o perfil de armazenamento do trabalho é comparado ao perfil de armazenamento da frota do trabalhador para derivar as regras de mapeamento de caminhos para a tarefa.
O Deadline Cloud cria uma regra de mapeamento para cada um dos locais necessários do sistema de arquivos na configuração da fila. Por exemplo, um trabalho enviado com o perfil `WSAll` de armazenamento para a fila `Q1` tem as regras de mapeamento de caminhos:
+ `FSComm`: `/shared/common -> /mnt/common`
+ `FS1`: `/shared/projects/project1 -> /mnt/projects/project1`
O Deadline Cloud cria regras para `FSComm` os locais do sistema de `FS1` arquivos, mas não para o local do sistema de `FS2` arquivos, embora os perfis `WSAll` e `WorkerConfig` de armazenamento sejam definidos`FS2`. Isso ocorre porque a lista `Q1` de localizações obrigatórias do sistema de arquivos da fila é`["FSComm", "FS1"]`.
Você pode confirmar as regras de mapeamento de caminhos disponíveis para trabalhos enviados com um perfil de armazenamento específico enviando um trabalho que imprima o [arquivo de regras de mapeamento de caminhos do Open Job Description](https://github.com/OpenJobDescription/openjd-specifications/wiki/How-Jobs-Are-Run#path-mapping) e, em seguida, lendo o registro da sessão após a conclusão do trabalho:
```
# Change the value of FARM_ID to your farm's identifier
FARM_ID=farm-00112233445566778899aabbccddeeff
# Change the value of QUEUE1_ID to queue Q1's identifier
QUEUE1_ID=queue-00112233445566778899aabbccddeeff
# Change the value of WSALL_ID to the identifier of the WSALL storage profile
WSALL_ID=sp-00112233445566778899aabbccddeeff
aws deadline create-job --farm-id $FARM_ID --queue-id $QUEUE1_ID \
--priority 50 \
--storage-profile-id $WSALL_ID \
--template-type JSON --template \
'{
"specificationVersion": "jobtemplate-2023-09",
"name": "DemoPathMapping",
"steps": [
{
"name": "ShowPathMappingRules",
"script": {
"actions": {
"onRun": {
"command": "/bin/cat",
"args": [ "{{Session.PathMappingRulesFile}}" ]
}
}
}
}
]
}'
```
Se você usar a [CLI do Deadline Cloud](https://pypi.org/project/deadline/) para enviar trabalhos, sua `settings.storage_profile_id` configuração define o perfil de armazenamento que os trabalhos enviados com a CLI terão. Para enviar trabalhos com o perfil `WSAll` de armazenamento, defina:
```
deadline config set settings.storage_profile_id $WSALL_ID
```
Para executar um trabalhador gerenciado pelo cliente como se estivesse sendo executado na infraestrutura de amostra, siga o procedimento em [Executar o agente de trabalho](https://docs.aws.amazon.com/deadline-cloud/latest/userguide/run-worker.html) no *Guia do usuário do Deadline Cloud* para executar um trabalhador com. AWS CloudShell Se você seguiu essas instruções antes, exclua primeiro `~/demoenv-logs` os `~/demoenv-persist` diretórios e. Além disso, defina os valores das variáveis de `DEV_CMF_ID` ambiente `DEV_FARM_ID` e de ambiente às quais as direções fazem referência da seguinte forma antes de fazer isso:
```
DEV_FARM_ID=$FARM_ID
DEV_CMF_ID=$FLEET_ID
```
Depois que o trabalho for executado, você poderá ver as regras de mapeamento de caminhos no arquivo de log do trabalho:
```
cat demoenv-logs/${QUEUE1_ID}/*.log
...
JJSON log results (see below)
...
```
O log contém mapeamento para os sistemas de `FSComm` arquivos `FS1` e. Reformatada para facilitar a leitura, a entrada do registro tem a seguinte aparência:
```
{
"version": "pathmapping-1.0",
"path_mapping_rules": [
{
"source_path_format": "POSIX",
"source_path": "/shared/projects/project1",
"destination_path": "/mnt/projects/project1"
},
{
"source_path_format": "POSIX",
"source_path": "/shared/common",
"destination_path": "/mnt/common"
}
]
```
Você pode enviar trabalhos com diferentes perfis de armazenamento para ver como as regras de mapeamento de caminhos mudam.