

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

# Exemplo de código usando HuggingFaceProcessor o Amazon SageMaker Python SDK
<a name="processing-job-frameworks-hugging-face"></a>

Hugging Face é um provedor de código aberto de modelos de processamento de linguagem natural (PLN). O `HuggingFaceProcessor` SDK do Amazon SageMaker Python oferece a capacidade de executar trabalhos de processamento com scripts do Hugging Face. Ao usar o `HuggingFaceProcessor`, você pode aproveitar um contêiner do Docker integrado na Amazon com um ambiente gerenciado pelo Hugging Face para não precisar trazer seu próprio contêiner.

O exemplo de código a seguir mostra como você pode usar o `HuggingFaceProcessor` para executar sua tarefa de processamento usando uma imagem do Docker fornecida e mantida pela SageMaker IA. Observe que, ao executar o trabalho, você pode especificar um diretório contendo seus scripts e dependências no `source_dir` argumento e pode ter um `requirements.txt` arquivo localizado dentro do seu `source_dir` diretório que especifica as dependências dos seus scripts de processamento. SageMaker O processamento instala as dependências `requirements.txt` no contêiner para você.

```
from sagemaker.huggingface import HuggingFaceProcessor
from sagemaker.processing import ProcessingInput, ProcessingOutput
from sagemaker import get_execution_role

#Initialize the HuggingFaceProcessor
hfp = HuggingFaceProcessor(
    role=get_execution_role(), 
    instance_count=1,
    instance_type='ml.g4dn.xlarge',
    transformers_version='4.4.2',
    pytorch_version='1.6.0', 
    base_job_name='frameworkprocessor-hf'
)

#Run the processing job
hfp.run(
    code='processing-script.py',
    source_dir='scripts',
    inputs=[
        ProcessingInput(
            input_name='data',
            source=f's3://{BUCKET}/{S3_INPUT_PATH}',
            destination='/opt/ml/processing/input/data/'
        )
    ],
    outputs=[
        ProcessingOutput(output_name='train', source='/opt/ml/processing/output/train/', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
        ProcessingOutput(output_name='test', source='/opt/ml/processing/output/test/', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
        ProcessingOutput(output_name='val', source='/opt/ml/processing/output/val/', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}')
    ]
)
```

Se você tiver um arquivo `requirements.txt`, ele deverá ser uma lista das bibliotecas que você deseja instalar no contêiner. O caminho para `source_dir` pode ser um caminho de URI relativo, absoluto ou do Amazon S3. No entanto, se você usar um URI do Amazon S3, ele deverá apontar para um arquivo tar.gz. Você pode ter vários scripts no diretório que você especificar para `source_dir`. *Para saber mais sobre a `HuggingFaceProcessor` aula, consulte [Hugging Face Estimator](https://sagemaker.readthedocs.io/en/stable/frameworks/huggingface/sagemaker.huggingface.html) no Amazon AI Python SDK. SageMaker *