Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

# Contoh kode yang digunakan HuggingFaceProcessor di Amazon SageMaker Python SDK
<a name="processing-job-frameworks-hugging-face"></a>

Hugging Face adalah penyedia open source model natural language processing (NLP). SDK SageMaker Python Amazon `HuggingFaceProcessor` di Amazon memberi Anda kemampuan untuk menjalankan pekerjaan pemrosesan dengan skrip Hugging Face. Saat Anda menggunakannya`HuggingFaceProcessor`, Anda dapat memanfaatkan wadah Docker buatan Amazon dengan lingkungan Hugging Face yang dikelola sehingga Anda tidak perlu membawa wadah sendiri.

Contoh kode berikut menunjukkan bagaimana Anda dapat menggunakan `HuggingFaceProcessor` untuk menjalankan pekerjaan Processing Anda menggunakan image Docker yang disediakan dan dikelola oleh SageMaker AI. Perhatikan bahwa ketika Anda menjalankan pekerjaan, Anda dapat menentukan direktori yang berisi skrip dan dependensi Anda dalam `source_dir` argumen, dan Anda dapat memiliki `requirements.txt` file yang terletak di dalam `source_dir` direktori Anda yang menentukan dependensi untuk skrip pemrosesan Anda. SageMaker Pemrosesan menginstal dependensi di `requirements.txt` dalam wadah untuk Anda.

```
from sagemaker.huggingface import HuggingFaceProcessor
from sagemaker.processing import ProcessingInput, ProcessingOutput
from sagemaker import get_execution_role

#Initialize the HuggingFaceProcessor
hfp = HuggingFaceProcessor(
    role=get_execution_role(), 
    instance_count=1,
    instance_type='ml.g4dn.xlarge',
    transformers_version='4.4.2',
    pytorch_version='1.6.0', 
    base_job_name='frameworkprocessor-hf'
)

#Run the processing job
hfp.run(
    code='processing-script.py',
    source_dir='scripts',
    inputs=[
        ProcessingInput(
            input_name='data',
            source=f's3://{BUCKET}/{S3_INPUT_PATH}',
            destination='/opt/ml/processing/input/data/'
        )
    ],
    outputs=[
        ProcessingOutput(output_name='train', source='/opt/ml/processing/output/train/', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
        ProcessingOutput(output_name='test', source='/opt/ml/processing/output/test/', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
        ProcessingOutput(output_name='val', source='/opt/ml/processing/output/val/', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}')
    ]
)
```

Jika Anda memiliki `requirements.txt` file, itu harus berupa daftar pustaka yang ingin Anda instal di wadah. Jalur untuk `source_dir` dapat berupa jalur URI relatif, absolut, atau Amazon S3. Namun, jika Anda menggunakan URI Amazon S3, maka itu harus mengarah ke file tar.gz. Anda dapat memiliki beberapa skrip di direktori yang Anda tentukan`source_dir`. Untuk mempelajari selengkapnya tentang `HuggingFaceProcessor` kelas, lihat [Hugging Face](https://sagemaker.readthedocs.io/en/stable/frameworks/huggingface/sagemaker.huggingface.html) Estimator di *Amazon SageMaker AI Python* SDK.