Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
# Konfigurasikan SageMaker Clarify Processing Job
Untuk menganalisis data dan model Anda untuk bias dan penjelasan menggunakan SageMaker Clarify, Anda harus mengonfigurasi pekerjaan pemrosesan SageMaker Clarify. Panduan ini menunjukkan cara menentukan nama dataset input, nama file konfigurasi analisis, dan lokasi keluaran untuk pekerjaan pemrosesan. Untuk mengkonfigurasi wadah pemrosesan, input pekerjaan, output, sumber daya, dan parameter lainnya, Anda memiliki dua opsi. Anda dapat menggunakan SageMaker AI `CreateProcessingJob` API, atau menggunakan SageMaker AI Python SDK API, `SageMaker ClarifyProcessor`
Untuk informasi tentang parameter yang umum untuk semua pekerjaan pemrosesan, lihat [Referensi SageMaker API Amazon](https://docs.aws.amazon.com/sagemaker/latest/APIReference/Welcome.html?icmpid=docs_sagemaker_lp).
## Mengonfigurasi tugas pemrosesan SageMaker Clarify menggunakan SageMaker API
Petunjuk berikut menunjukkan cara menyediakan setiap bagian dari konfigurasi spesifik SageMaker Clarify menggunakan `CreateProcessingJob` API.
1. Masukkan pengidentifikasi penelitian seragam (URI) dari gambar kontainer SageMaker Clarify di dalam `AppSpecification` parameter, seperti yang ditunjukkan pada contoh kode berikut.
```
{
"ImageUri": "{{the-clarify-container-image-uri}}"
}
```
**catatan**
URI harus mengidentifikasi image kontainer SageMaker Clarify yang sudah dibuat sebelumnya. `ContainerEntrypoint`dan `ContainerArguments` tidak didukung. Untuk informasi selengkapnya tentang SageMaker Clarify gambar kontainer, lihat[Kontainer SageMaker Klarifikasi Prebuilt](clarify-processing-job-configure-container.md).
1. Tentukan konfigurasi untuk analisis dan parameter untuk kumpulan data input Anda di dalam `ProcessingInputs` parameter.
1. Tentukan lokasi file konfigurasi analisis JSON, yang mencakup parameter untuk analisis bias dan analisis penjelasan. `InputName`Parameter `ProcessingInput` objek harus **analysis\_config** seperti yang ditunjukkan pada contoh kode berikut.
```
{
"InputName": "analysis_config",
"S3Input": {
"S3Uri": "{{s3://your-bucket/analysis_config.json}}",
"S3DataType": "S3Prefix",
"S3InputMode": "File",
"LocalPath": "/opt/ml/processing/{{input/config}}"
}
}
```
Untuk informasi selengkapnya tentang skema file konfigurasi analisis, lihat[File Konfigurasi Analisis](clarify-processing-job-configure-analysis.md).
1. Tentukan lokasi dataset input. `InputName`Parameter `ProcessingInput` objek harus`dataset`. Parameter ini opsional jika Anda telah menyediakan “dataset\_uri” dalam file konfigurasi analisis. Nilai-nilai berikut diperlukan dalam `S3Input` konfigurasi.
1. `S3Uri`dapat berupa objek Amazon S3 atau awalan S3.
1. `S3InputMode`harus dari tipe**File**.
1. `S3CompressionType`harus bertipe `None` (nilai default).
1. `S3DataDistributionType`harus bertipe `FullyReplicated` (nilai default).
1. `S3DataType`bisa salah satu `S3Prefix` atau`ManifestFile`. Untuk menggunakan`ManifestFile`, `S3Uri` parameter harus menentukan lokasi file manifes yang mengikuti skema dari bagian Referensi SageMaker API [S3Uri](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_S3DataSource.html#sagemaker-Type-S3DataSource-S3Uri). File manifes ini harus mencantumkan objek S3 yang berisi data input untuk pekerjaan tersebut.
Kode berikut menunjukkan contoh konfigurasi input.
```
{
"InputName": "dataset",
"S3Input": {
"S3Uri": "{{s3://your-bucket/your-dataset.csv}}",
"S3DataType": "S3Prefix",
"S3InputMode": "File",
"LocalPath": "/opt/ml/processing/{{input/data}}"
}
}
```
1. Tentukan konfigurasi untuk output dari pekerjaan pemrosesan di dalam `ProcessingOutputConfig` parameter. Satu `ProcessingOutput` objek diperlukan dalam `Outputs` konfigurasi. Berikut ini diperlukan dari konfigurasi output:
1. `OutputName`harus**analysis\_result**.
1. `S3Uri`harus menjadi awalan S3 ke lokasi output.
1. `S3UploadMode` harus diatur ke **EndOfJob**.
Kode berikut menunjukkan contoh konfigurasi output.
```
{
"Outputs": [{
"OutputName": "analysis_result",
"S3Output": {
"S3Uri": "{{s3://your-bucket/result/}}",
"S3UploadMode": "EndOfJob",
"LocalPath": "/opt/ml/processing/{{output}}"
}
}]
}
```
1. Tentukan konfigurasi `ClusterConfig` untuk sumber daya yang Anda gunakan dalam pekerjaan pemrosesan Anda di dalam `ProcessingResources` parameter. Parameter berikut diperlukan di dalam `ClusterConfig` objek.
1. `InstanceCount`menentukan jumlah instance komputasi di cluster yang menjalankan pekerjaan pemrosesan. Tentukan nilai yang lebih besar dari `1` untuk mengaktifkan pemrosesan terdistribusi.
1. `InstanceType`mengacu pada sumber daya yang menjalankan pekerjaan pemrosesan Anda. Karena analisis SageMaker AI SHAP intensif komputasi, menggunakan jenis instance yang dioptimalkan untuk komputasi harus meningkatkan runtime untuk analisis. Pekerjaan pemrosesan SageMaker Clarify tidak menggunakan GPU.
Kode berikut menunjukkan contoh konfigurasi sumber daya.
```
{
"ClusterConfig": {
"InstanceCount": {{1}},
"InstanceType": "{{ml.m5.xlarge}}",
"VolumeSizeInGB": {{20}}
}
}
```
1. Tentukan konfigurasi jaringan yang Anda gunakan dalam pekerjaan pemrosesan Anda di dalam `NetworkConfig` objek. Nilai-nilai berikut diperlukan dalam konfigurasi.
1. `EnableNetworkIsolation`harus disetel ke `False` (default) sehingga SageMaker Clarify dapat memanggil titik akhir, jika perlu, untuk prediksi.
1. Jika model atau titik akhir yang Anda berikan ke pekerjaan SageMaker Clarify berada dalam Amazon Virtual Private Cloud (Amazon VPC), maka pekerjaan SageMaker Clarify juga harus dalam VPC yang sama. Tentukan VPC menggunakan. [VpcConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_VpcConfig.html) Selain itu, VPC harus memiliki titik akhir ke bucket Amazon S3, layanan SageMaker AI, dan layanan AI Runtime. SageMaker
Jika pemrosesan terdistribusi diaktifkan, Anda juga harus mengizinkan komunikasi antara instance yang berbeda dalam pekerjaan pemrosesan yang sama. Konfigurasikan aturan untuk grup keamanan Anda yang memungkinkan koneksi masuk antara anggota grup keamanan yang sama. Untuk informasi selengkapnya, lihat [Berikan Amazon SageMaker Clarify Lowongan Akses ke Sumber Daya di Amazon VPC Anda](clarify-vpc.md).
Kode berikut memberikan contoh konfigurasi jaringan.
```
{
"EnableNetworkIsolation": False,
"VpcConfig": {
...
}
}
```
1. Atur waktu maksimum pekerjaan akan berjalan menggunakan `StoppingCondition` parameter. Waktu terpanjang yang dapat dijalankan oleh pekerjaan SageMaker Clarify adalah `7` berhari-hari atau `604800` detik. Jika pekerjaan tidak dapat diselesaikan dalam batas waktu ini, itu akan dihentikan dan tidak ada hasil analisis yang akan diberikan. Sebagai contoh, konfigurasi berikut membatasi waktu maksimum pekerjaan dapat berjalan hingga 3600 detik.
```
{
"MaxRuntimeInSeconds": 3600
}
```
1. Tentukan peran IAM untuk `RoleArn` parameter. Peran tersebut harus memiliki hubungan kepercayaan dengan Amazon SageMaker AI. Ini dapat digunakan untuk melakukan operasi SageMaker API yang tercantum dalam tabel berikut. Sebaiknya gunakan kebijakan SageMaker AIFullAccess terkelola Amazon, yang memberikan akses penuh ke SageMaker AI. Untuk informasi lebih lanjut tentang kebijakan ini, lihat[AWS kebijakan terkelola: AmazonSageMakerFullAccess](security-iam-awsmanpol.md#security-iam-awsmanpol-AmazonSageMakerFullAccess). Jika Anda memiliki kekhawatiran tentang pemberian akses penuh, izin minimal yang diperlukan bergantung pada apakah Anda memberikan model atau nama titik akhir. Menggunakan nama titik akhir memungkinkan pemberian lebih sedikit izin ke AI. SageMaker
Tabel berikut berisi operasi API yang digunakan oleh tugas pemrosesan SageMaker Clarify. **X**Di bawah **Nama Model dan nama** **Endpoint** mencatat operasi API yang diperlukan untuk setiap input.
[See the AWS documentation website for more details](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/clarify-processing-job-configure-parameters.html)
Untuk informasi lebih lanjut tentang izin yang diperlukan, lihat [Izin Amazon SageMaker AI API: Tindakan, Izin, dan Referensi Sumber Daya](api-permissions-reference.md).
Untuk informasi lebih lanjut tentang meneruskan peran ke SageMaker AI, lihat[Peran Lulus](sagemaker-roles.md#sagemaker-roles-pass-role).
Setelah Anda memiliki masing-masing bagian dari konfigurasi pekerjaan pemrosesan, gabungkan mereka untuk mengonfigurasi pekerjaan.
## Konfigurasikan pekerjaan pemrosesan SageMaker Clarify menggunakan AWS SDK for Python
Contoh kode berikut menunjukkan cara meluncurkan pekerjaan pemrosesan SageMaker Clarify menggunakan [AWS SDK untuk Python](https://aws.amazon.com/sdk-for-python/).
```
sagemaker_client.create_processing_job(
ProcessingJobName="{{your-clarify-job-name}}",
AppSpecification={
"ImageUri": "t{{he-clarify-container-image-uri}}",
},
ProcessingInputs=[{
"InputName": "analysis_config",
"S3Input": {
"S3Uri": "s3://{{your-bucket/analysis_config.json}}",
"S3DataType": "S3Prefix",
"S3InputMode": "File",
"LocalPath": "/opt/ml/processing/{{input/config}}",
},
}, {
"InputName": "dataset",
"S3Input": {
"S3Uri": "s3://{{your-bucket/your-dataset.csv}}",
"S3DataType": "S3Prefix",
"S3InputMode": "File",
"LocalPath": "/opt/ml/processing/{{input/data}}",
},
},
],
ProcessingOutputConfig={
"Outputs": [{
"OutputName": "analysis_result",
"S3Output": {
"S3Uri": "s3://{{your-bucket/result/}}",
"S3UploadMode": "EndOfJob",
"LocalPath": "/opt/ml/processing/{{output}}",
},
}],
},
ProcessingResources={
"ClusterConfig": {
"InstanceCount": {{1}},
"InstanceType": "{{ml.m5.xlarge}}",
"VolumeSizeInGB": {{20}},
},
},
NetworkConfig={
"EnableNetworkIsolation": False,
"VpcConfig": {
...
},
},
StoppingCondition={
"MaxRuntimeInSeconds": {{3600}},
},
RoleArn="arn:aws:iam::{{:role/service-role/AmazonSageMaker-ExecutionRole}}",
)
```
Untuk contoh buku catatan dengan instruksi untuk menjalankan tugas pemrosesan SageMaker Clarify menggunakan AWS SDK untuk Python, [lihat Keadilan dan Keterjelasan dengan SageMaker Clarify](http://github.com/aws/amazon-sagemaker-examples/blob/main/sagemaker-clarify/fairness_and_explainability/fairness_and_explainability_boto3.ipynb) using SDK for Python. AWS Bucket S3 apa pun yang digunakan di notebook harus berada di AWS Region yang sama dengan instance notebook yang mengaksesnya.
## Konfigurasikan pekerjaan pemrosesan SageMaker Clarify menggunakan SageMaker Python SDK
Anda juga dapat mengonfigurasi pekerjaan pemrosesan SageMaker Clarify menggunakan [SageMaker ClarifyProcessor](https://sagemaker.readthedocs.io/en/stable/api/training/processing.html#sagemaker.clarify.SageMakerClarifyProcessor)API SDK SageMaker Python. Untuk informasi selengkapnya, lihat [Jalankan Pekerjaan Pemrosesan SageMaker Klarifikasi untuk Analisis Bias dan Penjelasan](clarify-processing-job-run.md).
**Topics**
+ [Kontainer SageMaker Klarifikasi Prebuilt](clarify-processing-job-configure-container.md)
+ [File Konfigurasi Analisis](clarify-processing-job-configure-analysis.md)
+ [Panduan Kompatibilitas Format Data](clarify-processing-job-data-format.md)