Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
# SageMaker Autopilot
**penting**
[Pada 30 November 2023, UI Autopilot bermigrasi ke Amazon [ SageMaker Canvas sebagai bagian dari pengalaman Amazon](https://docs.aws.amazon.com/sagemaker/latest/dg/canvas.html) Studio yang diperbarui. SageMaker ](studio-updated.md) SageMaker Canvas memberikan analis dan ilmuwan data warga kemampuan tanpa kode untuk tugas-tugas seperti persiapan data, rekayasa fitur, pemilihan algoritme, pelatihan dan penyetelan, inferensi, dan banyak lagi. Pengguna dapat memanfaatkan visualisasi bawaan dan analisis bagaimana-jika untuk mengeksplorasi data mereka dan skenario yang berbeda, dengan prediksi otomatis yang memungkinkan mereka untuk dengan mudah memproduksi model mereka. Canvas mendukung berbagai kasus penggunaan, termasuk visi komputer, peramalan permintaan, pencarian cerdas, dan AI generatif.
Pengguna [Amazon SageMaker Studio Classic](studio.md), pengalaman [Studio](studio-updated.md) sebelumnya, dapat terus menggunakan Autopilot UI di Studio Classic. Pengguna dengan pengalaman pengkodean dapat terus menggunakan semua [referensi API](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-reference.html) di SDK apa pun yang didukung untuk implementasi teknis.
Jika Anda telah menggunakan Autopilot di Studio Classic sampai sekarang dan ingin bermigrasi ke SageMaker Canvas, Anda mungkin harus memberikan izin tambahan ke profil pengguna atau peran IAM Anda sehingga Anda dapat membuat dan menggunakan aplikasi Canvas. SageMaker Untuk informasi selengkapnya, lihat [(Opsional) Migrasi dari Autopilot di Studio Classic ke Canvas SageMaker](studio-updated-migrate-ui.md#studio-updated-migrate-autopilot).
[Semua instruksi terkait UI dalam panduan ini berkaitan dengan fitur mandiri Autopilot sebelum bermigrasi ke Amazon Canvas. SageMaker ](https://docs.aws.amazon.com/sagemaker/latest/dg/canvas.html) Pengguna yang mengikuti petunjuk ini harus menggunakan [Studio Classic](studio.md).
Amazon SageMaker Autopilot adalah rangkaian fitur yang menyederhanakan dan mempercepat berbagai tahapan alur kerja pembelajaran mesin dengan mengotomatiskan proses pembuatan dan penerapan model pembelajaran mesin (AutoML). Halaman berikut menjelaskan informasi penting tentang Amazon SageMaker Autopilot.
Autopilot melakukan tugas-tugas utama berikut yang dapat Anda gunakan pada autopilot atau dengan berbagai tingkat bimbingan manusia:
+ **Analisis dan pra-pemrosesan data:** Autopilot mengidentifikasi jenis masalah spesifik Anda, menangani nilai yang hilang, menormalkan data Anda, memilih fitur, dan secara keseluruhan menyiapkan data untuk pelatihan model.
+ **Pemilihan model:** Autopilot mengeksplorasi berbagai algoritma dan menggunakan teknik resampling validasi silang untuk menghasilkan metrik yang mengevaluasi kualitas prediktif algoritme berdasarkan metrik objektif yang telah ditentukan.
+ **Optimasi Hyperparameter:** Autopilot mengotomatiskan pencarian untuk konfigurasi hyperparameter yang optimal.
+ **Pelatihan dan evaluasi model:** Autopilot mengotomatiskan proses pelatihan dan mengevaluasi berbagai kandidat model. Ini membagi data menjadi set pelatihan dan validasi, melatih kandidat model yang dipilih menggunakan data pelatihan, dan mengevaluasi kinerja mereka pada data tak terlihat dari set validasi. Terakhir, ini memberi peringkat kandidat model yang dioptimalkan berdasarkan kinerja mereka dan mengidentifikasi model berkinerja terbaik.
+ **Penerapan model:** Setelah Autopilot mengidentifikasi model berkinerja terbaik, Autopilot memberikan opsi untuk menerapkan model secara otomatis dengan menghasilkan artefak model dan titik akhir yang mengekspos API. Aplikasi eksternal dapat mengirim data ke titik akhir dan menerima prediksi atau kesimpulan yang sesuai.
Autopilot mendukung pembuatan model pembelajaran mesin pada kumpulan data besar hingga ratusan. GBs
Diagram berikut menguraikan tugas-tugas proses AutoML ini yang dikelola oleh Autopilot.
![\[Ikhtisar proses SageMaker AutoML Amazon Autopilot.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/Autopilot-process-graphic-1.png)
Bergantung pada tingkat kenyamanan Anda dengan proses pembelajaran mesin dan pengalaman pengkodean, Anda dapat menggunakan Autopilot dengan berbagai cara:
+ **Menggunakan UI Studio Classic**, pengguna dapat memilih antara pengalaman tanpa kode atau memiliki beberapa tingkat input manusia.
**catatan**
Hanya eksperimen yang dibuat dari data tabular untuk tipe masalah seperti regresi atau klasifikasi yang tersedia melalui UI Studio Classic.
+ **Menggunakan AutoML API**, pengguna dengan pengalaman pengkodean dapat menggunakan yang tersedia SDKs untuk membuat pekerjaan AutoML. Pendekatan ini memberikan fleksibilitas dan opsi penyesuaian yang lebih besar dan tersedia untuk semua jenis masalah.
Autopilot saat ini mendukung jenis masalah berikut:
**catatan**
[Untuk masalah regresi atau klasifikasi yang melibatkan data tabular, pengguna dapat memilih di antara dua opsi: menggunakan antarmuka pengguna Studio Classic atau Referensi API.](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-reference.html)
[Tugas seperti klasifikasi teks dan gambar, peramalan deret waktu, dan fine-tuning model bahasa besar tersedia secara eksklusif melalui API REST AutoML versi 2.](autopilot-reference.md) Jika bahasa pilihan Anda adalah Python, Anda dapat merujuk ke [AWS SDK untuk Python (Boto3)](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker/client/create_auto_ml_job_v2.html)atau [MLV2 objek Auto](https://sagemaker.readthedocs.io/en/stable/api/training/automlv2.html#sagemaker.automl.automlv2.AutoMLV2) dari Amazon SageMaker Python SDK secara langsung.
Pengguna yang lebih menyukai kenyamanan antarmuka pengguna dapat menggunakan [Amazon SageMaker Canvas](https://docs.aws.amazon.com/sagemaker/latest/dg/canvas-getting-started.html) untuk mengakses model pra-terlatih dan model dasar AI generatif, atau membuat model khusus yang disesuaikan untuk teks tertentu, klasifikasi gambar, kebutuhan peramalan, atau AI generatif.
+ **Klasifikasi regresi, biner, dan multikelas dengan** data tabular yang diformat sebagai file CSV atau Parket di mana setiap kolom berisi fitur dengan tipe data tertentu dan setiap baris berisi pengamatan. Tipe data kolom yang diterima meliputi numerik, kategoris, teks, dan deret waktu yang terdiri dari string angka yang dipisahkan koma.
+ Untuk membuat pekerjaan Autopilot sebagai percobaan percontohan menggunakan referensi SageMaker API, lihat. [Membuat Pekerjaan Regresi atau Klasifikasi untuk Data Tabular Menggunakan AutoML API](autopilot-automate-model-development-create-experiment.md)
+ Untuk membuat pekerjaan Autopilot sebagai percobaan percontohan menggunakan UI Studio Classic, lihat. [Membuat eksperimen Autopilot Regresi atau Klasifikasi untuk data tabular menggunakan UI Studio Classic](autopilot-automate-model-development-create-experiment-ui.md)
+ Jika Anda seorang administrator yang ingin melakukan pra-konfigurasi infrastruktur default, jaringan, atau parameter keamanan eksperimen Autopilot di Studio Classic UI, lihat. [Konfigurasikan parameter default eksperimen Autopilot (untuk administrator)](autopilot-set-default-parameters-create-experiment.md)
+ **Klasifikasi teks** dengan data yang diformat sebagai file CSV atau Parket di mana kolom menyediakan kalimat yang akan diklasifikasikan, sementara kolom lain harus memberikan label kelas yang sesuai. Lihat [Membuat pekerjaan AutoML untuk klasifikasi teks menggunakan API](autopilot-create-experiment-text-classification.md).
+ **Klasifikasi gambar** dengan format gambar seperti PNG, JPEG, atau kombinasi keduanya. Lihat. [Membuat Job Klasifikasi Gambar menggunakan AutoML API](autopilot-create-experiment-image-classification.md)
+ **Peramalan deret waktu** dengan data deret waktu yang diformat sebagai file CSV atau Parket. Lihat. [Buat pekerjaan AutoML untuk peramalan deret waktu menggunakan API](autopilot-create-experiment-timeseries-forecasting.md)
+ Fine-tuning model bahasa besar (LLMs) untuk **pembuatan teks** dengan data yang diformat sebagai file CSV atau Parquet. Lihat. [Buat pekerjaan AutoML untuk menyempurnakan model pembuatan teks menggunakan API](autopilot-create-experiment-finetune-llms.md)
Selain itu, Autopilot membantu pengguna memahami bagaimana model membuat prediksi dengan secara otomatis menghasilkan laporan yang menunjukkan pentingnya setiap fitur individu. Ini memberikan transparansi dan wawasan tentang faktor-faktor yang mempengaruhi prediksi, yang dapat digunakan oleh tim risiko dan kepatuhan serta regulator eksternal. Autopilot juga menyediakan laporan kinerja model, yang mencakup ringkasan metrik evaluasi, matriks kebingungan, berbagai visualisasi seperti kurva karakteristik operasi penerima dan kurva penarikan presisi, dan banyak lagi. Isi spesifik dari setiap laporan bervariasi tergantung pada jenis masalah eksperimen Autopilot.
Laporan penjelasan dan kinerja untuk kandidat model terbaik dalam eksperimen Autopilot tersedia untuk jenis masalah klasifikasi data teks, gambar, dan tabel.
Untuk kasus penggunaan data tabular seperti regresi atau klasifikasi, Autopilot menawarkan visibilitas tambahan tentang bagaimana data diperdebatkan dan bagaimana kandidat model dipilih, dilatih, dan disetel dengan menghasilkan notebook yang berisi kode yang digunakan untuk mengeksplorasi data dan menemukan model berkinerja terbaik. Notebook ini menyediakan lingkungan interaktif dan eksplorasi untuk membantu Anda mempelajari tentang dampak berbagai input atau trade-off yang dibuat dalam eksperimen. Anda dapat bereksperimen lebih lanjut dengan kandidat model berkinerja lebih tinggi dengan membuat modifikasi Anda sendiri pada eksplorasi data dan notebook definisi kandidat yang disediakan oleh Autopilot.
Dengan Amazon SageMaker AI, Anda hanya membayar untuk apa yang Anda gunakan. Anda membayar sumber daya komputasi dan penyimpanan yang mendasarinya dalam SageMaker AI atau AWS layanan lain, berdasarkan penggunaan Anda. Untuk informasi selengkapnya tentang biaya penggunaan SageMaker AI, lihat [ SageMakerHarga Amazon](https://aws.amazon.com/sagemaker/pricing).
**Topics**
+ [
# Membuat Pekerjaan Regresi atau Klasifikasi untuk Data Tabular Menggunakan AutoML API
](autopilot-automate-model-development-create-experiment.md)
+ [
# Membuat Job Klasifikasi Gambar menggunakan AutoML API
](autopilot-create-experiment-image-classification.md)
+ [
# Membuat pekerjaan AutoML untuk klasifikasi teks menggunakan API
](autopilot-create-experiment-text-classification.md)
+ [
# Buat pekerjaan AutoML untuk peramalan deret waktu menggunakan API
](autopilot-create-experiment-timeseries-forecasting.md)
+ [
# Buat pekerjaan AutoML untuk menyempurnakan model pembuatan teks menggunakan API
](autopilot-create-experiment-finetune-llms.md)
+ [
# Membuat eksperimen Autopilot Regresi atau Klasifikasi untuk data tabular menggunakan UI Studio Classic
](autopilot-automate-model-development-create-experiment-ui.md)
+ [
# Notebook SageMaker contoh Amazon Autopilot
](autopilot-example-notebooks.md)
+ [
# Video: Gunakan Autopilot untuk mengotomatisasi dan menjelajahi proses pembelajaran mesin
](autopilot-videos.md)
+ [
# Kuota autopilot
](autopilot-quotas.md)
+ [
# Panduan Referensi API untuk Autopilot
](autopilot-reference.md)
# Membuat Pekerjaan Regresi atau Klasifikasi untuk Data Tabular Menggunakan AutoML API
Anda dapat membuat tugas regresi atau klasifikasi Autopilot untuk data tabular secara terprogram dengan memanggil tindakan [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html)API dalam bahasa apa pun yang didukung oleh Autopilot atau. AWS CLI Berikut ini adalah kumpulan parameter permintaan input wajib dan opsional untuk tindakan `CreateAutoMLJobV2` API. Anda dapat menemukan informasi alternatif untuk versi sebelumnya dari tindakan ini,`CreateAutoMLJob`. Namun, kami sarankan untuk menggunakan`CreateAutoMLJobV2`.
Untuk informasi tentang cara tindakan API ini diterjemahkan ke dalam fungsi dalam bahasa pilihan Anda, lihat bagian [Lihat Juga](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#API_CreateAutoMLJobV2_SeeAlso) `CreateAutoMLJobV2` dan pilih SDK. Sebagai contoh, untuk pengguna Python, lihat sintaks permintaan lengkap dari in. `[create\$1auto\$1ml\$1job\$1v2](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html#SageMaker.Client.create_auto_ml_job_v2)` AWS SDK untuk Python (Boto3)
**catatan**
[CreateAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html) dan [DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html) adalah versi baru [CreateAutoMLJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html)dan [DescribeAutoMLJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJob.html)yang menawarkan kompatibilitas mundur.
Kami merekomendasikan menggunakan`CreateAutoMLJobV2`. `CreateAutoMLJobV2`dapat mengelola jenis masalah tabular yang identik dengan versi sebelumnya`CreateAutoMLJob`, serta jenis masalah non-tabular seperti klasifikasi gambar atau teks, atau peramalan deret waktu.
Minimal, semua eksperimen pada data tabular memerlukan spesifikasi nama eksperimen, menyediakan lokasi untuk data input dan output, dan menentukan data target mana yang akan diprediksi. Secara opsional, Anda juga dapat menentukan jenis masalah yang ingin Anda selesaikan (regresi, klasifikasi, klasifikasi multiclass), pilih strategi pemodelan Anda (*ansambel bertumpuk* atau *optimasi hiperparameter*), pilih daftar algoritma yang digunakan oleh pekerjaan Autopilot untuk melatih data, dan banyak lagi.
Setelah eksperimen berjalan, Anda dapat membandingkan uji coba dan mempelajari detail langkah pra-pemrosesan, algoritme, dan rentang hiperparameter dari setiap model. Anda juga memiliki opsi untuk mengunduh laporan [penjelasan](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-explainability.html) dan [kinerjanya](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-model-insights.html). Gunakan [buku catatan](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-automate-model-development-notebook-output.html ) yang disediakan untuk melihat hasil eksplorasi data otomatis atau definisi model kandidat.
Temukan panduan tentang cara memigrasi `CreateAutoMLJob` ke `CreateAutoMLJobV2` in[Migrasi CreateAuto MLJob ke V2 CreateAuto MLJob](#autopilot-create-experiment-api-migrate-v1-v2).
## Parameter yang diperlukan
------
#### [ CreateAutoMLJobV2 ]
Saat menelepon `[CreateAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html)` untuk membuat eksperimen Autopilot untuk data tabular, Anda harus memberikan nilai berikut:
+ An `[AutoMLJobName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#API_CreateAutoMLJobV2_RequestSyntax)` untuk menentukan nama pekerjaan Anda.
+ Setidaknya satu `[AutoMLJobChannel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html)` `[AutoMLJobInputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLJobInputDataConfig)` untuk menentukan sumber data Anda.
+ Baik `[AutoMLJobObjective](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLJobObjective)` metrik dan jenis masalah pembelajaran terawasi pilihan Anda (klasifikasi biner, klasifikasi multikelas, regresi) di`AutoMLProblemTypeConfig`, atau tidak sama sekali. Untuk data tabular, Anda harus memilih `[TabularJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TabularJobConfig.html)` sebagai jenis. `[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)` Anda mengatur masalah pembelajaran yang diawasi dalam `ProblemType` atribut. `TabularJobConfig`
+ `[OutputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLOutputDataConfig.html)`Untuk menentukan jalur keluaran Amazon S3 untuk menyimpan artefak pekerjaan AutoML Anda.
+ A `[RoleArn](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html#sagemaker-CreateAutoMLJob-request-RoleArn)` untuk menentukan ARN dari peran yang digunakan untuk mengakses data Anda.
------
#### [ CreateAutoMLJob ]
Saat memanggil `[CreateAutoMLJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html)` untuk membuat eksperimen AutoML, Anda harus memberikan empat nilai berikut:
+ An `[AutoMLJobName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html#sagemaker-CreateAutoMLJob-request-AutoMLJobName)` untuk menentukan nama pekerjaan Anda.
+ Setidaknya satu `[AutoMLChannel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLChannel.html)` `[InputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html#sagemaker-CreateAutoMLJob-request-InputDataConfig)` untuk menentukan sumber data Anda.
+ `[OutputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLOutputDataConfig.html)`Untuk menentukan jalur keluaran Amazon S3 untuk menyimpan artefak pekerjaan AutoML Anda.
+ A `[RoleArn](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html#sagemaker-CreateAutoMLJob-request-RoleArn)` untuk menentukan ARN dari peran yang digunakan untuk mengakses data Anda.
------
Semua parameter lainnya adalah opsional.
## Parameter opsional
Bagian berikut memberikan detail beberapa parameter opsional yang dapat Anda teruskan ke tindakan `CreateAutoMLJobV2` API saat menggunakan data tabular. Anda dapat menemukan informasi alternatif untuk versi sebelumnya dari tindakan ini,`CreateAutoMLJob`. Namun, kami sarankan untuk menggunakan`CreateAutoMLJobV2`.
### Cara mengatur mode pelatihan pekerjaan AutoML
Untuk data tabular, kumpulan algoritme yang dijalankan pada data Anda untuk melatih kandidat model Anda bergantung pada strategi pemodelan Anda (`ENSEMBLING`atau`HYPERPARAMETER_TUNING`). Berikut ini detail cara mengatur mode pelatihan ini.
Jika Anda tetap kosong (atau`null`), `Mode` disimpulkan berdasarkan ukuran kumpulan data Anda.
*Untuk informasi tentang *ansambel bertumpuk Autopilot dan metode pelatihan pengoptimalan hiperparameter*, lihat* [Mode pelatihan dan dukungan algoritma](autopilot-model-support-validation.md)
------
#### [ CreateAutoMLJobV2 ]
Untuk data tabular, Anda harus memilih `[TabularJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TabularJobConfig.html)` sebagai jenis. `[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)`
Anda dapat mengatur [metode pelatihan](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-model-support-validation.html) pekerjaan AutoML V2 dengan parameter. `[TabularJobConfig.Mode](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TabularJobConfig.html)`
------
#### [ CreateAutoMLJob ]
Anda dapat mengatur [metode pelatihan](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-model-support-validation.html) pekerjaan AutoML dengan parameter. `[AutoMLJobConfig.Mode](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobConfig.html#sagemaker-Type-AutoMLJobConfig-Mode)`
------
### Cara memilih fitur dan algoritme untuk melatih pekerjaan AutoML
#### Pilihan fitur
Autopilot menyediakan langkah-langkah pra-pemrosesan data otomatis termasuk pemilihan fitur dan ekstraksi fitur. Namun, Anda dapat secara manual menyediakan fitur yang akan digunakan dalam pelatihan dengan `FeatureSpecificatioS3Uri` atribut.
Fitur yang dipilih harus terkandung dalam file JSON dalam format berikut:
```
{ "FeatureAttributeNames":["col1", "col2", ...] }
```
Nilai yang tercantum dalam `["col1", "col2", ...]` peka huruf besar/kecil. Mereka harus berupa daftar string yang berisi nilai unik yang merupakan himpunan bagian dari nama kolom dalam data input.
**catatan**
Daftar kolom yang disediakan sebagai fitur tidak dapat menyertakan kolom target.
------
#### [ CreateAutoMLJobV2 ]
Untuk data tabular, Anda harus memilih `[TabularJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TabularJobConfig.html)` sebagai jenis. `[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)`
Anda dapat mengatur URL ke fitur yang Anda pilih dengan `[TabularJobConfig.FeatureSpecificationS3Uri](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TabularJobConfig.html)` parameter.
------
#### [ CreateAutoMLJob ]
Anda dapat mengatur `FeatureSpecificatioS3Uri` atribut [Auto MLCandidate GenerationConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidateGenerationConfig.html) dalam [CreateAutoMLJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html)API dengan format berikut:
```
{
"[AutoMLJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html#sagemaker-CreateAutoMLJob-request-AutoMLJobConfig)": {
"[CandidateGenerationConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobConfig.html#sagemaker-Type-AutoMLJobConfig-CandidateGenerationConfig)": {
"[FeatureSpecificationS3Uri](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidateGenerationConfig.html#sagemaker-Type-AutoMLCandidateGenerationConfig-FeatureSpecificationS3Uri)":"string"
},
}
}
```
------
#### Pemilihan algoritma
Secara default, pekerjaan Autopilot Anda menjalankan daftar algoritme yang telah ditentukan sebelumnya pada kumpulan data Anda untuk melatih kandidat model. Daftar algoritma tergantung pada mode pelatihan (`ENSEMBLING`atau`HYPERPARAMETER_TUNING`) yang digunakan oleh pekerjaan.
Anda dapat memberikan subset dari pemilihan algoritme default.
------
#### [ CreateAutoMLJobV2 ]
Untuk data tabular, Anda harus memilih `[TabularJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TabularJobConfig.html)` sebagai jenis. `[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)`
Anda dapat menentukan array yang dipilih `AutoMLAlgorithms` dalam `AlgorithmsConfig` atribut [CandidateGenerationConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateGenerationConfig.html).
Berikut ini adalah contoh `AlgorithmsConfig` atribut yang mencantumkan tepat tiga algoritma (“xgboost”, “fasai”, “catboost”) di `AutoMLAlgorithms` bidangnya untuk mode pelatihan ensembling.
```
{
"[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)": {
"[TabularJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TabularJobConfig.html)": {
"[Mode](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TabularJobConfig.html)": "ENSEMBLING",
"[CandidateGenerationConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateGenerationConfig.html)": {
"[AlgorithmsConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateGenerationConfig.html#sagemaker-Type-CandidateGenerationConfig-AlgorithmsConfig)":[
{"[AutoMLAlgorithms](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLAlgorithmConfig.html)":["xgboost", "fastai", "catboost"]}
]
},
},
},
}
```
------
#### [ CreateAutoMLJob ]
Anda dapat menentukan array yang dipilih `AutoMLAlgorithms` dalam `AlgorithmsConfig` atribut [Auto MLCandidate GenerationConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidateGenerationConfig.html).
Berikut ini adalah contoh `AlgorithmsConfig` atribut yang mencantumkan tepat tiga algoritma (“xgboost”, “fasai”, “catboost”) di `AutoMLAlgorithms` bidangnya untuk mode pelatihan ensembling.
```
{
"[AutoMLJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html#sagemaker-CreateAutoMLJob-request-AutoMLJobConfig)": {
"[CandidateGenerationConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobConfig.html#sagemaker-Type-AutoMLJobConfig-CandidateGenerationConfig)": {
"[AlgorithmsConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidateGenerationConfig.html#sagemaker-Type-AutoMLCandidateGenerationConfig-AlgorithmsConfig)":[
{"[AutoMLAlgorithms](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLAlgorithmConfig.html#sagemaker-Type-AutoMLAlgorithmConfig-AutoMLAlgorithms)":["xgboost", "fastai", "catboost"]}
]
},
"Mode": "ENSEMBLING"
}
```
------
Untuk daftar algoritma yang tersedia per pelatihan`Mode`, lihat [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLAlgorithmConfig.html#sagemaker-Type-AutoMLAlgorithmConfig-AutoMLAlgorithms](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLAlgorithmConfig.html#sagemaker-Type-AutoMLAlgorithmConfig-AutoMLAlgorithms). Untuk detail tentang setiap algoritma, lihat[Mode pelatihan dan dukungan algoritma](autopilot-model-support-validation.md).
### Cara menentukan kumpulan data pelatihan dan validasi pekerjaan AutoML
Anda dapat memberikan kumpulan data validasi dan rasio pemisahan data khusus Anda sendiri, atau membiarkan Autopilot membagi kumpulan data secara otomatis.
------
#### [ CreateAutoMLJobV2 ]
Setiap [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html)objek (lihat parameter yang diperlukan [Auto MLJob InputDataConfig](https://docs.aws.amazon.com/sagemaker-api/src/AWSSageMakerAPIDoc/build/server-root/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLJobInputDataConfig)) memiliki`ChannelType`, yang dapat diatur ke salah satu `training` atau `validation` nilai yang menentukan bagaimana data akan digunakan saat membangun model pembelajaran mesin. Setidaknya satu sumber data harus disediakan dan maksimal dua sumber data diperbolehkan: satu untuk data pelatihan dan satu untuk data validasi.
Bagaimana Anda membagi data menjadi kumpulan data pelatihan dan validasi tergantung pada apakah Anda memiliki satu atau dua sumber data.
+ Jika Anda hanya memiliki **satu sumber data**, `ChannelType` diatur ke secara `training` default dan harus memiliki nilai ini.
+ Jika `ValidationFraction` nilai dalam tidak [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSplitConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSplitConfig.html)disetel, 0.2 (20%) data dari sumber ini digunakan untuk validasi secara default.
+ Jika `ValidationFraction` diatur ke nilai antara 0 dan 1, dataset dibagi berdasarkan nilai yang ditentukan, di mana nilai menentukan fraksi dari dataset yang digunakan untuk validasi.
+ Jika Anda memiliki **dua sumber data**, `ChannelType` salah satu `AutoMLJobChannel` objek harus diatur ke`training`, nilai default. Sumber data lainnya harus diatur ke`validation`. `ChannelType` Kedua sumber data harus memiliki format yang sama, baik CSV atau Parket, dan skema yang sama. Anda tidak boleh menetapkan nilai untuk `ValidationFraction` dalam kasus ini karena semua data dari setiap sumber digunakan untuk pelatihan atau validasi. Menyetel nilai ini menyebabkan kesalahan.
------
#### [ CreateAutoMLJob ]
Setiap [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLChannel.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLChannel.html)objek (lihat parameter yang diperlukan [InputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html#sagemaker-CreateAutoMLJob-request-InputDataConfig)) memiliki`ChannelType`, yang dapat diatur ke salah satu `training` atau `validation` nilai yang menentukan bagaimana data akan digunakan saat membangun model pembelajaran mesin. Setidaknya satu sumber data harus disediakan dan maksimal dua sumber data diperbolehkan: satu untuk data pelatihan dan satu untuk data validasi.
Bagaimana Anda membagi data menjadi kumpulan data pelatihan dan validasi tergantung pada apakah Anda memiliki satu atau dua sumber data.
+ Jika Anda hanya memiliki **satu sumber data**, `ChannelType` diatur ke secara `training` default dan harus memiliki nilai ini.
+ Jika `ValidationFraction` nilai dalam tidak [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSplitConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSplitConfig.html)disetel, 0.2 (20%) data dari sumber ini digunakan untuk validasi secara default.
+ Jika `ValidationFraction` diatur ke nilai antara 0 dan 1, dataset dibagi berdasarkan nilai yang ditentukan, di mana nilai menentukan fraksi dari dataset yang digunakan untuk validasi.
+ Jika Anda memiliki **dua sumber data**, `ChannelType` salah satu `AutoMLChannel` objek harus diatur ke`training`, nilai default. Sumber data lainnya harus diatur ke`validation`. `ChannelType` Kedua sumber data harus memiliki format yang sama, baik CSV atau Parket, dan skema yang sama. Anda tidak boleh menetapkan nilai untuk `ValidationFraction` dalam kasus ini karena semua data dari setiap sumber digunakan untuk pelatihan atau validasi. Menyetel nilai ini menyebabkan kesalahan.
------
Untuk informasi tentang validasi split dan cross-validasi di Autopilot lihat. [Validasi silang di Autopilot](autopilot-metrics-validation.md#autopilot-cross-validation)
### Cara mengatur jenis masalah pekerjaan AutoML
------
#### [ CreateAutoMLJobV2 ]
Untuk data tabular, Anda harus memilih `[TabularJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TabularJobConfig.html)` sebagai jenis. `[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)`
Anda selanjutnya dapat menentukan jenis masalah pembelajaran yang diawasi (klasifikasi biner, klasifikasi multiclass, regresi) yang tersedia untuk kandidat model pekerjaan AutoML Anda V2 dengan parameter. `[TabularJobConfig.ProblemType](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TabularJobConfig.html)`
------
#### [ CreateAutoMLJob ]
Anda dapat mengatur [jenis masalah](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-datasets-problem-types.html#autopilot-problem-types) pada pekerjaan AutoML dengan parameter. `[CreateAutoPilot.ProblemType](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html#sagemaker-CreateAutoMLJob-request-ProblemType)` Ini membatasi jenis preprocessing dan algoritma yang Autopilot coba. Setelah pekerjaan selesai, jika Anda telah mengatur`[CreateAutoPilot.ProblemType](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html#sagemaker-CreateAutoMLJob-request-ProblemType)`, maka `[ResolvedAttribute.ProblemType](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ResolvedAttributes.html)` kecocokan yang `ProblemType` Anda tetapkan. Jika Anda menyimpannya kosong (atau`null`), `ProblemType` disimpulkan atas nama Anda.
------
**catatan**
Dalam beberapa kasus, Autopilot tidak dapat menyimpulkan `ProblemType` dengan kepercayaan diri yang cukup tinggi, dalam hal ini Anda harus memberikan nilai agar pekerjaan berhasil.
### Cara menambahkan bobot sampel ke pekerjaan AutoML
Anda dapat menambahkan kolom bobot sampel ke kumpulan data tabular Anda dan kemudian meneruskannya ke pekerjaan AutoML Anda untuk meminta baris kumpulan data untuk ditimbang selama pelatihan dan evaluasi.
Support untuk bobot sampel hanya tersedia dalam mode [ensembling](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-model-support-validation.html#autopilot-training-mode). Bobot Anda harus numerik dan non-negatif. Poin data dengan nilai bobot tidak valid atau tidak ada dikecualikan. Untuk informasi selengkapnya tentang metrik objektif yang tersedia, lihat[Metrik tertimbang autopilot](autopilot-metrics-validation.md#autopilot-weighted-metrics).
------
#### [ CreateAutoMLJobV2 ]
Untuk data tabular, Anda harus memilih `[TabularJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TabularJobConfig.html)` sebagai jenis. `[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)`
Untuk mengatur bobot sampel saat membuat eksperimen (lihat [CreateAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html)), Anda dapat meneruskan nama kolom bobot sampel di `SampleWeightAttributeName` atribut objek. `TabularJobConfig` Ini memastikan bahwa metrik objektif Anda menggunakan bobot untuk pelatihan, evaluasi, dan pemilihan kandidat model.
------
#### [ CreateAutoMLJob ]
Untuk mengatur bobot sampel saat membuat eksperimen (lihat [CreateAutoMLJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html)), Anda dapat meneruskan nama kolom bobot sampel di `SampleWeightAttributeName` atribut objek [Otomatis MLChannel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLChannel.html). Ini memastikan bahwa metrik objektif Anda menggunakan bobot untuk pelatihan, evaluasi, dan pemilihan kandidat model.
------
### Cara mengkonfigurasi AutoML untuk memulai pekerjaan jarak jauh di EMR Tanpa Server untuk kumpulan data besar
Anda dapat mengonfigurasi AutoML job V2 untuk secara otomatis memulai pekerjaan jarak jauh di Amazon EMR Tanpa Server saat sumber daya komputasi tambahan diperlukan untuk memproses kumpulan data besar. Dengan transisi mulus ke EMR Tanpa Server saat diperlukan, pekerjaan AutoML dapat menangani kumpulan data yang sebaliknya akan melebihi sumber daya yang disediakan sebelumnya, tanpa intervensi manual dari Anda. EMR Tanpa Server tersedia untuk jenis masalah tabular dan deret waktu. Kami merekomendasikan pengaturan opsi ini untuk kumpulan data tabular yang lebih besar dari 5 GB.
Untuk memungkinkan AutoML job V2 Anda secara otomatis beralih ke EMR Tanpa Server untuk kumpulan data besar, Anda perlu menyediakan `EmrServerlessComputeConfig` objek, yang menyertakan bidang, ke permintaan input AutoML job V2. `ExecutionRoleARN` `AutoMLComputeConfig`
`ExecutionRoleARN`Ini adalah ARN dari peran IAM yang memberikan pekerjaan AutoML V2 izin yang diperlukan untuk menjalankan pekerjaan EMR Tanpa Server.
Peran ini harus memiliki hubungan kepercayaan berikut:
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Service": "emr-serverless.amazonaws.com"
},
"Action": "sts:AssumeRole"
}
]
}
```
------
Dan berikan izin untuk:
+ Buat, daftar, dan perbarui aplikasi EMR Tanpa Server.
+ Mulai, daftar, dapatkan, atau batalkan pekerjaan berjalan pada aplikasi EMR Tanpa Server.
+ Tandai EMR Sumber daya tanpa server.
+ Lulus peran IAM ke layanan EMR Tanpa Server untuk dieksekusi.
Dengan memberikan `iam:PassRole` izin, pekerjaan AutoML V2 dapat mengambil peran sementara dan meneruskannya `EMRServerlessRuntimeRole-*` ke layanan EMR Tanpa Server. Ini adalah peran IAM yang digunakan oleh lingkungan eksekusi pekerjaan EMR Tanpa Server untuk mengakses layanan dan sumber daya AWS lain yang diperlukan selama runtime, seperti Amazon S3 untuk akses data CloudWatch , untuk pencatatan, akses ke Katalog Data, atau layanan lain berdasarkan AWS Glue persyaratan beban kerja Anda.
Lihat Peran [runtime Job untuk Amazon EMR Tanpa Server untuk detail tentang izin peran](https://docs.aws.amazon.com/emr/latest/EMR-Serverless-UserGuide/security-iam-runtime-role.html) ini.
Kebijakan IAM yang ditentukan dalam dokumen JSON yang disediakan memberikan izin tersebut:
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [{
"Sid": "EMRServerlessCreateApplicationOperation",
"Effect": "Allow",
"Action": "emr-serverless:CreateApplication",
"Resource": "arn:aws:emr-serverless:*:*:/*",
"Condition": {
"StringEquals": {
"aws:RequestTag/sagemaker:is-canvas-resource": "True",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "EMRServerlessListApplicationOperation",
"Effect": "Allow",
"Action": "emr-serverless:ListApplications",
"Resource": "arn:aws:emr-serverless:*:*:/*",
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "EMRServerlessApplicationOperations",
"Effect": "Allow",
"Action": [
"emr-serverless:UpdateApplication",
"emr-serverless:GetApplication"
],
"Resource": "arn:aws:emr-serverless:*:*:/applications/*",
"Condition": {
"StringEquals": {
"aws:ResourceTag/sagemaker:is-canvas-resource": "True",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "EMRServerlessStartJobRunOperation",
"Effect": "Allow",
"Action": "emr-serverless:StartJobRun",
"Resource": "arn:aws:emr-serverless:*:*:/applications/*",
"Condition": {
"StringEquals": {
"aws:RequestTag/sagemaker:is-canvas-resource": "True",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "EMRServerlessListJobRunOperation",
"Effect": "Allow",
"Action": "emr-serverless:ListJobRuns",
"Resource": "arn:aws:emr-serverless:*:*:/applications/*",
"Condition": {
"StringEquals": {
"aws:ResourceTag/sagemaker:is-canvas-resource": "True",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "EMRServerlessJobRunOperations",
"Effect": "Allow",
"Action": [
"emr-serverless:GetJobRun",
"emr-serverless:CancelJobRun"
],
"Resource": "arn:aws:emr-serverless:*:*:/applications/*/jobruns/*",
"Condition": {
"StringEquals": {
"aws:ResourceTag/sagemaker:is-canvas-resource": "True",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "EMRServerlessTagResourceOperation",
"Effect": "Allow",
"Action": "emr-serverless:TagResource",
"Resource": "arn:aws:emr-serverless:*:*:/*",
"Condition": {
"StringEquals": {
"aws:RequestTag/sagemaker:is-canvas-resource": "True",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "IAMPassOperationForEMRServerless",
"Effect": "Allow",
"Action": "iam:PassRole",
"Resource": "arn:aws:iam::*:role/EMRServerlessRuntimeRole-*",
"Condition": {
"StringEquals": {
"iam:PassedToService": "emr-serverless.amazonaws.com",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
}
]
}
```
------
## Migrasi CreateAuto MLJob ke V2 CreateAuto MLJob
Kami menyarankan pengguna `CreateAutoMLJob` untuk bermigrasi ke`CreateAutoMLJobV2`.
Bagian ini menjelaskan perbedaan parameter input antara [CreateAutoMLJob](https://docs.aws.amazon.com/sagemaker-api/src/AWSSageMakerAPIDoc/build/server-root/sagemaker/latest/APIReference/API_CreateAutoMLJob.html#API_CreateAutoMLJob_RequestSyntax)dan [CreateAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#API_CreateAutoMLJobV2_RequestSyntax) dengan menyoroti perubahan posisi, nama, atau struktur objek dan atribut permintaan input antara dua versi.
+ **Minta atribut yang tidak berubah antar versi.**
```
{
"AutoMLJobName": "string",
"AutoMLJobObjective": {
"MetricName": "string"
},
"ModelDeployConfig": {
"AutoGenerateEndpointName": boolean,
"EndpointName": "string"
},
"OutputDataConfig": {
"KmsKeyId": "string",
"S3OutputPath": "string"
},
"RoleArn": "string",
"Tags": [
{
"Key": "string",
"Value": "string"
}
]
}
```
+ **Minta atribut yang mengubah posisi dan struktur antar versi.**
Atribut berikut berubah posisi:`DataSplitConfig`,`Security Config`,`CompletionCriteria`,`Mode`,`FeatureSpecificationS3Uri`,`SampleWeightAttributeName`,`TargetAttributeName`.
------
#### [ CreateAutoMLJob ]
```
{
"AutoMLJobConfig": {
"Mode": "string",
"CompletionCriteria": {
"MaxAutoMLJobRuntimeInSeconds": number,
"MaxCandidates": number,
"MaxRuntimePerTrainingJobInSeconds": number
},
"DataSplitConfig": {
"ValidationFraction": number
},
"SecurityConfig": {
"EnableInterContainerTrafficEncryption": boolean,
"VolumeKmsKeyId": "string",
"VpcConfig": {
"SecurityGroupIds": [ "string" ],
"Subnets": [ "string" ]
}
},
"CandidateGenerationConfig": {
"FeatureSpecificationS3Uri": "string"
}
},
"GenerateCandidateDefinitionsOnly": boolean,
"ProblemType": "string"
}
```
------
#### [ CreateAutoMLJobV2 ]
```
{
"AutoMLProblemTypeConfig": {
"TabularJobConfig": {
"Mode": "string",
"ProblemType": "string",
"GenerateCandidateDefinitionsOnly": boolean,
"CompletionCriteria": {
"MaxAutoMLJobRuntimeInSeconds": number,
"MaxCandidates": number,
"MaxRuntimePerTrainingJobInSeconds": number
},
"FeatureSpecificationS3Uri": "string",
"SampleWeightAttributeName": "string",
"TargetAttributeName": "string"
}
},
"DataSplitConfig": {
"ValidationFraction": number
},
"SecurityConfig": {
"EnableInterContainerTrafficEncryption": boolean,
"VolumeKmsKeyId": "string",
"VpcConfig": {
"SecurityGroupIds": [ "string" ],
"Subnets": [ "string" ]
}
}
}
```
------
+ **Atribut berikut mengubah posisi dan struktur antar versi.**
JSON berikut menggambarkan bagaimana Auto [ConfigMLJob. CandidateGenerationConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobConfig.html#sagemaker-Type-AutoMLJobConfig-CandidateGenerationConfig)dari jenis [Auto MLCandidate GenerationConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidateGenerationConfig.html) pindah ke [Auto MLProblemTypeConfig. TabularJobConfig. CandidateGenerationConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#API_CreateAutoMLJobV2_RequestSyntax)dari tipe [CandidateGenerationConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateGenerationConfig.html)di V2.
------
#### [ CreateAutoMLJob ]
```
{
"AutoMLJobConfig": {
"CandidateGenerationConfig": {
"AlgorithmsConfig": [
{
"AutoMLAlgorithms": [ "string" ]
}
],
"FeatureSpecificationS3Uri": "string"
}
}
```
------
#### [ CreateAutoMLJobV2 ]
```
{
"AutoMLProblemTypeConfig": {
"TabularJobConfig": {
"CandidateGenerationConfig": {
"AlgorithmsConfig": [
{
"AutoMLAlgorithms": [ "string" ]
}
],
},
}
},
}
```
------
+ **Minta atribut yang mengubah nama dan struktur.**
JSON berikut mengilustrasikan bagaimana [InputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html#sagemaker-CreateAutoMLJob-request-InputDataConfig)(Sebuah array [AutoMLChannel) berubah menjadi Auto](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLChannel.html) MLJob InputDataConfig (Sebuah array [Auto MLJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLJobInputDataConfig) [Channel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html)) di V2. Perhatikan bahwa atribut `SampleWeightAttributeName` dan `TargetAttributeName` bergerak keluar `InputDataConfig` dan masuk`AutoMLProblemTypeConfig`.
------
#### [ CreateAutoMLJob ]
```
{
"InputDataConfig": [
{
"ChannelType": "string",
"CompressionType": "string",
"ContentType": "string",
"DataSource": {
"S3DataSource": {
"S3DataType": "string",
"S3Uri": "string"
}
},
"SampleWeightAttributeName": "string",
"TargetAttributeName": "string"
}
]
}
```
------
#### [ CreateAutoMLJobV2 ]
```
{
"AutoMLJobInputDataConfig": [
{
"ChannelType": "string",
"CompressionType": "string",
"ContentType": "string",
"DataSource": {
"S3DataSource": {
"S3DataType": "string",
"S3Uri": "string"
}
}
}
]
}
```
------
# Kumpulan data autopilot dan jenis masalah
Untuk data tabular (yaitu data di mana setiap kolom berisi fitur dengan tipe data tertentu dan setiap baris berisi pengamatan), Autopilot memberi Anda opsi untuk menentukan jenis masalah pembelajaran yang diawasi yang tersedia untuk kandidat model pekerjaan AutoML, seperti klasifikasi biner atau regresi, atau mendeteksinya atas nama Anda berdasarkan data yang Anda berikan. Autopilot juga mendukung berbagai format data dan tipe data.
**Topics**
+ [
## Kumpulan data autopilot, tipe data, dan format
](#autopilot-datasets)
+ [
## Jenis masalah autopilot
](#autopilot-problem-types)
## Kumpulan data autopilot, tipe data, dan format
Autopilot mendukung data tabular yang diformat sebagai file CSV atau sebagai file Parket: setiap kolom berisi fitur dengan tipe data tertentu dan setiap baris berisi pengamatan. Properti dari dua format file ini sangat berbeda.
+ **CSV** (comma-separated-values) adalah format file berbasis baris yang menyimpan data dalam teks biasa yang dapat dibaca manusia yang merupakan pilihan populer untuk pertukaran data karena didukung oleh berbagai aplikasi.
+ **Parket** adalah format file berbasis kolom di mana data disimpan dan diproses lebih efisien daripada format file berbasis baris. Ini menjadikannya pilihan yang lebih baik untuk masalah data besar.
**Tipe data** yang diterima untuk kolom termasuk numerik, kategoris, teks, dan deret waktu yang terdiri dari string angka yang dipisahkan koma. [Jika Autopilot mendeteksi itu berurusan dengan urutan **deret waktu**, ia memprosesnya melalui transformator fitur khusus yang disediakan oleh perpustakaan tsfresh.](https://tsfresh.readthedocs.io/en/latest/text/list_of_features.html) Pustaka ini mengambil deret waktu sebagai input dan output fitur seperti nilai absolut tertinggi dari deret waktu atau statistik deskriptif pada autokorelasi. Fitur keluaran ini kemudian digunakan sebagai input ke salah satu dari tiga jenis masalah.
Autopilot mendukung pembuatan model pembelajaran mesin pada kumpulan data besar hingga ratusan. GBs Untuk detail tentang batas sumber daya default untuk kumpulan data input dan cara meningkatkannya, lihat Kuota [Autopilot](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-quotas.html).
## Jenis masalah autopilot
Untuk data tabular, Anda lebih lanjut menentukan jenis masalah pembelajaran yang diawasi yang tersedia untuk kandidat model sebagai berikut:
### Regresi
Regresi memperkirakan nilai variabel target dependen berdasarkan satu atau lebih variabel atau atribut lain yang berkorelasi dengannya. Contohnya adalah prediksi harga rumah menggunakan fitur seperti jumlah kamar mandi dan kamar tidur, luas persegi rumah dan taman. Analisis regresi dapat membuat model yang mengambil satu atau lebih fitur ini sebagai masukan dan memprediksi harga rumah.
### Klasifikasi biner
Klasifikasi biner adalah jenis pembelajaran yang diawasi yang menetapkan individu ke salah satu dari dua kelas yang telah ditentukan dan saling eksklusif berdasarkan atribut mereka. Ini diawasi karena model dilatih menggunakan contoh di mana atribut disediakan dengan objek berlabel dengan benar. Diagnosis medis untuk apakah seseorang memiliki penyakit atau tidak berdasarkan hasil tes diagnostik adalah contoh klasifikasi biner.
### Klasifikasi multiclass
Klasifikasi multiclass adalah jenis pembelajaran yang diawasi yang menugaskan seorang individu ke salah satu dari beberapa kelas berdasarkan atributnya. Ini diawasi karena model dilatih menggunakan contoh di mana atribut disediakan dengan objek berlabel dengan benar. Contohnya adalah prediksi topik yang paling relevan dengan dokumen teks. Sebuah dokumen dapat diklasifikasikan sebagai tentang, katakanlah, agama atau politik atau keuangan, atau tentang salah satu dari beberapa kelas topik yang telah ditentukan sebelumnya.
# Mode pelatihan dan dukungan algoritma
Autopilot mendukung berbagai mode pelatihan dan algoritma untuk mengatasi masalah pembelajaran mesin, melaporkan metrik kualitas dan objektif, dan menggunakan validasi silang secara otomatis, bila diperlukan.
## Mode pelatihan
SageMaker Autopilot dapat secara otomatis memilih metode pelatihan berdasarkan ukuran dataset, atau Anda dapat memilihnya secara manual. Pilihannya adalah sebagai berikut:
+ **Ensembling** — Autopilot menggunakan [AutoGluon](https://auto.gluon.ai/scoredebugweight/tutorials/tabular_prediction/index.html)perpustakaan untuk melatih beberapa model dasar. Untuk menemukan kombinasi terbaik untuk kumpulan data Anda, mode ansambel menjalankan 10 uji coba dengan pengaturan model dan parameter meta yang berbeda. Kemudian Autopilot menggabungkan model-model ini menggunakan metode ansambel susun untuk membuat model prediktif yang optimal. **Untuk daftar algoritma yang didukung Autopilot dalam mode ensembling untuk data tabular, lihat bagian dukungan Algoritma berikut.**
+ **Optimasi Hyperparameter (HPO)** — Autopilot menemukan versi terbaik dari sebuah model dengan menyetel hyperparameters menggunakan optimasi Bayesian atau optimasi multi-fidelity saat menjalankan pekerjaan pelatihan pada dataset Anda. Mode HPO memilih algoritme yang paling relevan dengan kumpulan data Anda dan memilih rentang hiperparameter terbaik untuk menyetel model Anda. Untuk menyetel model Anda, mode HPO menjalankan hingga 100 uji coba (default) untuk menemukan pengaturan hiperparameter optimal dalam rentang yang dipilih. Jika ukuran dataset Anda kurang dari 100 MB, Autopilot menggunakan optimasi Bayesian. Autopilot memilih optimasi multi-fidelity jika dataset Anda lebih besar dari 100 MB.
Dalam optimasi multi-fidelity, metrik terus dipancarkan dari wadah pelatihan. Uji coba yang berkinerja buruk terhadap metrik objektif yang dipilih dihentikan lebih awal. Uji coba yang berkinerja baik dialokasikan lebih banyak sumber daya.
**Untuk daftar algoritma yang didukung Autopilot dalam mode HPO, lihat bagian dukungan Algoritma berikut.**
+ **Otomatis** — Autopilot secara otomatis memilih mode ensembling atau mode HPO berdasarkan ukuran dataset Anda. Jika dataset Anda lebih besar dari 100 MB, Autopilot memilih HPO. Jika tidak, ia memilih mode ansambel. Autopilot dapat gagal membaca ukuran kumpulan data Anda dalam kasus berikut.
+ Jika Anda mengaktifkan mode Virtual Private Cloud (VPC), untuk pekerjaan AutoML tetapi bucket S3 yang berisi kumpulan data hanya mengizinkan akses dari VPC.
+ Input [S3 DataType](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLS3DataSource.html#sagemaker-Type-AutoMLS3DataSource-S3DataType) dari dataset Anda adalah a. `ManifestFile`
+ Masukan [S3Uri](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLS3DataSource.html#sagemaker-Type-AutoMLS3DataSource-S3Uri) berisi lebih dari 1000 item.
Jika Autopilot tidak dapat membaca ukuran dataset Anda, default memilih mode HPO.
**catatan**
Untuk runtime dan kinerja yang optimal, gunakan mode pelatihan ansambel untuk kumpulan data yang lebih kecil dari 100 MB.
## Dukungan algoritma
Dalam **mode HPO**, Autopilot mendukung jenis algoritma pembelajaran mesin berikut:
+ [Linear learner](https://docs.aws.amazon.com/sagemaker/latest/dg/linear-learner.html) — Algoritma pembelajaran yang diawasi yang dapat memecahkan masalah klasifikasi atau regresi.
+ [XGBoost](https://docs.aws.amazon.com/sagemaker/latest/dg/xgboost.html)— Algoritma pembelajaran yang diawasi yang mencoba memprediksi variabel target secara akurat dengan menggabungkan ansambel perkiraan dari serangkaian model yang lebih sederhana dan lebih lemah.
+ Algoritma pembelajaran mendalam — Perceptron multilayer (MLP) dan jaringan saraf tiruan feedforward. Algoritma ini dapat menangani data yang tidak dapat dipisahkan secara linier.
**catatan**
Anda tidak perlu menentukan algoritma yang akan digunakan untuk masalah pembelajaran mesin Anda. Autopilot secara otomatis memilih algoritma yang sesuai untuk dilatih.
Dalam **mode ansambel**, Autopilot mendukung jenis algoritma pembelajaran mesin berikut:
+ [LightGBM](https://docs.aws.amazon.com/sagemaker/latest/dg/lightgbm.html) - Kerangka kerja yang dioptimalkan yang menggunakan algoritma berbasis pohon dengan peningkatan gradien. Algoritma ini menggunakan pohon yang tumbuh dalam lebar, bukan kedalaman, dan sangat dioptimalkan untuk kecepatan.
+ [CatBoost](https://docs.aws.amazon.com/sagemaker/latest/dg/catboost.html)— Kerangka kerja yang menggunakan algoritme berbasis pohon dengan peningkatan gradien. Dioptimalkan untuk menangani variabel kategoris.
+ [XGBoost](https://docs.aws.amazon.com/sagemaker/latest/dg/xgboost.html)— Kerangka kerja yang menggunakan algoritme berbasis pohon dengan peningkatan gradien yang tumbuh secara mendalam, bukan luasnya.
+ [Random Forest](https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.RandomForestClassifier.html) — Algoritma berbasis pohon yang menggunakan beberapa pohon keputusan pada sub-sampel acak data dengan penggantian. Pohon-pohon dibagi menjadi simpul optimal di setiap tingkat. Keputusan setiap pohon dirata-ratakan bersama untuk mencegah overfitting dan meningkatkan prediksi.
+ [Extra Trees](https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.ExtraTreesClassifier.html#sklearn.ensemble.ExtraTreesClassifier) — Algoritma berbasis pohon yang menggunakan beberapa pohon keputusan pada seluruh kumpulan data. Pohon-pohon dibelah secara acak di setiap tingkat. Keputusan setiap pohon dirata-ratakan untuk mencegah overfitting dan untuk meningkatkan prediksi. Pohon tambahan menambahkan tingkat pengacakan dibandingkan dengan algoritma hutan acak.
+ [Model Linear](https://scikit-learn.org/stable/modules/classes.html#module-sklearn.linear_model) — Kerangka kerja yang menggunakan persamaan linier untuk memodelkan hubungan antara dua variabel dalam data yang diamati.
+ Obor jaringan saraf — Model jaringan saraf yang diimplementasikan menggunakan [Pytorch](https://pytorch.org/).
+ Neural network fast.ai — Model jaringan saraf yang diimplementasikan menggunakan [fast.ai](https://www.fast.ai/).
# Metrik dan validasi
Panduan ini menunjukkan metrik dan teknik validasi yang dapat Anda gunakan untuk mengukur kinerja model pembelajaran mesin. Amazon SageMaker Autopilot menghasilkan metrik yang mengukur kualitas prediktif kandidat model pembelajaran mesin. Metrik yang dihitung untuk kandidat ditentukan menggunakan array [MetricDatum](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_MetricDatum.html)tipe.
## Metrik Autopilot
Daftar berikut berisi nama-nama metrik yang saat ini tersedia untuk mengukur kinerja model dalam Autopilot.
**catatan**
Autopilot mendukung bobot sampel. Untuk mempelajari lebih lanjut tentang bobot sampel dan metrik objektif yang tersedia, lihat. [Metrik tertimbang autopilot](#autopilot-weighted-metrics)
Berikut ini adalah metrik yang tersedia.
**`Accuracy`**
Rasio jumlah item yang diklasifikasikan dengan benar dengan jumlah total item yang diklasifikasikan (benar dan salah). Ini digunakan untuk klasifikasi biner dan multiclass. Akurasi mengukur seberapa dekat nilai kelas yang diprediksi dengan nilai aktual. Nilai untuk metrik akurasi bervariasi antara nol (0) dan satu (1). Nilai 1 menunjukkan akurasi sempurna, dan 0 menunjukkan ketidakakuratan sempurna.
**`AUC`**
Metrik area under the curve (AUC) digunakan untuk membandingkan dan mengevaluasi klasifikasi biner dengan algoritma yang mengembalikan probabilitas, seperti regresi logistik. Untuk memetakan probabilitas ke dalam klasifikasi, ini dibandingkan dengan nilai ambang batas.
Kurva yang relevan adalah kurva karakteristik operasi penerima. Kurva memplot tingkat positif sebenarnya (TPR) prediksi (atau recall) terhadap tingkat positif palsu (FPR) sebagai fungsi dari nilai ambang batas, di atasnya prediksi dianggap positif. Meningkatkan ambang menghasilkan lebih sedikit positif palsu, tetapi lebih banyak negatif palsu.
AUC adalah area di bawah kurva karakteristik operasi penerima ini. Oleh karena itu, AUC memberikan ukuran agregat dari kinerja model di semua ambang batas klasifikasi yang mungkin. Skor AUC bervariasi antara 0 dan 1. Skor 1 menunjukkan akurasi sempurna, dan skor satu setengah (0,5) menunjukkan bahwa prediksi tidak lebih baik daripada pengklasifikasi acak.
**`BalancedAccuracy`**
`BalancedAccuracy`adalah metrik yang mengukur rasio prediksi akurat untuk semua prediksi. Rasio ini dihitung setelah menormalkan positif sejati (TP) dan negatif sejati (TN) dengan jumlah total nilai positif (P) dan negatif (N). Ini digunakan dalam klasifikasi biner dan multiclass dan didefinisikan sebagai berikut: 0,5\$1 ((TP/P)\$1(TN/N)), dengan nilai mulai dari 0 hingga 1. `BalancedAccuracy`memberikan ukuran akurasi yang lebih baik ketika jumlah positif atau negatif sangat berbeda satu sama lain dalam kumpulan data yang tidak seimbang, seperti ketika hanya 1% email adalah spam.
**`F1`**
`F1`Skor adalah rata-rata harmonik dari presisi dan ingatan, didefinisikan sebagai berikut: F1 = 2 \$1 (presisi \$1 recall)/(presisi \$1 recall). Ini digunakan untuk klasifikasi biner ke dalam kelas yang secara tradisional disebut sebagai positif dan negatif. Prediksi dikatakan benar ketika mereka cocok dengan kelas mereka yang sebenarnya (benar), dan salah ketika tidak.
Presisi adalah rasio prediksi positif sejati untuk semua prediksi positif, dan itu termasuk positif palsu dalam kumpulan data. Presisi mengukur kualitas prediksi ketika memprediksi kelas positif.
Ingat (atau sensitivitas) adalah rasio prediksi positif sejati untuk semua contoh positif aktual. Ingat mengukur seberapa lengkap model memprediksi anggota kelas yang sebenarnya dalam kumpulan data.
Skor F1 bervariasi antara 0 dan 1. Skor 1 menunjukkan kinerja terbaik, dan 0 menunjukkan yang terburuk.
**`F1macro`**
`F1macro`Skor tersebut menerapkan penilaian F1 untuk masalah klasifikasi multiclass. Hal ini dilakukan dengan menghitung presisi dan recall, dan kemudian mengambil mean harmonik mereka untuk menghitung skor F1 untuk setiap kelas. Terakhir, `F1macro` rata-rata skor individu untuk mendapatkan skor. `F1macro` `F1macro`Skor bervariasi antara 0 dan 1. Skor 1 menunjukkan kinerja terbaik, dan 0 menunjukkan yang terburuk.
**`InferenceLatency`**
Latensi inferensi adalah perkiraan jumlah waktu antara membuat permintaan untuk prediksi model untuk menerimanya dari titik akhir waktu nyata tempat model digunakan. Metrik ini diukur dalam hitungan detik dan hanya tersedia dalam mode ansambel.
**`LogLoss`**
Loss log, juga dikenal sebagai cross-entropy loss, adalah metrik yang digunakan untuk mengevaluasi kualitas output probabilitas, bukan output itu sendiri. Ini digunakan dalam klasifikasi biner dan multiclass dan dalam jaring saraf. Ini juga merupakan fungsi biaya untuk regresi logistik. Kehilangan log adalah metrik penting untuk menunjukkan kapan model membuat prediksi yang salah dengan probabilitas tinggi. Nilai berkisar dari 0 hingga tak terbatas. Nilai 0 mewakili model yang memprediksi data dengan sempurna.
**`MAE`**
Kesalahan absolut rata-rata (MAE) adalah ukuran seberapa berbeda nilai prediksi dan aktual, ketika dirata-ratakan pada semua nilai. MAE biasanya digunakan dalam analisis regresi untuk memahami kesalahan prediksi model. Jika ada regresi linier, MAE mewakili jarak rata-rata dari garis yang diprediksi ke nilai aktual. MAE didefinisikan sebagai jumlah kesalahan absolut dibagi dengan jumlah pengamatan. Nilai berkisar dari 0 hingga tak terhingga, dengan angka yang lebih kecil menunjukkan kecocokan model yang lebih baik dengan data.
**`MSE`**
Mean squared error (MSE) adalah rata-rata perbedaan kuadrat antara nilai prediksi dan aktual. Ini digunakan untuk regresi. Nilai MSE selalu positif. Semakin baik model dalam memprediksi nilai aktual, semakin kecil nilai MSE.
**`Precision`**
Presisi mengukur seberapa baik suatu algoritma memprediksi positif sejati (TP) dari semua hal positif yang diidentifikasi. Ini didefinisikan sebagai berikut: Presisi = TP/ (TP\$1FP), dengan nilai mulai dari nol (0) hingga satu (1), dan digunakan dalam klasifikasi biner. Presisi adalah metrik penting ketika biaya positif palsu tinggi. Misalnya, biaya positif palsu sangat tinggi jika sistem keselamatan pesawat secara keliru dianggap aman untuk terbang. Positif palsu (FP) mencerminkan prediksi positif yang sebenarnya negatif dalam data.
**`PrecisionMacro`**
Makro presisi menghitung presisi untuk masalah klasifikasi multiclass. Ini dilakukan dengan menghitung presisi untuk setiap kelas dan skor rata-rata untuk mendapatkan presisi untuk beberapa kelas. `PrecisionMacro`Skor berkisar dari nol (0) hingga satu (1). Skor yang lebih tinggi mencerminkan kemampuan model untuk memprediksi positif sejati (TP) dari semua positif yang diidentifikasi, dirata-ratakan di beberapa kelas.
**`R2`**
R 2, juga dikenal sebagai koefisien determinasi, digunakan dalam regresi untuk mengukur seberapa banyak model dapat menjelaskan varians variabel dependen. Nilai berkisar dari satu (1) ke negatif (-1). Angka yang lebih tinggi menunjukkan fraksi yang lebih tinggi dari variabilitas yang dijelaskan. `R2`nilai mendekati nol (0) menunjukkan bahwa sangat sedikit variabel dependen yang dapat dijelaskan oleh model. Nilai negatif menunjukkan kecocokan yang buruk dan bahwa model tersebut dikalahkan oleh fungsi konstan. Untuk regresi linier, ini adalah garis horizontal.
**`Recall`**
Ingat mengukur seberapa baik algoritme memprediksi dengan benar semua positif sejati (TP) dalam kumpulan data. Positif sejati adalah prediksi positif yang juga merupakan nilai positif aktual dalam data. Recall didefinisikan sebagai berikut: Recall = TP/ (TP\$1FN), dengan nilai mulai dari 0 hingga 1. Skor yang lebih tinggi mencerminkan kemampuan model yang lebih baik untuk memprediksi positif sejati (TP) dalam data. Ini digunakan dalam klasifikasi biner.
Ingat penting ketika menguji kanker karena digunakan untuk menemukan semua hal positif yang sebenarnya. False negative (FN) mencerminkan prediksi negatif yang sebenarnya positif dalam data. Seringkali tidak cukup untuk mengukur hanya ingatan, karena memprediksi setiap output sebagai positif sejati menghasilkan skor ingatan yang sempurna.
**`RecallMacro`**
`RecallMacro`Menghitung penarikan kembali untuk masalah klasifikasi multiclass dengan menghitung recall untuk setiap kelas dan skor rata-rata untuk mendapatkan recall untuk beberapa kelas. `RecallMacro`skor berkisar dari 0 hingga 1. Skor yang lebih tinggi mencerminkan kemampuan model untuk memprediksi positif sejati (TP) dalam kumpulan data, sedangkan positif sejati mencerminkan prediksi positif yang juga merupakan nilai positif aktual dalam data. Seringkali tidak cukup untuk mengukur hanya ingatan, karena memprediksi setiap output sebagai positif sejati akan menghasilkan skor ingatan yang sempurna.
**`RMSE`**
Kesalahan kuadrat rata-rata akar (RMSE) mengukur akar kuadrat dari perbedaan kuadrat antara nilai prediksi dan aktual, dan dirata-ratakan pada semua nilai. Ini digunakan dalam analisis regresi untuk memahami kesalahan prediksi model. Ini adalah metrik penting untuk menunjukkan adanya kesalahan model besar dan outlier. Nilai berkisar dari nol (0) hingga tak terhingga, dengan angka yang lebih kecil menunjukkan kecocokan model yang lebih baik dengan data. RMSE tergantung pada skala, dan tidak boleh digunakan untuk membandingkan kumpulan data dengan ukuran yang berbeda.
Metrik yang dihitung secara otomatis untuk kandidat model ditentukan oleh jenis masalah yang ditangani.
Lihat [dokumentasi referensi Amazon SageMaker API](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobObjective.html) untuk daftar metrik yang tersedia yang didukung oleh Autopilot.
## Metrik tertimbang autopilot
**catatan**
Autopilot mendukung bobot sampel dalam mode ansambel hanya untuk semua [metrik yang tersedia](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-metrics-validation.html#autopilot-metrics) dengan pengecualian dan. `Balanced Accuracy` `InferenceLatency` `BalanceAccuracy`dilengkapi dengan skema pembobotannya sendiri untuk kumpulan data yang tidak seimbang yang tidak memerlukan bobot sampel. `InferenceLatency`tidak mendukung bobot sampel. Baik objektif `Balanced Accuracy` maupun `InferenceLatency` metrik mengabaikan bobot sampel yang ada saat melatih dan mengevaluasi model.
Pengguna dapat menambahkan kolom bobot sampel ke data mereka untuk memastikan bahwa setiap pengamatan yang digunakan untuk melatih model pembelajaran mesin diberi bobot yang sesuai dengan persepsi pentingnya model. Ini sangat berguna dalam skenario di mana pengamatan dalam kumpulan data memiliki berbagai tingkat kepentingan, atau di mana kumpulan data berisi jumlah sampel yang tidak proporsional dari satu kelas dibandingkan dengan yang lain. Menetapkan bobot untuk setiap pengamatan berdasarkan pentingnya atau kepentingan yang lebih besar bagi kelas minoritas dapat membantu kinerja keseluruhan model, atau memastikan bahwa model tidak bias terhadap kelas mayoritas.
Untuk informasi tentang cara meneruskan bobot sampel saat membuat eksperimen di UI Studio Classic, lihat *Langkah 7* di [Membuat eksperimen Autopilot](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-automate-model-development-create-experiment.html) menggunakan Studio Classic.
[Untuk informasi tentang cara meneruskan bobot sampel secara terprogram saat membuat eksperimen Autopilot menggunakan API, lihat *Cara menambahkan bobot sampel ke pekerjaan AutoML di Membuat eksperimen Autopilot secara* terprogram.](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-automate-model-development-create-experiment.html)
## Validasi silang di Autopilot
Validasi silang digunakan untuk mengurangi overfitting dan bias dalam pemilihan model. Hal ini juga digunakan untuk menilai seberapa baik model dapat memprediksi nilai-nilai dari dataset validasi yang tak terlihat, jika dataset validasi diambil dari populasi yang sama. Metode ini sangat penting saat melatih kumpulan data yang memiliki jumlah instance pelatihan terbatas.
Autopilot menggunakan validasi silang untuk membangun model dalam optimasi hyperparameter (HPO) dan mode pelatihan ensemble. Langkah pertama dalam proses validasi silang Autopilot adalah membagi data menjadi k-folds.
### Pemisahan K-lipat
K-fold splitting adalah metode yang memisahkan dataset pelatihan input menjadi beberapa kumpulan data pelatihan dan validasi. Dataset dibagi menjadi sub-sampel `k` berukuran sama yang disebut lipatan. Model kemudian dilatih pada `k-1` lipatan dan diuji terhadap lipatan k th yang tersisa, yang merupakan kumpulan data validasi. Proses ini diulang `k` kali menggunakan kumpulan data yang berbeda untuk validasi.
Gambar berikut menggambarkan pemisahan k-fold dengan k = 4 lipatan. Setiap lipatan direpresentasikan sebagai baris. Kotak berwarna gelap mewakili bagian-bagian dari data yang digunakan dalam pelatihan. Kotak berwarna terang yang tersisa menunjukkan kumpulan data validasi.
![\[Pemisahan K-fold dengan 4 lipatan digambarkan sebagai kotak: gelap untuk data yang digunakan; terang untuk kumpulan data validasi.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-metrics-kfold-splits.png)
Autopilot menggunakan validasi silang k-fold untuk mode optimasi hiperparameter (HPO) dan mode ansambel.
Anda dapat menerapkan model Autopilot yang dibuat menggunakan validasi silang seperti yang Anda lakukan dengan model Autopilot atau AI lainnya. SageMaker
### Modus HPO
Validasi silang K-fold menggunakan metode pemisahan k-fold untuk validasi silang. Dalam mode HPO, Autopilot secara otomatis mengimplementasikan validasi silang k-fold untuk kumpulan data kecil dengan 50.000 instans pelatihan atau lebih sedikit. Melakukan validasi silang sangat penting saat melatih kumpulan data kecil karena melindungi terhadap overfitting dan bias seleksi.
Mode HPO menggunakan nilai *k* 5 pada masing-masing algoritma kandidat yang digunakan untuk memodelkan dataset. Beberapa model dilatih pada split yang berbeda, dan model disimpan secara terpisah. Ketika pelatihan selesai, metrik validasi untuk masing-masing model dirata-ratakan untuk menghasilkan metrik estimasi tunggal. Terakhir, Autopilot menggabungkan model dari uji coba dengan metrik validasi terbaik ke dalam model ansambel. Autopilot menggunakan model ansambel ini untuk membuat prediksi.
Metrik validasi untuk model yang dilatih oleh Autopilot disajikan sebagai metrik objektif di papan peringkat model. Autopilot menggunakan metrik validasi default untuk setiap jenis masalah yang ditangani, kecuali jika Anda menentukan sebaliknya. Untuk daftar semua metrik yang digunakan Autopilot, lihat. [Metrik Autopilot](#autopilot-metrics)
Misalnya, [dataset Perumahan Boston](http://lib.stat.cmu.edu/datasets/boston) hanya berisi 861 sampel. Jika Anda membangun model untuk memprediksi harga jual rumah menggunakan dataset ini tanpa validasi silang, Anda berisiko melatih dataset yang tidak mewakili stok perumahan Boston. Jika Anda membagi data hanya sekali menjadi subset pelatihan dan validasi, lipatan pelatihan mungkin hanya berisi data terutama dari pinggiran kota. Akibatnya, Anda akan melatih data yang tidak mewakili seluruh kota. Dalam contoh ini, model Anda kemungkinan akan terlalu cocok dengan pilihan bias ini. Validasi silang K-fold dapat mengurangi risiko kesalahan semacam ini dengan memanfaatkan data yang tersedia secara penuh dan acak untuk pelatihan dan validasi.
Validasi silang dapat meningkatkan waktu pelatihan rata-rata 20%. Waktu pelatihan juga dapat meningkat secara signifikan untuk kumpulan data yang kompleks.
**catatan**
Dalam mode HPO, Anda dapat melihat metrik pelatihan dan validasi dari setiap lipatan di Log Anda. `/aws/sagemaker/TrainingJobs` CloudWatch Untuk informasi selengkapnya tentang CloudWatch Log, lihat[CloudWatch Log untuk Amazon SageMaker AI](logging-cloudwatch.md).
### Mode ansambel
**catatan**
Autopilot mendukung bobot sampel dalam mode ansambel. Untuk daftar metrik yang tersedia yang mendukung bobot sampel, lihat. [Metrik Autopilot](#autopilot-metrics)
Dalam mode ansambel, validasi silang dilakukan terlepas dari ukuran kumpulan data. Pelanggan dapat menyediakan kumpulan data validasi dan rasio pemisahan data khusus mereka sendiri, atau membiarkan Autopilot membagi kumpulan data secara otomatis menjadi rasio pemisahan 80-20%. Data pelatihan kemudian dibagi menjadi `k` -lipatan untuk validasi silang, di mana nilai `k` ditentukan oleh mesin. AutoGluon Sebuah ansambel terdiri dari beberapa model pembelajaran mesin, di mana setiap model dikenal sebagai model dasar. Model dasar tunggal dilatih pada (`k`-1) lipatan dan membuat out-of-fold prediksi pada lipatan yang tersisa. Proses ini diulang untuk semua `k` lipatan, dan prediksi out-of-fold (OOF) digabungkan untuk membentuk satu set prediksi. Semua model dasar dalam ansambel mengikuti proses yang sama untuk menghasilkan prediksi OOF.
Gambar berikut menggambarkan validasi k-fold dengan `k` = 4 lipatan. Setiap lipatan direpresentasikan sebagai baris. Kotak berwarna gelap mewakili bagian-bagian dari data yang digunakan dalam pelatihan. Kotak berwarna terang yang tersisa menunjukkan kumpulan data validasi.
Di bagian atas gambar, di setiap lipatan, model dasar pertama membuat prediksi pada kumpulan data validasi setelah pelatihan pada kumpulan data pelatihan. Pada setiap lipatan berikutnya, kumpulan data mengubah peran. Dataset yang sebelumnya digunakan untuk pelatihan sekarang digunakan untuk validasi, dan ini juga berlaku secara terbalik. Pada akhir `k` lipatan, semua prediksi digabungkan untuk membentuk satu set prediksi yang disebut prediksi (OOF). out-of-fold Proses ini diulang untuk setiap model `n` dasar.
![\[validasi k-fold: Empat baris kotak menggambarkan 4 lipatan yang menghasilkan deretan prediksi OOF.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-metrics-kfold.PNG)
Prediksi OOF untuk setiap model dasar kemudian digunakan sebagai fitur untuk melatih model susun. Model susun mempelajari bobot penting untuk setiap model dasar. Bobot ini digunakan untuk menggabungkan prediksi OOF untuk membentuk prediksi akhir. Kinerja pada dataset validasi menentukan basis atau model susun mana yang terbaik, dan model ini dikembalikan sebagai model akhir.
Dalam mode ansambel, Anda dapat menyediakan kumpulan data validasi Anda sendiri atau membiarkan Autopilot membagi kumpulan data input secara otomatis menjadi kumpulan data 80% dan kumpulan data validasi 20%. Data pelatihan kemudian dibagi menjadi `k` -lipatan untuk validasi silang dan menghasilkan prediksi OOF dan model dasar untuk setiap lipatan.
Prediksi OOF ini digunakan sebagai fitur untuk melatih model susun, yang secara bersamaan mempelajari bobot untuk setiap model dasar. Bobot ini digunakan untuk menggabungkan prediksi OOF untuk membentuk prediksi akhir. Kumpulan data validasi untuk setiap lipatan digunakan untuk penyetelan hiperparameter dari semua model dasar dan model susun. Kinerja pada kumpulan data validasi menentukan model basis atau susun mana yang merupakan model terbaik, dan model ini dikembalikan sebagai model akhir.
# Penyebaran dan prediksi model autopilot
Panduan SageMaker Autopilot Amazon ini mencakup langkah-langkah untuk penerapan model, menyiapkan inferensi waktu nyata, dan menjalankan inferensi dengan pekerjaan batch.
Setelah Anda melatih model Autopilot Anda, Anda dapat menerapkannya untuk mendapatkan prediksi dengan salah satu dari dua cara:
1. Gunakan [Terapkan model untuk inferensi waktu nyata](autopilot-deploy-models-realtime.md) untuk mengatur titik akhir dan mendapatkan prediksi secara interaktif. Inferensi waktu nyata ideal untuk beban kerja inferensi di mana Anda memiliki persyaratan waktu nyata, interaktif, dan latensi rendah.
1. Gunakan [Jalankan pekerjaan inferensi batch](autopilot-deploy-models-batch.md) untuk membuat prediksi secara paralel pada batch pengamatan pada seluruh kumpulan data. Inferensi Batch adalah pilihan yang baik untuk kumpulan data besar atau jika Anda tidak memerlukan respons langsung terhadap permintaan prediksi model.
**catatan**
Untuk menghindari biaya yang tidak perlu: Setelah titik akhir dan sumber daya yang dibuat dari penerapan model tidak lagi diperlukan, Anda dapat menghapusnya. Untuk informasi tentang penetapan harga instans menurut Wilayah, lihat [ SageMaker Harga Amazon](https://aws.amazon.com/sagemaker/pricing/).
# Terapkan model untuk inferensi waktu nyata
Inferensi waktu nyata ideal untuk beban kerja inferensi di mana Anda memiliki persyaratan waktu nyata, interaktif, dan latensi rendah. Bagian ini menunjukkan bagaimana Anda dapat menggunakan inferensi waktu nyata untuk mendapatkan prediksi secara interaktif dari model Anda.
Untuk menerapkan model yang menghasilkan metrik validasi terbaik dalam eksperimen Autopilot, Anda memiliki beberapa opsi. Misalnya, saat menggunakan Autopilot di SageMaker Studio Classic, Anda dapat menerapkan model secara otomatis atau manual. Anda juga dapat menggunakan SageMaker APIs untuk menyebarkan model Autopilot secara manual.
Tab berikut menunjukkan tiga opsi untuk menerapkan model Anda. Instruksi ini mengasumsikan bahwa Anda telah membuat model di Autopilot. Jika Anda tidak memiliki model, lihat[Membuat Pekerjaan Regresi atau Klasifikasi untuk Data Tabular Menggunakan AutoML API](autopilot-automate-model-development-create-experiment.md). Untuk melihat contoh untuk setiap opsi, buka setiap tab.
## Terapkan menggunakan Antarmuka Pengguna Autopilot (UI)
UI Autopilot berisi menu tarik-turun yang bermanfaat, sakelar, tooltips, dan lainnya untuk membantu Anda menavigasi penerapan model. Anda dapat menggunakan salah satu dari prosedur berikut: Otomatis atau Manual.
+ **Automatic Deployment**: Untuk secara otomatis menerapkan model terbaik dari eksperimen Autopilot ke titik akhir
1. [Buat eksperimen](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-automate-model-development-create-experiment.html) di SageMaker Studio Classic.
1. **Alihkan nilai **penerapan Otomatis ke Ya**.**
**catatan**
**Penerapan otomatis akan gagal jika kuota sumber daya default atau kuota pelanggan Anda untuk instans titik akhir di Wilayah terlalu terbatas.** Dalam mode optimasi hyperparameter (HPO), Anda harus memiliki setidaknya dua instance ml.m5.2xlarge. Dalam mode ensembling, Anda harus memiliki setidaknya satu instance ml.m5.12xlarge. Jika Anda mengalami kegagalan terkait kuota, Anda dapat [meminta peningkatan batas layanan untuk instance](https://docs.aws.amazon.com/servicequotas/latest/userguide/request-quota-increase.html) titik akhir SageMaker AI.
+ **Penerapan Manual**: Untuk menerapkan model terbaik secara manual dari eksperimen Autopilot ke titik akhir
1. [Buat eksperimen](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-automate-model-development-create-experiment.html) di SageMaker Studio Classic.
1. **Alihkan nilai **Auto deploy ke No**.**
1. Pilih model yang ingin Anda gunakan di bawah **Nama model**.
1. Pilih tombol **Deployment dan pengaturan lanjutan** berwarna oranye yang terletak di sebelah kanan papan peringkat. Ini membuka tab baru.
1. Konfigurasikan nama titik akhir, jenis instance, dan informasi opsional lainnya.
1. Pilih **model Deploy** oranye untuk menyebarkan ke titik akhir.
1. Periksa kemajuan proses pembuatan titik akhir di bagian [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/)dengan menavigasi ke bagian Endpoints. Bagian itu terletak di menu tarik-turun **Inferensi** di panel navigasi.
1. Setelah status endpoint berubah dari **Creating** menjadi **InService**, seperti yang ditunjukkan di bawah ini, kembali ke Studio Classic dan panggil endpoint.
![\[SageMaker Konsol AI: Halaman titik akhir untuk membuat titik akhir atau memeriksa status titik akhir.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-check-progress.PNG)
## Menyebarkan menggunakan SageMaker APIs
Anda juga dapat memperoleh inferensi real-time dengan menerapkan model Anda menggunakan panggilan **API**. Bagian ini menunjukkan lima langkah proses ini menggunakan AWS Command Line Interface (AWS CLI) cuplikan kode.
Untuk contoh kode lengkap untuk kedua AWS CLI perintah dan AWS SDK untuk Python (boto3), buka tab langsung mengikuti langkah-langkah ini.
1. **Dapatkan definisi kandidat**
Dapatkan definisi wadah kandidat dari [InferenceContainers](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidate.html#sagemaker-Type-AutoMLCandidate-InferenceContainers). Definisi kandidat ini digunakan untuk membuat model SageMaker AI.
Contoh berikut menggunakan [DescribeAutoMLJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJob.html)API untuk mendapatkan definisi kandidat untuk kandidat model terbaik. Lihat AWS CLI perintah berikut sebagai contoh.
```
aws sagemaker describe-auto-ml-job --auto-ml-job-name --region
```
1. **Daftar kandidat**
Contoh berikut menggunakan [ListCandidatesForAutoMLJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ListCandidatesForAutoMLJob.html)API untuk mencantumkan semua kandidat. Lihat AWS CLI perintah berikut sebagai contoh.
```
aws sagemaker list-candidates-for-auto-ml-job --auto-ml-job-name --region
```
1. **Buat model SageMaker AI**
Gunakan definisi container dari langkah sebelumnya untuk membuat model SageMaker AI dengan menggunakan [CreateModel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html)API. Lihat AWS CLI perintah berikut sebagai contoh.
```
aws sagemaker create-model --model-name '' \
--containers [', , ]' \
--execution-role-arn '' --region '
```
1. **Buat konfigurasi titik akhir**
Contoh berikut menggunakan [CreateEndpointConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpointConfig.html)API untuk membuat konfigurasi endpoint. Lihat AWS CLI perintah berikut sebagai contoh.
```
aws sagemaker create-endpoint-config --endpoint-config-name '' \
--production-variants '' \
--region ''
```
1. **Buat titik akhir**
AWS CLI Contoh berikut menggunakan [CreateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpoint.html)API untuk membuat titik akhir.
```
aws sagemaker create-endpoint --endpoint-name '' \
--endpoint-config-name '' \
--region ''
```
Periksa kemajuan penerapan titik akhir Anda dengan menggunakan API. [DescribeEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeEndpoint.html) Lihat AWS CLI perintah berikut sebagai contoh.
```
aws sagemaker describe-endpoint —endpoint-name '' —region
```
Setelah `EndpointStatus` perubahan`InService`, titik akhir siap digunakan untuk inferensi waktu nyata.
1. **Memanggil titik akhir**
Struktur perintah berikut memanggil titik akhir untuk inferensi real-time.
```
aws sagemaker invoke-endpoint --endpoint-name '' \
--region '' --body '' [--content-type] ''
```
Tab berikut berisi contoh kode lengkap untuk menerapkan model dengan AWS SDK untuk Python (boto3) atau file. AWS CLI
------
#### [ AWS SDK for Python (boto3) ]
1. **Dapatkan definisi kandidat** dengan menggunakan contoh kode berikut.
```
import sagemaker
import boto3
session = sagemaker.session.Session()
sagemaker_client = boto3.client('sagemaker', region_name='us-west-2')
job_name = 'test-auto-ml-job'
describe_response = sm_client.describe_auto_ml_job(AutoMLJobName=job_name)
# extract the best candidate definition from DescribeAutoMLJob response
best_candidate = describe_response['BestCandidate']
# extract the InferenceContainers definition from the caandidate definition
inference_containers = best_candidate['InferenceContainers']
```
1. **Buat model** dengan menggunakan contoh kode berikut.
```
# Create Model
model_name = 'test-model'
sagemaker_role = 'arn:aws:iam:444455556666:role/sagemaker-execution-role'
create_model_response = sagemaker_client.create_model(
ModelName = model_name,
ExecutionRoleArn = sagemaker_role,
Containers = inference_containers
)
```
1. **Buat konfigurasi endpoint** dengan menggunakan contoh kode berikut.
```
endpoint_config_name = 'test-endpoint-config'
instance_type = 'ml.m5.2xlarge'
# for all supported instance types, see
# https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ProductionVariant.html#sagemaker-Type-ProductionVariant-InstanceType # Create endpoint config
endpoint_config_response = sagemaker_client.create_endpoint_config(
EndpointConfigName=endpoint_config_name,
ProductionVariants=[
{
"VariantName": "variant1",
"ModelName": model_name,
"InstanceType": instance_type,
"InitialInstanceCount": 1
}
]
)
print(f"Created EndpointConfig: {endpoint_config_response['EndpointConfigArn']}")
```
1. **Buat titik akhir** dan gunakan model dengan contoh kode berikut.
```
# create endpoint and deploy the model
endpoint_name = 'test-endpoint'
create_endpoint_response = sagemaker_client.create_endpoint(
EndpointName=endpoint_name,
EndpointConfigName=endpoint_config_name)
print(create_endpoint_response)
```
**Periksa status pembuatan titik akhir** dengan menggunakan contoh kode berikut.
```
# describe endpoint creation status
status = sagemaker_client.describe_endpoint(EndpointName=endpoint_name)["EndpointStatus"]
```
1. **Memanggil endpoint** untuk inferensi real-time dengan menggunakan struktur perintah berikut.
```
# once endpoint status is InService, you can invoke the endpoint for inferencing
if status == "InService":
sm_runtime = boto3.Session().client('sagemaker-runtime')
inference_result = sm_runtime.invoke_endpoint(EndpointName='test-endpoint', ContentType='text/csv', Body='1,2,3,4,class')
```
------
#### [ AWS Command Line Interface (AWS CLI) ]
1. **Dapatkan definisi kandidat** dengan menggunakan contoh kode berikut.
```
aws sagemaker describe-auto-ml-job --auto-ml-job-name 'test-automl-job' --region us-west-2
```
1. **Buat model** dengan menggunakan contoh kode berikut.
```
aws sagemaker create-model --model-name 'test-sagemaker-model'
--containers '[{
"Image": "348316444620.dkr.ecr.us-west-2.amazonaws.com/sagemaker-sklearn-automl:2.5-1-cpu-py3", amzn-s3-demo-bucket1
"ModelDataUrl": "s3://amzn-s3-demo-bucket/output/model.tar.gz",
"Environment": {
"AUTOML_SPARSE_ENCODE_RECORDIO_PROTOBUF": "1",
"AUTOML_TRANSFORM_MODE": "feature-transform",
"SAGEMAKER_DEFAULT_INVOCATIONS_ACCEPT": "application/x-recordio-protobuf",
"SAGEMAKER_PROGRAM": "sagemaker_serve",
"SAGEMAKER_SUBMIT_DIRECTORY": "/opt/ml/model/code"
}
}, {
"Image": "348316444620.dkr.ecr.us-west-2.amazonaws.com/sagemaker-xgboost:1.3-1-cpu-py3",
"ModelDataUrl": "s3://amzn-s3-demo-bucket/output/model.tar.gz",
"Environment": {
"MAX_CONTENT_LENGTH": "20971520",
"SAGEMAKER_DEFAULT_INVOCATIONS_ACCEPT": "text/csv",
"SAGEMAKER_INFERENCE_OUTPUT": "predicted_label",
"SAGEMAKER_INFERENCE_SUPPORTED": "predicted_label,probability,probabilities"
}
}, {
"Image": "348316444620.dkr.ecr.us-west-2.amazonaws.com/sagemaker-sklearn-automl:2.5-1-cpu-py3", aws-region
"ModelDataUrl": "s3://amzn-s3-demo-bucket/output/model.tar.gz",
"Environment": {
"AUTOML_TRANSFORM_MODE": "inverse-label-transform",
"SAGEMAKER_DEFAULT_INVOCATIONS_ACCEPT": "text/csv",
"SAGEMAKER_INFERENCE_INPUT": "predicted_label",
"SAGEMAKER_INFERENCE_OUTPUT": "predicted_label",
"SAGEMAKER_INFERENCE_SUPPORTED": "predicted_label,probability,labels,probabilities",
"SAGEMAKER_PROGRAM": "sagemaker_serve",
"SAGEMAKER_SUBMIT_DIRECTORY": "/opt/ml/model/code"
}
}]' \
--execution-role-arn 'arn:aws:iam::1234567890:role/sagemaker-execution-role' \
--region 'us-west-2'
```
Untuk detail tambahan, lihat [membuat model](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/sagemaker/create-model.html).
`create model`Perintah akan mengembalikan respons dalam format berikut.
```
{
"ModelArn": "arn:aws:sagemaker:us-west-2:1234567890:model/test-sagemaker-model"
}
```
1. **Buat konfigurasi endpoint** dengan menggunakan contoh kode berikut.
```
aws sagemaker create-endpoint-config --endpoint-config-name 'test-endpoint-config' \
--production-variants '[{"VariantName": "variant1",
"ModelName": "test-sagemaker-model",
"InitialInstanceCount": 1,
"InstanceType": "ml.m5.2xlarge"
}]' \
--region us-west-2
```
Perintah `create endpoint` konfigurasi akan mengembalikan respons dalam format berikut.
```
{
"EndpointConfigArn": "arn:aws:sagemaker:us-west-2:1234567890:endpoint-config/test-endpoint-config"
}
```
1. **Buat endpoint** dengan menggunakan contoh kode berikut.
```
aws sagemaker create-endpoint --endpoint-name 'test-endpoint' \
--endpoint-config-name 'test-endpoint-config' \
--region us-west-2
```
`create endpoint`Perintah akan mengembalikan respons dalam format berikut.
```
{
"EndpointArn": "arn:aws:sagemaker:us-west-2:1234567890:endpoint/test-endpoint"
}
```
Periksa kemajuan penerapan titik akhir dengan menggunakan contoh kode CLI [describe-endpoint](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/describe-endpoint.html) berikut.
```
aws sagemaker describe-endpoint --endpoint-name 'test-endpoint' --region us-west-2
```
Pemeriksaan kemajuan sebelumnya akan mengembalikan respons dalam format berikut.
```
{
"EndpointName": "test-endpoint",
"EndpointArn": "arn:aws:sagemaker:us-west-2:1234567890:endpoint/test-endpoint",
"EndpointConfigName": "test-endpoint-config",
"EndpointStatus": "Creating",
"CreationTime": 1660251167.595,
"LastModifiedTime": 1660251167.595
}
```
Setelah `EndpointStatus` perubahan`InService`, titik akhir siap digunakan dalam inferensi waktu nyata.
1. **Memanggil endpoint** untuk inferensi real-time dengan menggunakan struktur perintah berikut.
```
aws sagemaker-runtime invoke-endpoint --endpoint-name 'test-endpoint' \
--region 'us-west-2' \
--body '1,51,3.5,1.4,0.2' \
--content-type 'text/csv' \
'/tmp/inference_output'
```
Untuk opsi lainnya, lihat [menjalankan titik akhir](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/sagemaker-runtime/invoke-endpoint.html).
------
## Terapkan model dari akun yang berbeda
Anda dapat menerapkan model Autopilot dari akun yang berbeda dari akun asli tempat model dibuat. Untuk menerapkan penerapan model lintas akun, bagian ini menunjukkan cara melakukan hal berikut: Berikan izin untuk mengambil peran ke akun yang ingin Anda gunakan (akun pembuat). Lakukan panggilan ke `DescribeAutoMLJob` dari akun penyebaran untuk mendapatkan informasi model. Berikan hak akses ke artefak model dari akun pembuat.
1. **Berikan izin ke akun penerapan**
Untuk mengambil peran dalam akun pembangkit, Anda harus memberikan izin ke akun penyebaran. Ini memungkinkan akun penyebaran untuk menjelaskan pekerjaan Autopilot di akun pembangkit.
Contoh berikut menggunakan akun penghasil dengan `sagemaker-role` entitas tepercaya. Contoh menunjukkan cara memberikan akun penerapan dengan izin ID 111122223333 untuk mengambil peran akun pembangkit.
```
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Service": [
"sagemaker.amazonaws.com"
],
"AWS": [ "111122223333"]
},
"Action": "sts:AssumeRole"
}
```
Akun baru dengan ID 111122223333 sekarang dapat mengambil peran untuk akun pembangkit.
Selanjutnya, panggil `DescribeAutoMLJob` API dari akun penerapan untuk mendapatkan deskripsi pekerjaan yang dibuat oleh akun pembuat.
Contoh kode berikut menjelaskan model dari akun penyebaran.
```
import sagemaker
import boto3
session = sagemaker.session.Session()
sts_client = boto3.client('sts')
sts_client.assume_role
role = 'arn:aws:iam::111122223333:role/sagemaker-role'
role_session_name = "role-session-name"
_assumed_role = sts_client.assume_role(RoleArn=role, RoleSessionName=role_session_name)
credentials = _assumed_role["Credentials"]
access_key = credentials["AccessKeyId"]
secret_key = credentials["SecretAccessKey"]
session_token = credentials["SessionToken"]
session = boto3.session.Session()
sm_client = session.client('sagemaker', region_name='us-west-2',
aws_access_key_id=access_key,
aws_secret_access_key=secret_key,
aws_session_token=session_token)
# now you can call describe automl job created in account A
job_name = "test-job"
response= sm_client.describe_auto_ml_job(AutoMLJobName=job_name)
```
1. **Berikan akses ke akun penyebaran** ke artefak model di akun pembangkit.
Akun penerapan hanya memerlukan akses ke artefak model di akun pembuat untuk menerapkannya. Ini terletak di [S3 OutputPath](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLOutputDataConfig.html#sagemaker-Type-AutoMLOutputDataConfig-S3OutputPath) yang ditentukan dalam panggilan `CreateAutoMLJob` API asli selama pembuatan model.
Untuk memberikan akses akun penyebaran ke artefak model, pilih salah satu opsi berikut:
1. [Berikan akses](https://aws.amazon.com/premiumsupport/knowledge-center/cross-account-access-s3/) ke `ModelDataUrl` dari akun pembangkit ke akun penyebaran.
Selanjutnya, Anda perlu memberikan izin akun penerapan untuk mengambil peran tersebut. ikuti langkah-langkah [inferensi waktu nyata](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-deploy-models.html#autopilot-deploy-models-realtime) untuk menerapkan.
1. [Salin artefak model](https://aws.amazon.com/premiumsupport/knowledge-center/copy-s3-objects-account/) dari [S3](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLOutputDataConfig.html#sagemaker-Type-AutoMLOutputDataConfig-S3OutputPath) asli akun pembuat OutputPath ke akun pembuat.
Untuk memberikan akses ke artefak model, Anda harus menentukan `best_candidate` model dan menetapkan ulang wadah model ke akun baru.
Contoh berikut menunjukkan bagaimana mendefinisikan `best_candidate` model dan menetapkan kembali. `ModelDataUrl`
```
best_candidate = automl.describe_auto_ml_job()['BestCandidate']
# reassigning ModelDataUrl for best_candidate containers below
new_model_locations = ['new-container-1-ModelDataUrl', 'new-container-2-ModelDataUrl', 'new-container-3-ModelDataUrl']
new_model_locations_index = 0
for container in best_candidate['InferenceContainers']:
container['ModelDataUrl'] = new_model_locations[new_model_locations_index++]
```
Setelah penugasan kontainer ini, ikuti langkah-langkah [Menyebarkan menggunakan SageMaker APIs](#autopilot-deploy-models-api) untuk menerapkan.
Untuk membuat payload dalam inferensi real-time, lihat contoh notebook untuk [menentukan payload pengujian](https://aws.amazon.com/getting-started/hands-on/machine-learning-tutorial-automatically-create-models). Untuk membuat payload dari file CSV dan menjalankan endpoint, lihat bagian **Predict with your model di [Create a machine](https://aws.amazon.com/getting-started/hands-on/create-machine-learning-model-automatically-sagemaker-autopilot/#autopilot-cr-room) learning model** secara otomatis.
# Jalankan pekerjaan inferensi batch
Batch inferencing, juga dikenal sebagai inferensi offline, menghasilkan prediksi model pada batch pengamatan. Inferensi Batch adalah pilihan yang baik untuk kumpulan data besar atau jika Anda tidak memerlukan respons langsung terhadap permintaan prediksi model. Sebaliknya, inferensi online (inferensi [waktu nyata](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-deploy-models.html#autopilot-deploy-models-realtime)) menghasilkan prediksi secara real time. Anda dapat membuat kesimpulan batch dari model Autopilot menggunakan [SageMaker Python SDK, antarmuka pengguna Autopilot (UI), SDK AWS](https://sagemaker.readthedocs.io/en/stable/) [untuk](https://aws.amazon.com/sdk-for-python/) Python (boto3), atau (). AWS Command Line Interface [AWS CLI](https://docs.aws.amazon.com/cli/)
Tab berikut menampilkan tiga opsi untuk menerapkan model Anda: Menggunakan APIs, Autopilot UI, atau menggunakan APIs untuk menyebarkan dari akun yang berbeda. Instruksi ini mengasumsikan bahwa Anda telah membuat model di Autopilot. Jika Anda tidak memiliki model, lihat[Membuat Pekerjaan Regresi atau Klasifikasi untuk Data Tabular Menggunakan AutoML API](autopilot-automate-model-development-create-experiment.md). Untuk melihat contoh untuk setiap opsi, buka setiap tab.
## Menerapkan model menggunakan Autopilot UI
UI Autopilot berisi menu tarik-turun yang bermanfaat, sakelar, tooltips, dan lainnya untuk membantu Anda menavigasi penerapan model.
Langkah-langkah berikut menunjukkan cara menerapkan model dari eksperimen Autopilot untuk prediksi batch.
1. Masuk [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/)dan pilih **Studio** dari panel navigasi.
1. Di panel navigasi kiri, pilih **Studio**.
1. Di bawah **Memulai**, pilih Domain tempat Anda ingin meluncurkan aplikasi Studio. Jika profil pengguna Anda hanya milik satu Domain, Anda tidak melihat opsi untuk memilih Domain.
1. Pilih profil pengguna yang ingin Anda luncurkan aplikasi Studio Classic. Jika tidak ada profil pengguna di domain, pilih **Buat profil pengguna**. Untuk informasi selengkapnya, lihat [Menambahkan profil pengguna](https://docs.aws.amazon.com/sagemaker/latest/dg/domain-user-profile-add.html).
1. Pilih **Launch Studio**. Jika profil pengguna milik ruang bersama, pilih **Open Spaces**.
1. Saat konsol SageMaker Studio Classic terbuka, pilih tombol **Launch SageMaker Studio**.
1. Pilih **AutoML** dari panel navigasi kiri.
1. Di bawah **Nama**, pilih eksperimen Autopilot yang sesuai dengan model yang ingin Anda gunakan. Ini membuka tab **AUTOPILOT** JOB baru.
1. Di bagian **Nama model**, pilih model yang ingin Anda gunakan.
1. Pilih **model Deploy**. Ini membuka tab baru.
1. Pilih **Buat prediksi batch** di bagian atas halaman.
1. Untuk **konfigurasi pekerjaan transformasi Batch**, masukkan **tipe Instance**, **jumlah Instance**, dan informasi opsional lainnya.
1. Di bagian **Input data configuration**, buka menu dropdown.
1. Untuk **tipe data S3**, pilih **ManifestFile**atau **S3Prefix**.
1. **Untuk **tipe Split**, pilih **Line**, **RecorDio**, **TFRecord**atau None.**
1. Untuk **Kompresi**, pilih **Gzip** atau **Tidak Ada**.
1. Untuk **lokasi S3**, masukkan lokasi bucket Amazon S3 dari data input dan informasi opsional lainnya.
1. Di bawah **Konfigurasi data keluaran**, masukkan bucket S3 untuk data keluaran, dan pilih cara [merakit output](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TransformOutput.html#sagemaker-Type-TransformOutput-AssembleWith) pekerjaan Anda.
1. Untuk **konfigurasi Tambahan (opsional)**, Anda dapat memasukkan tipe MIME dan kunci **Enkripsi S3**.
1. Untuk **penyaringan input/output dan gabungan data (opsional)**, Anda memasukkan JSONpath ekspresi untuk memfilter data input Anda, menggabungkan data sumber input dengan data output Anda, dan memasukkan JSONpath ekspresi untuk memfilter data keluaran Anda.
1. Untuk contoh untuk setiap jenis filter, lihat [DataProcessing API](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DataProcessing.html#sagemaker-Type-DataProcessing-InputFilter).
1. Untuk melakukan prediksi batch pada kumpulan data input Anda, pilih **Buat pekerjaan transformasi batch**. Tab **Batch Transform Jobs** baru muncul.
1. Di tab **Batch Transform Jobs**: Temukan nama pekerjaan Anda di bagian **Status**. Kemudian periksa kemajuan pekerjaan.
## Menyebarkan menggunakan SageMaker APIs
Untuk menggunakan inferensi batch SageMaker APIs for, ada tiga langkah:
1. **Dapatkan definisi kandidat**
Definisi kandidat dari [InferenceContainers](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidate.html#sagemaker-Type-AutoMLCandidate-InferenceContainers)digunakan untuk membuat model SageMaker AI.
Contoh berikut menunjukkan cara menggunakan [DescribeAutoMLJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJob.html)API untuk mendapatkan definisi kandidat untuk kandidat model terbaik. Lihat AWS CLI perintah berikut sebagai contoh.
```
aws sagemaker describe-auto-ml-job --auto-ml-job-name --region
```
Gunakan [ListCandidatesForAutoMLJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ListCandidatesForAutoMLJob.html)API untuk mencantumkan semua kandidat. Lihat AWS CLI perintah berikut sebagai contoh.
```
aws sagemaker list-candidates-for-auto-ml-job --auto-ml-job-name --region
```
1. **Buat model SageMaker AI**
Untuk membuat model SageMaker AI menggunakan [CreateModel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html)API, gunakan definisi container dari langkah sebelumnya. Lihat AWS CLI perintah berikut sebagai contoh.
```
aws sagemaker create-model --model-name '' \
--containers [', , ]' \
--execution-role-arn '' --region '
```
1. **Buat pekerjaan transformasi SageMaker AI**
Contoh berikut membuat pekerjaan transformasi SageMaker AI dengan [CreateTransformJob](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/create-transform-job.html)API. Lihat AWS CLI perintah berikut sebagai contoh.
```
aws sagemaker create-transform-job --transform-job-name '' --model-name ''\
--transform-input '{
"DataSource": {
"S3DataSource": {
"S3DataType": "S3Prefix",
"S3Uri": ""
}
},
"ContentType": "text/csv",
"SplitType": "Line"
}'\
--transform-output '{
"S3OutputPath": "",
"AssembleWith": "Line"
}'\
--transform-resources '{
"InstanceType": "",
"InstanceCount": 1
}' --region ''
```
Periksa kemajuan pekerjaan transformasi Anda menggunakan [DescribeTransformJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeTransformJob.html)API. Lihat AWS CLI perintah berikut sebagai contoh.
```
aws sagemaker describe-transform-job --transform-job-name '' --region
```
Setelah pekerjaan selesai, hasil yang diprediksi akan tersedia di``.
Nama file output memiliki format berikut:`.out`. Sebagai contoh, jika file input Anda`text_x.csv`, nama output akan menjadi`text_x.csv.out`.
Tab berikut menunjukkan contoh kode untuk SageMaker Python SDK, AWS SDK untuk Python (boto3), dan file. AWS CLI
------
#### [ SageMaker Python SDK ]
Contoh berikut menggunakan **[SageMaker Python SDK](https://sagemaker.readthedocs.io/en/stable/overview.html)** untuk membuat prediksi dalam batch.
```
from sagemaker import AutoML
sagemaker_session= sagemaker.session.Session()
job_name = 'test-auto-ml-job' # your autopilot job name
automl = AutoML.attach(auto_ml_job_name=job_name)
output_path = 's3://test-auto-ml-job/output'
input_data = 's3://test-auto-ml-job/test_X.csv'
# call DescribeAutoMLJob API to get the best candidate definition
best_candidate = automl.describe_auto_ml_job()['BestCandidate']
best_candidate_name = best_candidate['CandidateName']
# create model
model = automl.create_model(name=best_candidate_name,
candidate=best_candidate)
# create transformer
transformer = model.transformer(instance_count=1,
instance_type='ml.m5.2xlarge',
assemble_with='Line',
output_path=output_path)
# do batch transform
transformer.transform(data=input_data,
split_type='Line',
content_type='text/csv',
wait=True)
```
------
#### [ AWS SDK for Python (boto3) ]
Contoh berikut menggunakan **AWS SDK untuk Python (boto3**) untuk membuat prediksi dalam batch.
```
import sagemaker
import boto3
session = sagemaker.session.Session()
sm_client = boto3.client('sagemaker', region_name='us-west-2')
role = 'arn:aws:iam::1234567890:role/sagemaker-execution-role'
output_path = 's3://test-auto-ml-job/output'
input_data = 's3://test-auto-ml-job/test_X.csv'
best_candidate = sm_client.describe_auto_ml_job(AutoMLJobName=job_name)['BestCandidate']
best_candidate_containers = best_candidate['InferenceContainers']
best_candidate_name = best_candidate['CandidateName']
# create model
reponse = sm_client.create_model(
ModelName = best_candidate_name,
ExecutionRoleArn = role,
Containers = best_candidate_containers
)
# Lauch Transform Job
response = sm_client.create_transform_job(
TransformJobName=f'{best_candidate_name}-transform-job',
ModelName=model_name,
TransformInput={
'DataSource': {
'S3DataSource': {
'S3DataType': 'S3Prefix',
'S3Uri': input_data
}
},
'ContentType': "text/csv",
'SplitType': 'Line'
},
TransformOutput={
'S3OutputPath': output_path,
'AssembleWith': 'Line',
},
TransformResources={
'InstanceType': 'ml.m5.2xlarge',
'InstanceCount': 1,
},
)
```
Pekerjaan inferensi batch mengembalikan respons dalam format berikut.
```
{'TransformJobArn': 'arn:aws:sagemaker:us-west-2:1234567890:transform-job/test-transform-job',
'ResponseMetadata': {'RequestId': '659f97fc-28c4-440b-b957-a49733f7c2f2',
'HTTPStatusCode': 200,
'HTTPHeaders': {'x-amzn-requestid': '659f97fc-28c4-440b-b957-a49733f7c2f2',
'content-type': 'application/x-amz-json-1.1',
'content-length': '96',
'date': 'Thu, 11 Aug 2022 22:23:49 GMT'},
'RetryAttempts': 0}}
```
------
#### [ AWS Command Line Interface (AWS CLI) ]
1. **Dapatkan definisi kandidat** dengan menggunakan contoh kode berikut.
```
aws sagemaker describe-auto-ml-job --auto-ml-job-name 'test-automl-job' --region us-west-2
```
1. **Buat model** dengan menggunakan contoh kode berikut.
```
aws sagemaker create-model --model-name 'test-sagemaker-model'
--containers '[{
"Image": "348316444620.dkr.ecr.us-west-2.amazonaws.com/sagemaker-sklearn-automl:2.5-1-cpu-py3",
"ModelDataUrl": "s3://amzn-s3-demo-bucket/out/test-job1/data-processor-models/test-job1-dpp0-1-e569ff7ad77f4e55a7e549a/output/model.tar.gz",
"Environment": {
"AUTOML_SPARSE_ENCODE_RECORDIO_PROTOBUF": "1",
"AUTOML_TRANSFORM_MODE": "feature-transform",
"SAGEMAKER_DEFAULT_INVOCATIONS_ACCEPT": "application/x-recordio-protobuf",
"SAGEMAKER_PROGRAM": "sagemaker_serve",
"SAGEMAKER_SUBMIT_DIRECTORY": "/opt/ml/model/code"
}
}, {
"Image": "348316444620.dkr.ecr.us-west-2.amazonaws.com/sagemaker-xgboost:1.3-1-cpu-py3",
"ModelDataUrl": "s3://amzn-s3-demo-bucket/out/test-job1/tuning/flicdf10v2-dpp0-xgb/test-job1E9-244-7490a1c0/output/model.tar.gz",
"Environment": {
"MAX_CONTENT_LENGTH": "20971520",
"SAGEMAKER_DEFAULT_INVOCATIONS_ACCEPT": "text/csv",
"SAGEMAKER_INFERENCE_OUTPUT": "predicted_label",
"SAGEMAKER_INFERENCE_SUPPORTED": "predicted_label,probability,probabilities"
}
}, {
"Image": "348316444620.dkr.ecr.us-west-2.amazonaws.com/sagemaker-sklearn-automl:2.5-1-cpu-py3",
"ModelDataUrl": "s3://amzn-s3-demo-bucket/out/test-job1/data-processor-models/test-job1-dpp0-1-e569ff7ad77f4e55a7e549a/output/model.tar.gz",
"Environment": {
"AUTOML_TRANSFORM_MODE": "inverse-label-transform",
"SAGEMAKER_DEFAULT_INVOCATIONS_ACCEPT": "text/csv",
"SAGEMAKER_INFERENCE_INPUT": "predicted_label",
"SAGEMAKER_INFERENCE_OUTPUT": "predicted_label",
"SAGEMAKER_INFERENCE_SUPPORTED": "predicted_label,probability,labels,probabilities",
"SAGEMAKER_PROGRAM": "sagemaker_serve",
"SAGEMAKER_SUBMIT_DIRECTORY": "/opt/ml/model/code"
}
}]' \
--execution-role-arn 'arn:aws:iam::1234567890:role/sagemaker-execution-role' \
--region 'us-west-2'
```
1. **Buat pekerjaan transformasi** dengan menggunakan contoh kode berikut.
```
aws sagemaker create-transform-job --transform-job-name 'test-tranform-job'\
--model-name 'test-sagemaker-model'\
--transform-input '{
"DataSource": {
"S3DataSource": {
"S3DataType": "S3Prefix",
"S3Uri": "s3://amzn-s3-demo-bucket/data.csv"
}
},
"ContentType": "text/csv",
"SplitType": "Line"
}'\
--transform-output '{
"S3OutputPath": "s3://amzn-s3-demo-bucket/output/",
"AssembleWith": "Line"
}'\
--transform-resources '{
"InstanceType": "ml.m5.2xlarge",
"InstanceCount": 1
}'\
--region 'us-west-2'
```
1. **Periksa kemajuan pekerjaan transformasi** dengan menggunakan contoh kode berikut.
```
aws sagemaker describe-transform-job --transform-job-name 'test-tranform-job' --region us-west-2
```
Berikut ini adalah respons dari pekerjaan transformasi.
```
{
"TransformJobName": "test-tranform-job",
"TransformJobArn": "arn:aws:sagemaker:us-west-2:1234567890:transform-job/test-tranform-job",
"TransformJobStatus": "InProgress",
"ModelName": "test-model",
"TransformInput": {
"DataSource": {
"S3DataSource": {
"S3DataType": "S3Prefix",
"S3Uri": "s3://amzn-s3-demo-bucket/data.csv"
}
},
"ContentType": "text/csv",
"CompressionType": "None",
"SplitType": "Line"
},
"TransformOutput": {
"S3OutputPath": "s3://amzn-s3-demo-bucket/output/",
"AssembleWith": "Line",
"KmsKeyId": ""
},
"TransformResources": {
"InstanceType": "ml.m5.2xlarge",
"InstanceCount": 1
},
"CreationTime": 1662495635.679,
"TransformStartTime": 1662495847.496,
"DataProcessing": {
"InputFilter": "$",
"OutputFilter": "$",
"JoinSource": "None"
}
}
```
Setelah `TransformJobStatus` perubahan`Completed`, Anda dapat memeriksa hasil inferensi di. `S3OutputPath`
------
## Terapkan model dari akun yang berbeda
Untuk membuat pekerjaan inferensi batch di akun yang berbeda dari yang dibuat model, ikuti instruksi di[Terapkan model dari akun yang berbeda](autopilot-deploy-models-realtime.md#autopilot-deploy-models-realtime-across-accounts). Kemudian Anda dapat membuat model dan mengubah pekerjaan dengan mengikuti[Menyebarkan menggunakan SageMaker APIs](#autopilot-deploy-models-batch-steps).
# Lihat detail model
Autopilot menghasilkan detail tentang model kandidat yang dapat Anda peroleh. Rincian ini meliputi:
+ Plot nilai SHAP agregat yang menunjukkan pentingnya setiap fitur. Ini membantu menjelaskan prediksi model Anda.
+ Ringkasan statistik untuk berbagai metrik pelatihan dan validasi, termasuk metrik objektif.
+ Daftar hyperparameters yang digunakan untuk melatih dan menyetel model.
Untuk melihat detail model setelah menjalankan pekerjaan Autopilot, ikuti langkah-langkah berikut:
1. Pilih ikon **Beranda** (![\[Black square icon representing a placeholder or empty image.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/studio/icons/house.png)) dari panel navigasi kiri untuk melihat menu navigasi **Amazon SageMaker Studio Classic** tingkat atas.
1. Pilih kartu **AutoML** dari area kerja utama. Ini membuka tab **Autopilot** baru.
1. Di bagian **Nama**, pilih pekerjaan Autopilot yang memiliki detail yang ingin Anda periksa. Ini membuka tab pekerjaan **Autopilot** baru.
1. **Panel **pekerjaan Autopilot** mencantumkan nilai metrik termasuk metrik **Objektif** untuk setiap model di bawah nama Model.** **Model Terbaik** tercantum di bagian atas daftar di bawah **nama Model** dan juga disorot di tab **Model**.
1. Untuk meninjau detail model, pilih model yang Anda minati dan pilih **Lihat detail model**. Ini membuka tab **Detail Model** baru.
1. Tab **Detail Model** dibagi menjadi empat subbagian.
1. Bagian atas tab **Explainability** berisi plot nilai SHAP agregat yang menunjukkan pentingnya setiap fitur. Berikut itu adalah metrik dan nilai hyperparameter untuk model ini.
1. Tab **Performance** berisi statistik metrik matriks kebingungan.
1. Tab **Artefak** berisi informasi tentang input model, output, dan hasil antara.
1. Tab **Jaringan** merangkum pilihan isolasi dan enkripsi jaringan Anda.
**catatan**
Kepentingan fitur dan informasi di tab **Performance** hanya dihasilkan untuk **model Terbaik**.
Untuk informasi lebih lanjut tentang bagaimana nilai SHAP membantu menjelaskan prediksi berdasarkan kepentingan fitur, lihat whitepaper [Memahami](https://pages.awscloud.com/rs/112-TZM-766/images/Amazon.AI.Fairness.and.Explainability.Whitepaper.pdf) penjelasan model. Informasi tambahan juga tersedia dalam [Penjelasan Model](clarify-model-explainability.md) topik di Panduan Pengembang SageMaker AI.
# Lihat laporan kinerja model Autopilot
Laporan kualitas model SageMaker AI Amazon (juga disebut sebagai laporan kinerja) memberikan wawasan dan informasi kualitas untuk kandidat model terbaik yang dihasilkan oleh pekerjaan AutoML. Ini termasuk informasi tentang detail pekerjaan, jenis masalah model, fungsi tujuan, dan informasi lain yang terkait dengan jenis masalah. Panduan ini menunjukkan cara melihat metrik kinerja Amazon SageMaker Autopilot secara grafis, atau melihat metrik sebagai data mentah dalam file JSON.
Misalnya, dalam masalah klasifikasi, laporan kualitas model meliputi yang berikut:
+ Matriks kebingungan
+ Area di bawah kurva karakteristik operasi penerima (AUC)
+ Informasi untuk memahami positif palsu dan negatif palsu
+ Pengorbanan antara positif benar dan positif palsu
+ Pengorbanan antara presisi dan penarikan kembali
Autopilot juga menyediakan metrik kinerja untuk semua model kandidat Anda. Metrik ini dihitung menggunakan semua data pelatihan dan digunakan untuk memperkirakan kinerja model. Area kerja utama mencakup metrik ini secara default. Jenis metrik ditentukan oleh jenis masalah yang ditangani.
Lihat [dokumentasi referensi Amazon SageMaker API](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobObjective.html) untuk daftar metrik yang tersedia yang didukung oleh Autopilot.
Anda dapat mengurutkan kandidat model Anda dengan metrik yang relevan untuk membantu Anda memilih dan menerapkan model yang memenuhi kebutuhan bisnis Anda. Untuk definisi metrik ini, lihat topik metrik kandidat [Autopilot](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-metrics-validation.html#autopilot-metrics).
Untuk melihat laporan kinerja dari pekerjaan Autopilot, ikuti langkah-langkah berikut:
1. Pilih ikon **Beranda** (![\[Black square icon representing a placeholder or empty image.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/studio/icons/house.png)) dari panel navigasi kiri untuk melihat menu navigasi **Amazon SageMaker Studio Classic** tingkat atas.
1. Pilih kartu **AutoML** dari area kerja utama. Ini membuka tab **Autopilot** baru.
1. Di bagian **Nama**, pilih pekerjaan Autopilot yang memiliki detail yang ingin Anda periksa. Ini membuka tab pekerjaan **Autopilot** baru.
1. **Panel **pekerjaan Autopilot** mencantumkan nilai metrik termasuk metrik **Objektif** untuk setiap model di bawah nama Model.** **Model Terbaik** tercantum di bagian atas daftar di bawah **nama Model** dan disorot di tab **Model**.
1. Untuk meninjau detail model, pilih model yang Anda minati dan pilih **Lihat dalam detail model**. Ini membuka tab **Detail Model** baru.
1. Pilih tab **Performance** antara tab **Explainability** dan **Artefacts**.
1. Di bagian kanan atas tab, pilih panah bawah pada tombol **Unduh Laporan Kinerja**.
1. Panah bawah menyediakan dua opsi untuk melihat metrik kinerja Autopilot:
1. Anda dapat mengunduh PDF laporan kinerja untuk melihat metrik secara grafis.
1. Anda dapat melihat metrik sebagai data mentah dan mengunduhnya sebagai file JSON.
Untuk petunjuk tentang cara membuat dan menjalankan pekerjaan AutoML di SageMaker Studio Classic, lihat. [Membuat Pekerjaan Regresi atau Klasifikasi untuk Data Tabular Menggunakan AutoML API](autopilot-automate-model-development-create-experiment.md)
Laporan kinerja berisi dua bagian. Yang pertama berisi detail tentang pekerjaan Autopilot yang menghasilkan model. Bagian kedua berisi laporan kualitas model.
## Autopilot Job Detail
Bagian pertama dari laporan ini memberikan beberapa informasi umum tentang pekerjaan Autopilot yang menghasilkan model. Rincian pekerjaan ini mencakup informasi berikut:
+ Nama kandidat autopilot
+ Nama pekerjaan Autopilot
+ Jenis masalah
+ Metrik objektif
+ Arah optimasi
## Laporan kualitas model
Informasi kualitas model dihasilkan oleh wawasan model Autopilot. Konten laporan yang dihasilkan bergantung pada jenis masalah yang ditangani: regresi, klasifikasi biner, atau klasifikasi multikelas. Laporan tersebut menentukan jumlah baris yang termasuk dalam dataset evaluasi dan waktu evaluasi terjadi.
### Tabel metrik
Bagian pertama dari laporan kualitas model berisi tabel metrik. Ini sesuai untuk jenis masalah yang ditangani model.
Gambar berikut adalah contoh tabel metrik yang dihasilkan Autopilot untuk masalah regresi. Ini menunjukkan nama metrik, nilai, dan standar deviasi.
![\[Contoh laporan metrik regresi wawasan model SageMaker Autopilot Amazon Autopilot.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-regression-metrics.png)
Gambar berikut adalah contoh tabel metrik yang dihasilkan oleh Autopilot untuk masalah klasifikasi multiclass. Ini menunjukkan nama metrik, nilai, dan standar deviasi.
![\[Contoh laporan metrik klasifikasi klasifikasi multiclass Amazon SageMaker Autopilot.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-multiclass-metrics-report.png)
### Informasi kinerja model grafis
Bagian kedua dari laporan kualitas model berisi informasi grafis untuk membantu Anda mengevaluasi kinerja model. Isi bagian ini tergantung pada jenis masalah yang digunakan dalam pemodelan.
#### Area di bawah kurva karakteristik operasi penerima
Area di bawah kurva karakteristik operasi penerima mewakili trade-off antara tingkat positif benar dan positif palsu. Ini adalah metrik akurasi standar industri yang digunakan untuk model klasifikasi biner. AUC (area di bawah kurva) mengukur kemampuan model untuk memprediksi skor yang lebih tinggi untuk contoh positif, dibandingkan dengan contoh negatif. Metrik AUC memberikan ukuran agregat dari kinerja model di semua ambang batas klasifikasi yang mungkin.
Metrik AUC mengembalikan nilai desimal dari 0 menjadi 1. Nilai AUC mendekati 1 menunjukkan bahwa model pembelajaran mesin sangat akurat. Nilai mendekati 0,5 menunjukkan bahwa model berkinerja tidak lebih baik daripada menebak secara acak. Nilai AUC mendekati 0 menunjukkan bahwa model telah mempelajari pola yang benar, tetapi membuat prediksi yang seakurat mungkin. Nilai mendekati nol dapat menunjukkan masalah dengan data. Untuk informasi selengkapnya tentang metrik AUC, lihat artikel [karakteristik operasi Penerima](https://en.wikipedia.org/wiki/Receiver_operating_characteristic) di Wikipedia.
Berikut ini adalah contoh area di bawah grafik kurva karakteristik operasi penerima untuk mengevaluasi prediksi yang dibuat oleh model klasifikasi biner. Garis tipis putus-putus mewakili area di bawah kurva karakteristik operasi penerima yang akan dinilai oleh model yang mengklasifikasikan no-better-than-random tebakan, dengan skor AUC 0,5. Kurva model klasifikasi yang lebih akurat terletak di atas garis dasar acak ini, di mana tingkat positif sejati melebihi tingkat positif palsu. Area di bawah kurva karakteristik operasi penerima yang mewakili kinerja model klasifikasi biner adalah garis padat yang lebih tebal.
![\[Amazon SageMaker Autopilot area di bawah contoh kurva karakteristik operasi penerima.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-receiver-operating-characteristic-curve.png)
Ringkasan komponen grafik **tingkat positif palsu (FPR) dan tingkat** **positif sejati** (TPR) didefinisikan sebagai berikut.
+ Prediksi yang benar
+ **True positive** (TP): Nilai yang diprediksi adalah 1, dan nilai sebenarnya adalah 1.
+ **Benar negatif** (TN): Nilai yang diprediksi adalah 0, dan nilai sebenarnya adalah 0.
+ Prediksi yang salah
+ **Positif palsu** (FP): Nilai yang diprediksi adalah 1, tetapi nilai sebenarnya adalah 0.
+ **False negative** (FN): Nilai yang diprediksi adalah 0, tetapi nilai sebenarnya adalah 1.
**Tingkat positif palsu** (FPR) mengukur fraksi negatif sejati (TN) yang diprediksi secara salah sebagai positif (FP), atas jumlah FP dan TN. Kisarannya adalah 0 hingga 1. Nilai yang lebih kecil menunjukkan akurasi prediksi yang lebih baik.
+ FPR = FP/ (FP\$1TN)
**Tingkat positif sejati** (TPR) mengukur fraksi positif sejati yang diprediksi dengan benar sebagai positif (TP) atas jumlah TP dan negatif palsu (FN). Kisarannya adalah 0 hingga 1. Nilai yang lebih besar menunjukkan akurasi prediksi yang lebih baik.
+ TPR = TP/ (TP\$1FN)
#### Matriks kebingungan
Matriks kebingungan menyediakan cara untuk memvisualisasikan keakuratan prediksi yang dibuat oleh model untuk klasifikasi biner dan multikelas untuk masalah yang berbeda. Matriks kebingungan dalam laporan kualitas model berisi yang berikut ini.
+ Jumlah dan persentase prediksi yang benar dan salah untuk label yang sebenarnya
+ Jumlah dan persentase prediksi akurat pada diagonal dari kiri atas ke pojok kanan bawah
+ Jumlah dan persentase prediksi yang tidak akurat pada diagonal dari kanan atas ke sudut kiri bawah
Prediksi yang salah pada matriks kebingungan adalah nilai kebingungan.
Diagram berikut adalah contoh matriks kebingungan untuk masalah klasifikasi biner. Itu berisi informasi berikut:
+ Sumbu vertikal dibagi menjadi dua baris yang berisi label aktual benar dan salah.
+ Sumbu horizontal dibagi menjadi dua kolom yang berisi label benar dan salah yang diprediksi oleh model.
+ Bilah warna memberikan nada yang lebih gelap ke sejumlah besar sampel untuk secara visual menunjukkan jumlah nilai yang diklasifikasikan dalam setiap kategori.
Dalam contoh ini, model memprediksi 2817 nilai palsu aktual dengan benar, dan 353 nilai sebenarnya sebenarnya dengan benar. Model salah memprediksi 130 nilai sebenarnya sebenarnya menjadi salah dan 33 nilai palsu aktual menjadi benar. Perbedaan nada menunjukkan bahwa dataset tidak seimbang. Ketidakseimbangan ini karena ada lebih banyak label palsu yang sebenarnya daripada label sebenarnya.
![\[Contoh matriks kebingungan biner Amazon SageMaker Autopilot.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-confusion-matrix-binary.png)
Diagram berikut adalah contoh matriks kebingungan untuk masalah klasifikasi multi-kelas. Matriks kebingungan dalam laporan kualitas model berisi yang berikut ini.
+ Sumbu vertikal dibagi menjadi tiga baris yang berisi tiga label aktual yang berbeda.
+ Sumbu horizontal dibagi menjadi tiga kolom yang berisi label yang diprediksi oleh model.
+ Bilah warna memberikan nada yang lebih gelap ke sejumlah besar sampel untuk secara visual menunjukkan jumlah nilai yang diklasifikasikan dalam setiap kategori.
**Dalam contoh di bawah ini, model dengan benar memprediksi 354 nilai aktual untuk label **f**, 1094 nilai untuk label **i** dan 852 nilai untuk label m.** Perbedaan nada menunjukkan bahwa kumpulan data tidak seimbang karena ada lebih banyak label untuk nilai **i** daripada untuk **f** atau **m**.
![\[Contoh matriks kebingungan multiclass Amazon SageMaker Autopilot.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-confusion-matrix-multiclass.png)
Matriks kebingungan dalam laporan kualitas model yang disediakan dapat mengakomodasi maksimum 15 label untuk jenis masalah klasifikasi multikelas. Jika baris yang sesuai dengan label menunjukkan `Nan` nilai, itu berarti kumpulan data validasi yang digunakan untuk memeriksa prediksi model tidak berisi data dengan label tersebut.
#### Kurva keuntungan
Dalam klasifikasi biner, kurva penguatan memprediksi manfaat kumulatif menggunakan persentase kumpulan data untuk menemukan label positif. Nilai gain dihitung selama pelatihan dengan membagi jumlah kumulatif pengamatan positif dengan jumlah total pengamatan positif dalam data, pada setiap desil. Jika model klasifikasi yang dibuat selama pelatihan mewakili data yang tidak terlihat, Anda dapat menggunakan kurva penguatan untuk memprediksi persentase data yang harus Anda targetkan untuk mendapatkan persentase label positif. Semakin besar persentase dataset yang digunakan, semakin tinggi persentase label positif yang ditemukan.
Dalam contoh grafik berikut, kurva penguatan adalah garis dengan kemiringan yang berubah. Garis lurus adalah persentase label positif yang ditemukan dengan memilih persentase data dari kumpulan data secara acak. Setelah menargetkan 20% dari kumpulan data, Anda akan menemukan lebih besar dari 40% label positif. Misalnya, Anda dapat mempertimbangkan untuk menggunakan kurva keuntungan untuk menentukan upaya Anda dalam kampanye pemasaran. Menggunakan contoh kurva keuntungan kami, untuk 83% orang di lingkungan untuk membeli cookie, Anda akan mengirim iklan ke sekitar 60% dari lingkungan sekitar.
![\[Amazon SageMaker Autopilot mendapatkan contoh kurva dengan persentase dan nilai gain.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-gain-curve.png)
#### Kurva angkat
Dalam klasifikasi biner, kurva angkat menggambarkan peningkatan menggunakan model terlatih untuk memprediksi kemungkinan menemukan label positif dibandingkan dengan tebakan acak. Nilai angkat dihitung selama pelatihan menggunakan rasio kenaikan persentase dengan rasio label positif pada setiap desil. Jika model yang dibuat selama pelatihan mewakili data yang tidak terlihat, gunakan kurva angkat untuk memprediksi manfaat menggunakan model daripada menebak secara acak.
Pada contoh grafik berikut, kurva angkat adalah garis dengan kemiringan yang berubah. Garis lurus adalah kurva angkat yang terkait dengan pemilihan persentase yang sesuai secara acak dari kumpulan data. Setelah menargetkan 40% kumpulan data dengan label klasifikasi model Anda, Anda akan menemukan sekitar 1,7 kali jumlah label positif yang akan Anda temukan dengan memilih secara acak 40% dari data yang tidak terlihat.
![\[Contoh kurva angkat Amazon SageMaker Autopilot dengan persentase dan nilai angkat.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-lift-curve.png)
#### Kurva penarikan presisi
Kurva recall presisi mewakili tradeoff antara presisi dan recall untuk masalah klasifikasi biner.
**Presisi** mengukur fraksi positif aktual yang diprediksi positif (TP) dari semua prediksi positif (TP dan positif palsu). Kisarannya adalah 0 hingga 1. Nilai yang lebih besar menunjukkan akurasi yang lebih baik dalam nilai yang diprediksi.
+ Presisi = TP/ (TP\$1FP)
**Ingat** mengukur fraksi positif aktual yang diprediksi sebagai positif (TP) dari semua prediksi positif aktual (TP dan negatif palsu). Ini juga dikenal sebagai sensitivitas atau sebagai tingkat positif sejati. Kisarannya adalah 0 hingga 1. Nilai yang lebih besar menunjukkan deteksi nilai positif yang lebih baik dari sampel.
+ Ingat = TP/ (TP\$1FN)
Tujuan dari masalah klasifikasi adalah untuk memberi label dengan benar sebanyak mungkin elemen. Sebuah sistem dengan recall tinggi tetapi presisi rendah mengembalikan persentase positif palsu yang tinggi.
Grafik berikut menggambarkan filter spam yang menandai setiap email sebagai spam. Ini memiliki daya ingat tinggi, tetapi presisi rendah, karena mengingat tidak mengukur positif palsu.
Berikan lebih banyak bobot untuk mengingat lebih presisi jika masalah Anda memiliki penalti rendah untuk nilai positif palsu, tetapi penalti tinggi karena kehilangan hasil positif yang sebenarnya. Misalnya, mendeteksi tabrakan yang akan datang di kendaraan self-driving.
![\[Contoh autopilot dari sistem penarikan tinggi dan presisi rendah, memodelkan semua sampel sebagai positif.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-high-recall-low-precision.PNG)
Sebaliknya, sistem dengan presisi tinggi, tetapi penarikan rendah, mengembalikan persentase negatif palsu yang tinggi. Filter spam yang menandai setiap email sebagai diinginkan (bukan spam) memiliki presisi tinggi tetapi penarikan rendah karena presisi tidak mengukur negatif palsu.
Jika masalah Anda memiliki penalti rendah untuk nilai negatif palsu, tetapi penalti tinggi karena kehilangan hasil negatif yang sebenarnya, berikan bobot lebih pada presisi daripada mengingat. Misalnya, menandai filter mencurigakan untuk audit pajak.
Grafik berikut menggambarkan filter spam yang memiliki presisi tinggi tetapi daya ingat rendah, karena presisi tidak mengukur negatif palsu.
![\[Contoh autopilot sistem presisi tinggi dan penarikan rendah, memodelkan semua sampel sebagai negatif.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-high-precision-low-recall.PNG)
Model yang membuat prediksi dengan presisi tinggi dan ingatan tinggi menghasilkan sejumlah besar hasil berlabel dengan benar. Untuk informasi lebih lanjut, lihat artikel [Presisi dan ingat](https://en.wikipedia.org/wiki/Precision_and_recall) di Wikipedia.
#### Area di bawah kurva penarikan presisi (AUPRC)
Untuk masalah klasifikasi biner, Amazon SageMaker Autopilot menyertakan grafik area di bawah kurva penarikan presisi (AUPRC). Metrik AUPRC memberikan ukuran agregat dari kinerja model di semua ambang klasifikasi yang mungkin dan menggunakan presisi dan penarikan. AUPRC tidak memperhitungkan jumlah negatif sejati. Oleh karena itu, dapat berguna untuk mengevaluasi kinerja model dalam kasus di mana ada sejumlah besar negatif sejati dalam data. Misalnya, untuk memodelkan gen yang mengandung mutasi langka.
Grafik berikut adalah contoh grafik AUPRC. Presisi pada nilai tertinggi adalah 1, dan recall pada 0. Di sudut kanan bawah grafik, recall adalah nilai tertinggi (1) dan presisi adalah 0. Di antara dua titik ini, kurva AUPRC menggambarkan tradeoff antara presisi dan recall pada ambang batas yang berbeda.
![\[Kurva recall presisi menggambarkan tradeoff antara presisi dan recall pada ambang batas yang berbeda.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-binary-precision-recall.png)
#### Aktual terhadap plot yang diprediksi
Plot aktual terhadap prediksi menunjukkan perbedaan antara nilai model aktual dan prediksi. Dalam contoh grafik berikut, garis padat adalah garis linier yang paling cocok. Jika modelnya 100% akurat, setiap titik yang diprediksi akan sama dengan titik aktual yang sesuai dan terletak pada garis yang paling cocok ini. Jarak jauh dari garis yang paling cocok adalah indikasi visual kesalahan model. Semakin besar jarak dari garis yang paling cocok, semakin tinggi kesalahan model.
![\[Contoh dengan garis linier yang paling cocok, plot aktual dan prediksi yang berbeda, dan kesalahan model.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-actual-vs-predicted-plot.png)
#### Plot residu standar
Plot residu standar menggabungkan istilah statistik berikut:
**`residual`**
Sisa (mentah) menunjukkan perbedaan antara aktual dan nilai yang diprediksi oleh model Anda. Semakin besar perbedaannya, semakin besar nilai residu.
**`standard deviation`**
Standar deviasi adalah ukuran bagaimana nilai bervariasi dari nilai rata-rata. Standar deviasi yang tinggi menunjukkan bahwa banyak nilai sangat berbeda dari nilai rata-ratanya. Standar deviasi yang rendah menunjukkan bahwa banyak nilai mendekati nilai rata-ratanya.
**`standardized residual`**
Residu standar membagi residu mentah dengan standar deviasi mereka. Residu standar memiliki satuan standar deviasi dan berguna dalam mengidentifikasi outlier dalam data terlepas dari perbedaan skala residu mentah. Jika residu standar jauh lebih kecil atau lebih besar daripada residu standar lainnya, ini menunjukkan bahwa model tersebut tidak sesuai dengan pengamatan ini dengan baik.
Plot residu standar mengukur kekuatan perbedaan antara nilai yang diamati dan yang diharapkan. Nilai prediksi aktual ditampilkan pada sumbu x. Titik dengan nilai lebih besar dari nilai absolut 3 umumnya dianggap sebagai outlier.
Contoh grafik berikut menunjukkan bahwa sejumlah besar residu standar dikelompokkan sekitar 0 pada sumbu horizontal. Nilai mendekati nol menunjukkan bahwa model cocok dengan titik-titik ini dengan baik. Titik-titik ke arah atas dan bawah plot tidak diprediksi dengan baik oleh model.
![\[Contoh plot residu standar Amazon SageMaker Autopilot.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-standardized-residual.png)
#### Histogram sisa
Histogram residual menggabungkan istilah statistik berikut:
**`residual`**
Sisa (mentah) menunjukkan perbedaan antara aktual dan nilai yang diprediksi oleh model Anda. Semakin besar perbedaannya, semakin besar nilai residu.
**`standard deviation`**
Standar deviasi adalah ukuran seberapa banyak nilai bervariasi dari nilai rata-rata. Standar deviasi yang tinggi menunjukkan bahwa banyak nilai sangat berbeda dari nilai rata-ratanya. Standar deviasi yang rendah menunjukkan bahwa banyak nilai mendekati nilai rata-ratanya.
**`standardized residual`**
Residu standar membagi residu mentah dengan standar deviasi mereka. Residu standar memiliki satuan standar deviasi. Ini berguna dalam mengidentifikasi outlier dalam data terlepas dari perbedaan skala residu mentah. Jika residu standar jauh lebih kecil atau lebih besar daripada residu standar lainnya, itu akan menunjukkan bahwa model tersebut tidak sesuai dengan pengamatan ini dengan baik.
**`histogram`**
Histogram adalah grafik yang menunjukkan seberapa sering suatu nilai terjadi.
Histogram residu menunjukkan distribusi nilai residu standar. Histogram yang didistribusikan dalam bentuk lonceng dan berpusat pada nol menunjukkan bahwa model tidak secara sistematis memprediksi atau meremehkan rentang nilai target tertentu.
Dalam grafik berikut, nilai residu standar menunjukkan bahwa model tersebut sesuai dengan data dengan baik. Jika grafik menunjukkan nilai yang jauh dari nilai pusat, itu akan menunjukkan bahwa nilai-nilai tersebut tidak sesuai dengan model dengan baik.
![\[Nilai residu standar mendekati nol, menunjukkan bahwa model cocok dengan data dengan baik.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-residual-histogram.png)
# Notebook autopilot dihasilkan untuk mengelola tugas AutoML
Amazon SageMaker Autopilot mengelola tugas-tugas utama dalam proses pembelajaran mesin otomatis (AutoML) menggunakan pekerjaan AutoML. Pekerjaan AutoML membuat tiga laporan berbasis notebook yang menggambarkan rencana yang diikuti Autopilot untuk menghasilkan model kandidat.
Model kandidat terdiri dari pasangan (pipeline, algoritma). Pertama, ada buku catatan **eksplorasi data** yang menjelaskan apa yang dipelajari Autopilot tentang data yang Anda berikan. Kedua, ada buku catatan **definisi kandidat**, yang menggunakan informasi tentang data untuk menghasilkan kandidat. Ketiga, laporan **wawasan model** yang dapat membantu merinci karakteristik kinerja model terbaik di papan peringkat eksperimen Autopilot.
**Topics**
+ [
# Laporan eksplorasi data autopilot
](autopilot-data-exploration-report.md)
+ [
# Temukan dan jalankan buku catatan definisi kandidat
](autopilot-candidate-generation-notebook.md)
Anda dapat menjalankan notebook ini di Amazon SageMaker AI, atau secara lokal, jika Anda telah menginstal Amazon [Python SageMaker ](https://sagemaker.readthedocs.io/en/stable) SDK. Anda dapat berbagi notebook seperti notebook SageMaker Studio Classic lainnya. Notebook dibuat untuk Anda melakukan eksperimen. Misalnya, Anda dapat mengedit item berikut di buku catatan:
+ Preprocessors yang digunakan pada data
+ Jumlah optimasi hyperparameter (HPO) berjalan dan paralelismenya
+ Algoritma untuk dicoba
+ Jenis instans yang digunakan untuk pekerjaan HPO
+ Rentang hiperparameter
Modifikasi buku catatan definisi kandidat didorong sebagai alat pembelajaran. Dengan kemampuan ini, Anda mempelajari bagaimana keputusan yang dibuat selama proses pembelajaran mesin memengaruhi hasil Anda.
**catatan**
Ketika Anda menjalankan notebook dalam instance default Anda, Anda dikenakan biaya dasar. Namun, ketika Anda menjalankan pekerjaan HPO dari notebook kandidat, pekerjaan ini menggunakan sumber daya komputasi tambahan yang menimbulkan biaya tambahan.
# Laporan eksplorasi data autopilot
Amazon SageMaker Autopilot membersihkan dan memproses kumpulan data Anda secara otomatis. Data berkualitas tinggi meningkatkan efisiensi pembelajaran mesin dan menghasilkan model yang membuat prediksi yang lebih akurat.
Ada masalah dengan kumpulan data yang disediakan pelanggan yang tidak dapat diperbaiki secara otomatis tanpa manfaat dari beberapa pengetahuan domain. Nilai outlier besar di kolom target untuk masalah regresi, misalnya, dapat menyebabkan prediksi suboptimal untuk nilai non-outlier. Outlier mungkin perlu dihapus tergantung pada tujuan pemodelan. Jika kolom target dimasukkan secara tidak sengaja sebagai salah satu fitur input, model akhir akan memvalidasi dengan baik, tetapi memiliki nilai kecil untuk prediksi masa depan.
Untuk membantu pelanggan menemukan masalah semacam ini, Autopilot menyediakan laporan eksplorasi data yang berisi wawasan tentang potensi masalah dengan data mereka. Laporan ini juga menyarankan bagaimana menangani masalah.
Buku catatan eksplorasi data yang berisi laporan dibuat untuk setiap pekerjaan Autopilot. Laporan disimpan dalam bucket Amazon S3 dan dapat diakses dari jalur keluaran Anda. Jalur laporan eksplorasi data biasanya mengikuti pola berikut.
```
[s3 output path]/[name of the automl job]/sagemaker-automl-candidates/[name of processing job used for data analysis]/notebooks/SageMaker AIAutopilotDataExplorationNotebook.ipynb
```
Lokasi notebook eksplorasi data dapat diperoleh dari Autopilot API menggunakan respons [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJob.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJob.html)operasi, yang disimpan di. [DataExplorationNotebookLocation](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobArtifacts.html#sagemaker-Type-AutoMLJobArtifacts-DataExplorationNotebookLocation)
Saat menjalankan Autopilot dari SageMaker Studio Classic, Anda dapat membuka laporan eksplorasi data menggunakan langkah-langkah berikut:
1. Pilih ikon **Beranda** ![\[Black square icon representing a placeholder or empty image.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/studio/icons/house.png) dari *panel navigasi kiri untuk melihat menu navigasi* **Amazon SageMaker Studio Classic** tingkat atas.
1. Pilih kartu **AutoML** dari area kerja utama. Ini membuka tab **Autopilot** baru.
1. Di bagian **Nama**, pilih pekerjaan Autopilot yang memiliki buku catatan eksplorasi data yang ingin Anda periksa. Ini membuka tab pekerjaan **Autopilot** baru.
1. Pilih **Buka buku catatan eksplorasi data** dari bagian kanan atas tab pekerjaan **Autopilot**.
Laporan eksplorasi data dihasilkan dari data Anda sebelum proses pelatihan dimulai. Ini memungkinkan Anda untuk menghentikan pekerjaan Autopilot yang mungkin mengarah pada hasil yang tidak berarti. Demikian juga, Anda dapat mengatasi masalah atau peningkatan apa pun dengan kumpulan data Anda sebelum menjalankan ulang Autopilot. Dengan cara ini, Anda dapat menggunakan keahlian domain Anda untuk meningkatkan kualitas data secara manual, sebelum Anda melatih model pada kumpulan data yang dikuratori dengan lebih baik.
Laporan data hanya berisi penurunan harga statis dan dapat dibuka di lingkungan Jupyter apa pun. Notebook yang berisi laporan dapat dikonversi ke format lain, seperti PDF atau HTML. Untuk informasi selengkapnya tentang konversi, lihat [Menggunakan skrip nbconvert untuk mengonversi buku catatan Jupyter ke format lain](https://nbconvert.readthedocs.io/en/latest/usage.html ). .
**Topics**
+ [
## Ringkasan Dataset
](#autopilot-data-exploration-report-dataset-summary)
+ [
## Analisis Target
](#autopilot-data-exploration-report-target-analysis)
+ [
## Sampel Data
](#autopilot-data-exploration-report-data-sample)
+ [
## Baris duplikat
](#autopilot-data-exploration-report-duplicate-rows)
+ [
## Korelasi kolom silang
](#autopilot-data-exploration-report-cross-column-correlations)
+ [
## Baris Anomali
](#autopilot-data-exploration-report-cross-anomolous-rows)
+ [
## Nilai yang hilang, kardinalitas, dan statistik deskriptif
](#autopilot-data-exploration-report-description-statistics-and-values)
## Ringkasan Dataset
**Ringkasan Set Data** ini menyediakan statistik utama yang mengkarakterisasi kumpulan data Anda termasuk jumlah baris, kolom, persen baris duplikat, dan nilai target yang hilang. Ini dimaksudkan untuk memberi Anda peringatan cepat ketika ada masalah dengan kumpulan data Anda yang terdeteksi Amazon SageMaker Autopilot dan yang kemungkinan memerlukan intervensi Anda. Wawasan muncul sebagai peringatan yang diklasifikasikan sebagai tingkat keparahan “tinggi” atau “rendah”. Klasifikasi tergantung pada tingkat kepercayaan bahwa masalah tersebut akan berdampak buruk pada kinerja model.
Wawasan tingkat keparahan tinggi dan rendah muncul dalam ringkasan sebagai pop-up. Untuk sebagian besar wawasan, rekomendasi ditawarkan untuk cara mengonfirmasi bahwa ada masalah dengan kumpulan data yang memerlukan perhatian Anda. Proposal juga disediakan untuk cara menyelesaikan masalah.
Autopilot memberikan statistik tambahan tentang nilai target yang hilang atau tidak valid dalam kumpulan data kami untuk membantu Anda mendeteksi masalah lain yang mungkin tidak ditangkap oleh wawasan tingkat keparahan tinggi. Jumlah kolom yang tidak terduga dari jenis tertentu mungkin menunjukkan bahwa beberapa kolom yang ingin Anda gunakan mungkin hilang dari kumpulan data. Ini juga bisa menunjukkan bahwa ada masalah dengan bagaimana data disiapkan atau disimpan. Memperbaiki masalah data yang dibawa ke perhatian Anda oleh Autopilot dapat meningkatkan kinerja model pembelajaran mesin yang dilatih pada data Anda.
Wawasan tingkat keparahan tinggi ditampilkan di bagian ringkasan dan di bagian lain yang relevan dalam laporan. Contoh wawasan tingkat keparahan tinggi dan rendah biasanya diberikan tergantung pada bagian laporan data.
## Analisis Target
Berbagai wawasan tingkat keparahan tinggi dan rendah ditampilkan di bagian ini terkait dengan distribusi nilai di kolom target. Periksa apakah kolom target berisi nilai yang benar. Nilai yang salah di kolom target kemungkinan akan menghasilkan model pembelajaran mesin yang tidak melayani tujuan bisnis yang dimaksudkan. Beberapa wawasan data tingkat keparahan tinggi dan rendah hadir di bagian ini. Berikut adalah beberapa contoh tanda.
+ **Nilai target outlier** - Distribusi target miring atau tidak biasa untuk regresi, seperti target berekor berat.
+ **Kardinalitas target tinggi atau rendah** - Jumlah label kelas yang jarang atau sejumlah besar kelas unik untuk klasifikasi.
Untuk jenis masalah regresi dan klasifikasi, nilai yang tidak valid seperti tak terhingga numerik, `NaN` atau ruang kosong di kolom target muncul. Tergantung pada jenis masalah, statistik dataset yang berbeda disajikan. Distribusi nilai kolom target untuk masalah regresi memungkinkan Anda memverifikasi apakah distribusi sesuai dengan yang Anda harapkan.
Tangkapan layar berikut menunjukkan laporan data Autopilot, yang mencakup statistik seperti rata-rata, median, minimum, maksimum, persentase outlier dalam kumpulan data Anda. Tangkapan layar juga menyertakan histogram yang menunjukkan distribusi label di kolom target. Histogram menunjukkan **Nilai Kolom Target** pada sumbu horizontal dan **Hitung** pada sumbu vertikal. Sebuah kotak menyoroti bagian **Persentase Outliers** pada tangkapan layar untuk menunjukkan di mana statistik ini muncul.
![\[Laporan data autopilot tentang distribusi nilai kolom target.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-data-report-target-analysis.png)
Beberapa statistik ditampilkan mengenai nilai target dan distribusinya. Jika salah satu outlier, bukan nilai yang valid, atau persentase yang hilang lebih besar dari nol, nilai ini muncul sehingga Anda dapat menyelidiki mengapa data Anda berisi nilai target yang tidak dapat digunakan. Beberapa nilai target yang tidak dapat digunakan disorot sebagai peringatan wawasan tingkat keparahan rendah.
Pada tangkapan layar berikut, simbol `ditambahkan secara tidak sengaja ke kolom target, yang mencegah nilai numerik target diurai. **Wawasan tingkat keparahan rendah: Peringatan “Nilai target tidak valid” muncul.** Peringatan dalam contoh ini menyatakan "0,14% label di kolom target tidak dapat dikonversi ke nilai numerik. Nilai non-numerik yang paling umum adalah: [” -3.8e-05",” -9-05",” -4.7e-05",” -1.4999999999999999e-05",” -4.3e-05"]. Itu biasanya menunjukkan bahwa ada masalah dengan pengumpulan atau pemrosesan data. Amazon SageMaker Autopilot mengabaikan semua pengamatan dengan label target yang tidak valid.
![\[Data autopilot melaporkan peringatan tingkat keparahan rendah tentang nilai target yang tidak valid.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-data-report-target-analysis-invalid-target-values.png)
Autopilot juga menyediakan histogram yang menunjukkan distribusi label untuk klasifikasi.
Tangkapan layar berikut menunjukkan contoh statistik yang diberikan untuk kolom target Anda termasuk jumlah kelas, nilai yang hilang atau tidak valid. Histogram dengan **Label Target** pada sumbu horizontal dan **Frekuensi** pada sumbu vertikal menunjukkan distribusi setiap kategori label.
![\[Data autopilot melaporkan kardinalitas tinggi untuk klasifikasi.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-data-report-target-analysis-invalid-classification.png)
**catatan**
Anda dapat menemukan definisi dari semua istilah yang disajikan dalam bagian ini dan lainnya di bagian **Definisi** di bagian bawah buku catatan laporan.
## Sampel Data
Autopilot menyajikan sampel aktual data Anda untuk membantu Anda menemukan masalah dengan kumpulan data Anda. Tabel sampel bergulir secara horizontal. Periksa data sampel untuk memverifikasi bahwa semua kolom yang diperlukan ada dalam kumpulan data.
Autopilot juga menghitung ukuran daya prediksi, yang dapat digunakan untuk mengidentifikasi hubungan linier atau nonlinier antara fitur dan variabel target. Nilai `0` menunjukkan bahwa fitur tersebut tidak memiliki nilai prediktif dalam memprediksi variabel target. Nilai `1` menunjukkan daya prediksi tertinggi untuk variabel target. Untuk informasi lebih lanjut tentang kekuatan prediksi, lihat bagian **Definisi**.
**catatan**
Tidak disarankan Anda menggunakan kekuatan prediksi sebagai pengganti kepentingan fitur. Gunakan hanya jika Anda yakin bahwa kekuatan prediksi adalah ukuran yang tepat untuk kasus penggunaan Anda.
Tangkapan layar berikut menunjukkan contoh sampel data. Baris atas berisi kekuatan prediksi setiap kolom dalam kumpulan data Anda. Baris kedua berisi tipe data kolom. Baris berikutnya berisi label. Kolom berisi kolom target diikuti oleh setiap kolom fitur. Setiap kolom fitur memiliki kekuatan prediksi terkait, disorot dalam tangkapan layar ini, dengan sebuah kotak. Dalam contoh ini, kolom yang berisi fitur `x51` memiliki kekuatan prediksi `0.68` untuk variabel `y` target. Fitur `x55` ini sedikit kurang prediktif dengan kekuatan prediksi. `0.59`
![\[Data autopilot melaporkan kekuatan prediksi sampel data.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-data-report-data-sample-prediction.png)
## Baris duplikat
Jika baris duplikat ada dalam kumpulan data, Amazon SageMaker Autopilot menampilkan sampelnya.
**catatan**
Tidak disarankan untuk menyeimbangkan kumpulan data dengan up-sampling sebelum memberikannya ke Autopilot. Hal ini dapat mengakibatkan skor validasi yang tidak akurat untuk model yang dilatih oleh Autopilot, dan model yang diproduksi mungkin tidak dapat digunakan.
## Korelasi kolom silang
Autopilot menggunakan koefisien korelasi Pearson, ukuran korelasi linier antara dua fitur, untuk mengisi matriks korelasi. Dalam matriks korelasi, fitur numerik diplot pada sumbu horizontal dan vertikal, dengan koefisien korelasi Pearson diplot di persimpangan mereka. Semakin tinggi korelasi antara dua fitur, semakin tinggi koefisiennya, dengan nilai maksimum. `|1|`
+ Nilai `-1` menunjukkan bahwa fitur berkorelasi negatif sempurna.
+ Nilai`1`, yang terjadi ketika suatu fitur berkorelasi dengan dirinya sendiri, menunjukkan korelasi positif yang sempurna.
Anda dapat menggunakan informasi dalam matriks korelasi untuk menghapus fitur yang sangat berkorelasi. Sejumlah kecil fitur mengurangi kemungkinan overfitting model dan dapat mengurangi biaya produksi dengan dua cara. Ini mengurangi runtime Autopilot yang dibutuhkan dan, untuk beberapa aplikasi, dapat membuat prosedur pengumpulan data lebih murah.
Tangkapan layar berikut menunjukkan contoh matriks korelasi antar `7` fitur. Setiap fitur ditampilkan dalam matriks pada sumbu horizontal dan vertikal. Koefisien korelasi Pearson ditampilkan di persimpangan antara dua fitur. Setiap persimpangan fitur memiliki nada warna yang terkait dengannya. Semakin tinggi korelasinya, semakin gelap nadanya. Nada paling gelap menempati diagonal matriks, di mana setiap fitur berkorelasi dengan dirinya sendiri, mewakili korelasi sempurna.
![\[Data autopilot melaporkan matriks korelasi silang data.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-data-report-data-cross-column-statistics.png)
## Baris Anomali
Amazon SageMaker Autopilot mendeteksi baris mana dalam kumpulan data Anda yang mungkin anomali. Kemudian memberikan skor anomali untuk setiap baris. Baris dengan skor anomali negatif dianggap anomali.
Tangkapan layar berikut menunjukkan output dari analisis Autopilot untuk baris yang berisi anomali. Kolom yang berisi skor anomali muncul di sebelah kolom dataset untuk setiap baris.
![\[Dataset autopilot dengan baris anomali, menunjukkan skor anomali negatif.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-data-report-data-anomalous-rows.png)
## Nilai yang hilang, kardinalitas, dan statistik deskriptif
Amazon SageMaker Autopilot memeriksa dan melaporkan properti masing-masing kolom kumpulan data Anda. Di setiap bagian laporan data yang menyajikan analisis ini, konten disusun secara berurutan. Ini agar Anda dapat memeriksa nilai yang paling “mencurigakan” terlebih dahulu. Dengan menggunakan statistik ini Anda dapat meningkatkan konten kolom individual, dan meningkatkan kualitas model yang dihasilkan oleh Autopilot.
Autopilot menghitung beberapa statistik pada nilai kategoris dalam kolom yang berisi mereka. Ini termasuk jumlah entri unik dan, untuk teks, jumlah kata unik.
Autopilot menghitung beberapa statistik standar pada nilai numerik dalam kolom yang berisi mereka. Gambar berikut menggambarkan statistik ini, termasuk nilai rata-rata, median, minimum dan maksimum, dan persentase jenis numerik dan nilai outlier.
![\[Data autopilot melaporkan statistik pada kolom dengan nilai numerik.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-data-report-data-descriptive-statistics.png)
# Temukan dan jalankan buku catatan definisi kandidat
Notebook definisi kandidat berisi setiap langkah preprocessing yang disarankan, algoritma, dan rentang hyperparameter.
Anda dapat memilih kandidat mana yang akan dilatih dan disetel dengan dua cara. Yang pertama, dengan menjalankan bagian notebook. Kedua, dengan menjalankan seluruh notebook untuk mengoptimalkan semua kandidat untuk mengidentifikasi kandidat terbaik. Jika Anda menjalankan seluruh buku catatan, hanya kandidat terbaik yang ditampilkan setelah pekerjaan selesai.
Untuk menjalankan Autopilot dari SageMaker Studio Classic, buka notebook definisi kandidat dengan mengikuti langkah-langkah berikut:
1. Pilih ikon **Beranda** ![\[Black square icon representing a placeholder or empty image.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/studio/icons/house.png) dari panel navigasi kiri untuk melihat menu navigasi **Amazon SageMaker Studio Classic** tingkat atas.
1. Pilih kartu **AutoML** dari area kerja utama. Ini membuka tab **Autopilot** baru.
1. Di bagian **Nama**, pilih pekerjaan Autopilot yang memiliki buku catatan definisi kandidat yang ingin Anda periksa. Ini membuka tab pekerjaan **Autopilot** baru.
1. Pilih **Buka buku catatan generasi kandidat** dari bagian kanan atas tab pekerjaan **Autopilot**. Ini membuka pratinjau hanya-baca baru dari Notebook Definisi Kandidat **Amazon SageMaker Autopilot**.
Untuk menjalankan buku catatan definisi kandidat, ikuti langkah-langkah berikut:
1. Pilih **Impor buku catatan** di kanan atas tab Notebook **Definisi Kandidat Amazon SageMaker Autopilot**. Ini membuka tab untuk mengatur lingkungan notebook baru untuk menjalankan notebook.
1. Pilih SageMaker **Gambar** yang ada atau gunakan **Gambar Kustom**.
1. Pilih **Kernel**, **tipe Instance**, dan skrip **Start-up** opsional.
Anda sekarang dapat menjalankan notebook di lingkungan baru ini.
# Konfigurasikan output inferensi dalam wadah yang dihasilkan
Autopilot menghasilkan daftar yang diurutkan. [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ContainerDefinition.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ContainerDefinition.html) Ini dapat digunakan untuk membangun model untuk diterapkan dalam pipa pembelajaran mesin. Model ini dapat digunakan untuk hosting online dan inferensi.
Pelanggan dapat membuat daftar definisi kontainer inferensi dengan [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ListCandidateForAutoMLJob.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ListCandidateForAutoMLJob.html)API. Daftar definisi wadah inferensi yang mewakili kandidat terbaik juga tersedia dalam [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJob.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJob.html)tanggapan.
## Definisi wadah inferensi untuk jenis masalah regresi dan klasifikasi
Autopilot menghasilkan wadah inferensi khusus untuk [mode pelatihan](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-model-support-validation.html#autopilot-training-mode) dan [jenis masalah pekerjaan](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-datasets-problem-types.html#autopilot-problem-types).
### Definisi wadah untuk mode optimasi hyperparameter (HPO)
+ **Regresi**: HPO menghasilkan dua kontainer:
1. Wadah rekayasa fitur yang mengubah fitur asli menjadi fitur yang dapat dilatih oleh algoritme regresi.
1. Wadah algoritme yang mengubah fitur dan menghasilkan skor regresi untuk kumpulan data.
+ **Klasifikasi**: HPO menghasilkan tiga kontainer:
1. Wadah rekayasa fitur yang mengubah fitur asli menjadi fitur yang dapat dilatih oleh algoritma klasifikasi.
1. Sebuah wadah algoritma yang menghasilkan `predicted_label` dengan probabilitas tertinggi. Wadah ini juga dapat menghasilkan berbagai probabilitas yang terkait dengan hasil klasifikasi dalam respons inferensi.
1. Sebuah wadah rekayasa fitur yang melakukan pasca-pemrosesan prediksi algoritma. Misalnya, ia dapat melakukan transformasi terbalik pada label yang diprediksi dan mengubahnya ke label asli.
### Definisi wadah untuk mode ansambel
Dalam mode ansambel, tipe masalah regresi dan klasifikasi hanya memiliki satu wadah inferensi. Wadah inferensi ini mengubah fitur dan menghasilkan prediksi berdasarkan jenis masalah.
## Respons inferensi per jenis masalah
### Respons inferensi untuk model klasifikasi
Untuk wadah inferensi klasifikasi, Anda dapat memilih konten respons inferensi dengan menggunakan empat kunci yang telah ditentukan:
+ `predicted_label`: Label dengan probabilitas tertinggi untuk memprediksi label yang benar, sebagaimana ditentukan oleh Autopilot.
+ `probability`:
+ **Model HPO:** Probabilitas `True` kelas untuk klasifikasi biner. Probabilitas `predicted_label` untuk klasifikasi multiclass.
+ **Model ansambel:** Probabilitas klasifikasi biner dan multikelas. `predicted_label`
+ `probabilities`: Daftar probabilitas untuk semua kelas yang sesuai.
+ `labels`: Daftar semua label.
Misalnya, untuk masalah klasifikasi biner, jika Anda melewatkan kunci respons inferensi `['predicted_label', 'probability', 'probabilities', 'labels']` dan respons keluaran muncul sebagai`[1, 0.1, "[0.9, 0.1]", "['1', '0']"]`, Anda harus menafsirkannya sebagai berikut:
1. `predicted_label`sama `1` karena label “1" memiliki probabilitas yang lebih tinggi (`0.9`dalam hal ini).
1. Untuk model HPO, `probability` sama dengan `0.1` probabilitas `positive_class` (`0`dalam hal ini) yang dipilih oleh Autopilot.
Untuk model Ensemble, `probability` sama dengan `0.9` yang merupakan probabilitas dari. `predicted_label`
1. `probabilities`daftar `probability` setiap label di`labels`.
1. `labels`adalah label unik dalam kumpulan data, di mana label kedua (“0" dalam kasus ini) `positive_class` dipilih oleh Autopilot.
Secara default, kontainer inferensi dikonfigurasi untuk menghasilkan hanya file. `predicted_label` Untuk memilih konten inferensi tambahan, Anda dapat memperbarui `inference_response_keys` parameter untuk menyertakan hingga tiga variabel lingkungan ini:
+ `SAGEMAKER_INFERENCE_SUPPORTED`: Ini diatur untuk memberikan petunjuk kepada Anda tentang konten apa yang didukung setiap wadah.
+ `SAGEMAKER_INFERENCE_INPUT`: Ini harus diatur ke kunci yang diharapkan kontainer dalam muatan input.
+ `SAGEMAKER_INFERENCE_OUTPUT`: Ini harus diisi dengan set kunci yang dikeluarkan kontainer.
### Respons inferensi untuk model klasifikasi dalam mode HPO
Bagian ini menunjukkan cara mengonfigurasi respons inferensi dari model klasifikasi menggunakan mode optimasi hyperparameter (HPO).
Untuk memilih konten respons inferensi dalam mode HPO: Tambahkan `SAGEMAKER_INFERENCE_OUTPUT` variabel `SAGEMAKER_INFERENCE_INPUT` dan ke wadah kedua dan ketiga yang dihasilkan dalam mode HPO untuk masalah klasifikasi.
Kunci yang didukung oleh wadah kedua (algoritma) adalah predicted\$1label, probabilitas, dan probabilitas. Perhatikan `labels` bahwa sengaja tidak ditambahkan ke`SAGEMAKER_INFERENCE_SUPPORTED`.
Kunci yang didukung oleh wadah model klasifikasi ketiga adalah`predicted_label`,`labels`,`probability`, dan`probabilities`. Oleh karena itu, `SAGEMAKER_INFERENCE_SUPPORTED` lingkungan menyertakan nama-nama kunci ini.
Untuk memperbarui definisi wadah inferensi untuk menerima `predicted_label` dan`probability`, gunakan contoh kode berikut.
```
containers[1]['Environment'].update({'SAGEMAKER_INFERENCE_OUTPUT': 'predicted_label, probability'})
containers[2]['Environment'].update({'SAGEMAKER_INFERENCE_INPUT': 'predicted_label, probability'})
containers[2]['Environment'].update({'SAGEMAKER_INFERENCE_OUTPUT': 'predicted_label, probability'})
```
Contoh kode berikut memperbarui definisi wadah inferensi untuk menerima`predicted_label`,`probabilities`, dan`labels`. Jangan meneruskan `labels` ke wadah kedua (wadah algoritma), karena dihasilkan oleh wadah ketiga secara independen.
```
containers[1]['Environment'].update({'SAGEMAKER_INFERENCE_OUTPUT': 'predicted_label,probabilities'})
containers[2]['Environment'].update({'SAGEMAKER_INFERENCE_INPUT': 'predicted_label,probabilities'})
containers[2]['Environment'].update({'SAGEMAKER_INFERENCE_OUTPUT': 'predicted_label, probabilities,labels'})
```
Bagian yang dapat dilipat berikut memberikan contoh kode untuk AWS SDK untuk Python (Boto3) dan untuk SageMaker SDK untuk Python. Setiap bagian menunjukkan cara memilih konten tanggapan inferensi dalam mode HPO untuk contoh kode masing-masing.
#### AWS SDK untuk Python (Boto3)
```
import boto3
sm_client = boto3.client('sagemaker', region_name='')
role = ''
input_data = ''
output_path = ''
best_candidate = sm_client.describe_auto_ml_job(AutoMLJobName='')['BestCandidate']
best_candidate_containers = best_candidate['InferenceContainers']
best_candidate_name = best_candidate['CandidateName']
best_candidate_containers[1]['Environment'].update({'SAGEMAKER_INFERENCE_OUTPUT': 'predicted_label, probability'})
best_candidate_containers[2]['Environment'].update({'SAGEMAKER_INFERENCE_INPUT': 'predicted_label, probability'})
best_candidate_containers[2]['Environment'].update({'SAGEMAKER_INFERENCE_OUTPUT': 'predicted_label, probability'})
# create model
reponse = sm_client.create_model(
ModelName = '',
ExecutionRoleArn = role,
Containers = best_candidate_containers
)
# Lauch Transform Job
response = sm_client.create_transform_job(
TransformJobName='',
ModelName='',
TransformInput={
'DataSource': {
'S3DataSource': {
'S3DataType': 'S3Prefix',
'S3Uri': input_data
}
},
'ContentType': "text/CSV",
'SplitType': 'Line'
},
TransformOutput={
'S3OutputPath': output_path,
'AssembleWith': 'Line',
},
TransformResources={
'InstanceType': 'ml.m4.xlarge',
'InstanceCount': 1,
},
)
```
#### SageMaker SDK untuk Python
```
from sagemaker import AutoML
aml = AutoML.attach(auto_ml_job_name='')
aml_best_model = aml.create_model(name='',
candidate=None,
inference_response_keys**=['probabilities', 'labels'])
aml_transformer = aml_best_model.transformer(accept='text/csv',
assemble_with='Line',
instance_type='ml.m5.xlarge',
instance_count=1,)
aml_transformer.transform('',
content_type='text/csv',
split_type='Line',
job_name='',
wait=True)
```
### Respons inferensi untuk model klasifikasi dalam mode ansambel
Bagian ini menunjukkan cara mengonfigurasi respons inferensi dari model klasifikasi menggunakan mode ansambel.
Dalam **mode ansambel**, untuk memilih konten respons inferensi, perbarui variabel lingkungan. `SAGEMAKER_INFERENCE_OUTPUT`
Kunci yang didukung oleh wadah model klasifikasi adalah`predicted_label`,`labels`,`probability`, dan`probabilities`. Kunci-kunci ini termasuk dalam `SAGEMAKER_INFERENCE_SUPPORTED` lingkungan.
Untuk memperbarui definisi kontainer inferensi untuk menerima `predicted_label` dan`probability`, lihat contoh kode berikut.
```
containers[0]['Environment'].update({'SAGEMAKER_INFERENCE_OUTPUT': 'predicted_label, probability'})
```
Bagian yang dapat dilipat berikut memberikan contoh kode untuk memilih konten respons inferensi dalam mode ansambel. Contoh menggunakan AWS SDK untuk Python (Boto3).
#### AWS SDK untuk Python (Boto3)
```
import boto3
sm_client = boto3.client('sagemaker', region_name='')
role = ''
input_data = ''
output_path = ''
best_candidate = sm_client.describe_auto_ml_job(AutoMLJobName='')['BestCandidate']
best_candidate_containers = best_candidate['InferenceContainers']
best_candidate_name = best_candidate['CandidateName']
*best_candidate_containers[0]['Environment'].update({'SAGEMAKER_INFERENCE_OUTPUT': 'predicted_label, probability'})
*
# create model
reponse = sm_client.create_model(
ModelName = '',
ExecutionRoleArn = role,
Containers = best_candidate_containers
)
# Lauch Transform Job
response = sm_client.create_transform_job(
TransformJobName='',
ModelName='',
TransformInput={
'DataSource': {
'S3DataSource': {
'S3DataType': 'S3Prefix',
'S3Uri': input_data
}
},
'ContentType': "text/CSV",
'SplitType': 'Line'
},
TransformOutput={
'S3OutputPath': output_path,
'AssembleWith': 'Line',
},
TransformResources={
'InstanceType': 'ml.m4.xlarge',
'InstanceCount': 1,
},
)
```
Bagian collapsible berikut memberikan contoh kode yang identik dengan SageMaker SDK untuk contoh Python untuk HPO. Ini termasuk untuk kenyamanan Anda.
#### SageMaker SDK untuk Python
Contoh kode HPO berikut menggunakan SageMaker SDK untuk Python.
```
from sagemaker import AutoML
aml = AutoML.attach(auto_ml_job_name='')
aml_best_model = aml.create_model(name='',
candidate=None,
*inference_response_keys**=['probabilities', 'labels'])*
aml_transformer = aml_best_model.transformer(accept='text/csv',
assemble_with='Line',
instance_type='ml.m5.xlarge',
instance_count=1,)
aml_transformer.transform('',
content_type='text/csv',
split_type='Line',
job_name='',
wait=True)
```
# Membuat Job Klasifikasi Gambar menggunakan AutoML API
[Petunjuk berikut menunjukkan cara membuat pekerjaan Amazon SageMaker Autopilot sebagai percobaan percontohan untuk jenis masalah klasifikasi gambar menggunakan SageMaker Referensi API.](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-reference.html)
**catatan**
[Tugas seperti klasifikasi teks dan gambar, peramalan deret waktu, dan penyempurnaan model bahasa besar tersedia secara eksklusif melalui API REST AutoML versi 2.](autopilot-reference.md) Jika bahasa pilihan Anda adalah Python, Anda dapat merujuk ke [AWS SDK untuk Python (Boto3)](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker/client/create_auto_ml_job_v2.html)atau [MLV2 objek Auto](https://sagemaker.readthedocs.io/en/stable/api/training/automlv2.html#sagemaker.automl.automlv2.AutoMLV2) dari Amazon SageMaker Python SDK secara langsung.
Pengguna yang lebih menyukai kenyamanan antarmuka pengguna dapat menggunakan [Amazon SageMaker Canvas](https://docs.aws.amazon.com/sagemaker/latest/dg/canvas-getting-started.html) untuk mengakses model pra-terlatih dan model dasar AI generatif, atau membuat model khusus yang disesuaikan untuk teks tertentu, klasifikasi gambar, kebutuhan peramalan, atau AI generatif.
Anda dapat membuat eksperimen klasifikasi gambar Autopilot secara terprogram dengan memanggil tindakan [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html)API dalam bahasa apa pun yang didukung oleh Amazon Autopilot atau. SageMaker AWS CLI
Untuk informasi tentang cara tindakan API ini diterjemahkan ke dalam fungsi dalam bahasa pilihan Anda, lihat bagian [Lihat Juga](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#API_CreateAutoMLJobV2_SeeAlso) `CreateAutoMLJobV2` dan pilih SDK. Sebagai contoh, untuk pengguna Python, lihat sintaks permintaan lengkap dari in. `[create\$1auto\$1ml\$1job\$1v2](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html#SageMaker.Client.create_auto_ml_job_v2)` AWS SDK untuk Python (Boto3)
Berikut ini adalah kumpulan parameter permintaan input wajib dan opsional untuk tindakan `CreateAutoMLJobV2` API yang digunakan dalam klasifikasi gambar.
## Parameter yang diperlukan
Saat menelepon `[CreateAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html)` untuk membuat eksperimen Autopilot untuk klasifikasi gambar, Anda harus memberikan nilai berikut:
+ An `[AutoMLJobName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#API_CreateAutoMLJobV2_RequestSyntax)` untuk menentukan nama pekerjaan Anda.
+ Setidaknya satu `[AutoMLJobChannel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html)` `[AutoMLJobInputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLJobInputDataConfig)` untuk menentukan sumber data Anda.
+ Sebuah `[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)` tipe`[ImageClassificationJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ImageClassificationJobConfig.html)`.
+ `[OutputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLOutputDataConfig.html)`Untuk menentukan jalur keluaran Amazon S3 untuk menyimpan artefak pekerjaan AutoML Anda.
+ A `[RoleArn](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html#sagemaker-CreateAutoMLJob-request-RoleArn)` untuk menentukan ARN dari peran yang digunakan untuk mengakses data Anda.
Semua parameter lainnya adalah opsional.
## Parameter opsional
Bagian berikut memberikan rincian beberapa parameter opsional yang dapat Anda berikan ke pekerjaan AutoML klasifikasi gambar Anda.
### Cara menentukan kumpulan data pelatihan dan validasi pekerjaan AutoML
Anda dapat memberikan kumpulan data validasi dan rasio pemisahan data khusus Anda sendiri, atau membiarkan Autopilot membagi kumpulan data secara otomatis.
Setiap [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html)objek (lihat parameter yang diperlukan [Auto MLJob InputDataConfig](https://docs.aws.amazon.com/sagemaker-api/src/AWSSageMakerAPIDoc/build/server-root/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLJobInputDataConfig)) memiliki`ChannelType`, yang dapat diatur ke salah satu `training` atau `validation` nilai yang menentukan bagaimana data akan digunakan saat membangun model pembelajaran mesin.
Setidaknya satu sumber data harus disediakan dan maksimal dua sumber data diperbolehkan: satu untuk data pelatihan dan satu untuk data validasi. Bagaimana Anda membagi data menjadi kumpulan data pelatihan dan validasi tergantung pada apakah Anda memiliki satu atau dua sumber data.
Bagaimana Anda membagi data menjadi kumpulan data pelatihan dan validasi tergantung pada apakah Anda memiliki satu atau dua sumber data.
+ Jika Anda hanya memiliki **satu sumber data**, `ChannelType` diatur ke secara `training` default dan harus memiliki nilai ini.
+ Jika `ValidationFraction` nilai dalam tidak [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSplitConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSplitConfig.html)disetel, 0.2 (20%) data dari sumber ini digunakan untuk validasi secara default.
+ Jika `ValidationFraction` diatur ke nilai antara 0 dan 1, dataset dibagi berdasarkan nilai yang ditentukan, di mana nilai menentukan fraksi dari dataset yang digunakan untuk validasi.
+ Jika Anda memiliki **dua sumber data**, `ChannelType` salah satu `AutoMLJobChannel` objek harus diatur ke`training`, nilai default. Sumber data lainnya harus diatur ke`validation`. `ChannelType` Kedua sumber data harus memiliki format yang sama, baik CSV atau Parket, dan skema yang sama. Anda tidak boleh menetapkan nilai untuk `ValidationFraction` dalam kasus ini karena semua data dari setiap sumber digunakan untuk pelatihan atau validasi. Menyetel nilai ini menyebabkan kesalahan.
### Cara menentukan konfigurasi penerapan model otomatis untuk pekerjaan AutoML
Untuk mengaktifkan penerapan otomatis untuk kandidat model terbaik dari pekerjaan AutoML, sertakan `[ModelDeployConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-ModelDeployConfig)` a dalam permintaan pekerjaan AutoML. Ini akan memungkinkan penerapan model terbaik ke titik akhir SageMaker AI. Di bawah ini adalah konfigurasi yang tersedia untuk kustomisasi.
+ Untuk membiarkan Autopilot menghasilkan nama titik akhir, setel ke. `[AutoGenerateEndpointName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployConfig.html#API_ModelDeployConfig_Contents)` `True`
+ Untuk memberikan nama Anda sendiri untuk titik akhir, atur`[AutoGenerateEndpointName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployConfig.html#API_ModelDeployConfig_Contents) to False and provide a name of your choice in [EndpointName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployConfig.html#API_ModelDeployConfig_Contents)`.
# Format kumpulan data dan metrik objektif untuk klasifikasi gambar
Pada bagian ini kita belajar tentang format yang tersedia untuk kumpulan data yang digunakan dalam klasifikasi gambar serta metrik objektif yang digunakan untuk mengevaluasi kualitas prediktif kandidat model pembelajaran mesin. Metrik yang dihitung untuk kandidat ditentukan menggunakan array [MetricDatum](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_MetricDatum.html)tipe.
## Format kumpulan data
Autopilot mendukung format gambar.png, .jpg, dan .jpeg. Jika dataset Anda berisi semua gambar.png gunakan`image/png`, jika berisi semua gambar.jpg atau .jpeg gunakan`image/jpeg`, dan jika dataset Anda berisi campuran format gambar gunakan. `image/*`
## Metrik obyektif
Daftar berikut berisi nama-nama metrik yang saat ini tersedia untuk mengukur kinerja model untuk klasifikasi gambar.
**`Accuracy`**
Rasio jumlah item yang diklasifikasikan dengan benar dengan jumlah total item yang diklasifikasikan (benar dan salah). Akurasi mengukur seberapa dekat nilai kelas yang diprediksi dengan nilai aktual. Nilai untuk metrik akurasi bervariasi antara nol (0) dan satu (1). Nilai 1 menunjukkan akurasi sempurna, dan 0 menunjukkan ketidakakuratan sempurna.
# Terapkan model Autopilot untuk inferensi waktu nyata
Setelah Anda melatih model Amazon SageMaker Autopilot Anda, Anda dapat mengatur titik akhir dan mendapatkan prediksi secara interaktif. Bagian berikut menjelaskan langkah-langkah untuk menerapkan model Anda ke titik akhir inferensi real-time SageMaker AI untuk mendapatkan prediksi dari model Anda.
## Inferensiasi waktu nyata
Inferensi waktu nyata ideal untuk beban kerja inferensi di mana Anda memiliki persyaratan waktu nyata, interaktif, dan latensi rendah. Bagian ini menunjukkan bagaimana Anda dapat menggunakan inferensi real-time untuk mendapatkan prediksi secara interaktif dari model Anda.
Anda dapat menggunakan SageMaker APIs untuk menyebarkan model secara manual yang menghasilkan metrik validasi terbaik dalam eksperimen Autopilot sebagai berikut.
Atau, Anda dapat memilih opsi penerapan otomatis saat membuat eksperimen Autopilot Anda. Untuk informasi tentang pengaturan penerapan otomatis model, lihat `[ModelDeployConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-ModelDeployConfig)` di parameter permintaan. `[CreateAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#API_CreateAutoMLJobV2_RequestParameters)` Ini menciptakan titik akhir secara otomatis.
**catatan**
Untuk menghindari biaya yang tidak perlu, Anda dapat menghapus titik akhir yang tidak diperlukan dan sumber daya yang dibuat dari penerapan model. Untuk informasi tentang penetapan harga instans menurut Wilayah, lihat [ SageMaker Harga Amazon](https://aws.amazon.com/sagemaker/pricing/).
1. **Dapatkan definisi wadah kandidat**
Dapatkan definisi wadah kandidat dari [InferenceContainers](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidate.html#sagemaker-Type-AutoMLCandidate-InferenceContainers). Definisi kontainer untuk inferensi mengacu pada lingkungan kontainer yang dirancang untuk menerapkan dan menjalankan model SageMaker AI terlatih Anda untuk membuat prediksi.
Contoh AWS CLI perintah berikut menggunakan [DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html) API untuk mendapatkan definisi kandidat untuk kandidat model terbaik.
```
aws sagemaker describe-auto-ml-job-v2 --auto-ml-job-name job-name --region region
```
1. **Daftar kandidat**
Contoh AWS CLI perintah berikut menggunakan [ListCandidatesForAutoMLJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ListCandidatesForAutoMLJob.html)API untuk mencantumkan semua kandidat model.
```
aws sagemaker list-candidates-for-auto-ml-job --auto-ml-job-name --region
```
1. **Buat model SageMaker AI**
Gunakan definisi container dari langkah sebelumnya dan kandidat pilihan Anda untuk membuat model SageMaker AI dengan menggunakan [CreateModel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html)API. Lihat AWS CLI perintah berikut sebagai contoh.
```
aws sagemaker create-model --model-name '' \
--containers [', , ]' \
--execution-role-arn '' --region '
```
1. **Buat konfigurasi titik akhir**
Contoh AWS CLI perintah berikut menggunakan [CreateEndpointConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpointConfig.html)API untuk membuat konfigurasi endpoint.
```
aws sagemaker create-endpoint-config --endpoint-config-name '' \
--production-variants '' \
--region ''
```
1. **Buat titik akhir**
AWS CLI Contoh berikut menggunakan [CreateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpoint.html)API untuk membuat titik akhir.
```
aws sagemaker create-endpoint --endpoint-name '' \
--endpoint-config-name '' \
--region ''
```
Periksa kemajuan penerapan titik akhir Anda dengan menggunakan API. [DescribeEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeEndpoint.html) Lihat AWS CLI perintah berikut sebagai contoh.
```
aws sagemaker describe-endpoint —endpoint-name '' —region
```
Setelah `EndpointStatus` perubahan`InService`, titik akhir siap digunakan untuk inferensi waktu nyata.
1. **Memanggil titik akhir**
Struktur perintah berikut memanggil titik akhir untuk inferensi real-time.
```
aws sagemaker invoke-endpoint --endpoint-name '' \
--region '' --body '' [--content-type] ''
```
# Laporan penjelasan
Amazon SageMaker Autopilot menyediakan laporan penjelasan untuk membantu menjelaskan bagaimana kandidat model terbaik membuat prediksi untuk masalah klasifikasi gambar. Laporan ini dapat membantu insinyur, manajer produk, dan pemangku kepentingan internal lainnya dalam memahami karakteristik model. Baik konsumen maupun regulator mengandalkan transparansi dalam pembelajaran mesin untuk mempercayai dan menafsirkan keputusan yang dibuat berdasarkan prediksi model. Anda dapat menggunakan penjelasan ini untuk mengaudit dan memenuhi persyaratan peraturan, membangun kepercayaan pada model, mendukung pengambilan keputusan manusia, dan men-debug dan meningkatkan kinerja model.
Fungsionalitas penjelasan Autopilot untuk klasifikasi gambar menggunakan pendekatan peta aktivasi kelas visual (CAM) yang menghasilkan peta panas di mana distribusi dan intensitas setiap warna menyoroti area gambar yang paling berkontribusi pada prediksi tertentu. Pendekatan ini bergantung pada komponen utama yang berasal dari implementasi [EIGEN-CAM](https://arxiv.org/ftp/arxiv/papers/2008/2008.00299.pdf).
Autopilot menghasilkan laporan penjelasan sebagai file JSON. Laporan tersebut mencakup rincian analisis yang didasarkan pada dataset validasi. Setiap gambar yang digunakan untuk menghasilkan laporan berisi informasi berikut:
+ `input_image_uri`: URI Amazon S3 ke gambar input yang diambil sebagai input untuk peta panas.
+ `heatmap_image_uri`: URI Amazon S3 ke gambar peta panas yang dihasilkan oleh Autopilot.
+ `predicted_label`: Kelas label diprediksi oleh model terbaik yang dilatih oleh Autopilot.
+ `probability`: Keyakinan yang `predicted_label` diprediksi.
Anda dapat menemukan awalan Amazon S3 untuk artefak penjelasan yang dihasilkan untuk kandidat terbaik dalam menanggapi at. `[DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html)` `[BestCandidate.CandidateProperties.CandidateArtifactLocations.Explainability](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateArtifactLocations.html#sagemaker-Type-CandidateArtifactLocations-Explainability)`
Contoh berikut menggambarkan seperti apa peta panas pada beberapa sampel dari [Oxford-IIit](https://www.robots.ox.ac.uk/~vgg/data/pets/) Pet Dataset. Gambar peta panas menampilkan gradien warna yang menunjukkan kepentingan relatif dari berbagai fitur dalam gambar. Warna merah mewakili daerah dengan kepentingan yang lebih besar dalam memprediksi “predicted\$1label” dari gambar input dibandingkan dengan fitur yang diwakili oleh warna biru.
****
| Input Gambar | Gambar Heatmap |
| --- | --- |
| ![\[Gambar asli seekor anjingnya.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-image-classification-explainability-img1-input.png) | ![\[Seekor kucing dengan peta panas menyoroti daerah dengan kontribusi yang lebih besar pada label yang diprediksi.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-image-classification-explainability-img1-output.png) |
| ![\[Gambar asli kucing.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-image-classification-explainability-img2-input.png) | ![\[Seekor kucing dengan peta panas menyoroti daerah dengan kontribusi yang lebih besar pada label yang diprediksi.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-image-classification-explainability-img2-output.png) |
# Laporan kinerja model
Laporan kualitas model SageMaker AI Amazon (juga disebut sebagai laporan kinerja) memberikan wawasan dan informasi kualitas untuk kandidat model terbaik yang dihasilkan oleh pekerjaan AutoML. Ini termasuk informasi tentang detail pekerjaan, jenis masalah model, fungsi objektif, dan berbagai metrik. Bagian ini merinci konten laporan kinerja untuk masalah klasifikasi gambar dan menjelaskan cara mengakses metrik sebagai data mentah dalam file JSON.
Anda dapat menemukan awalan Amazon S3 untuk artefak laporan kualitas model yang dihasilkan untuk kandidat terbaik dalam menanggapi at. `[DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html)` `[BestCandidate.CandidateProperties.CandidateArtifactLocations.ModelInsights](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateArtifactLocations.html#sagemaker-Type-CandidateArtifactLocations-ModelInsights)`
Laporan kinerja berisi dua bagian:
+ Bagian pertama berisi rincian tentang pekerjaan Autopilot yang menghasilkan model.
+ Bagian kedua berisi laporan kualitas model dengan berbagai metrik kinerja.
## Detail pekerjaan Autopilot
Bagian pertama dari laporan ini memberikan beberapa informasi umum tentang pekerjaan Autopilot yang menghasilkan model. Rincian ini mencakup informasi berikut:
+ Nama kandidat autopilot: Nama kandidat model terbaik.
+ Nama pekerjaan autopilot: Nama pekerjaan.
+ Jenis masalah: Jenis masalah. Dalam kasus kami, *klasifikasi gambar*.
+ Metrik objektif: Metrik objektif yang digunakan untuk mengoptimalkan kinerja model. Dalam kasus kami, *Akurasi*.
+ Arah optimasi: Menunjukkan apakah akan meminimalkan atau memaksimalkan metrik objektif.
## Laporan kualitas model
Informasi kualitas model dihasilkan oleh wawasan model Autopilot. Konten laporan yang dihasilkan bergantung pada jenis masalah yang ditangani. Laporan tersebut menentukan jumlah baris yang termasuk dalam dataset evaluasi dan waktu evaluasi terjadi.
### Tabel metrik
Bagian pertama dari laporan kualitas model berisi tabel metrik. Ini sesuai untuk jenis masalah yang ditangani model.
Gambar berikut adalah contoh tabel metrik yang dihasilkan oleh Autopilot untuk masalah klasifikasi gambar atau teks. Ini menunjukkan nama metrik, nilai, dan standar deviasi.
![\[Contoh laporan metrik klasifikasi gambar atau klasifikasi teks Amazon SageMaker Autopilot.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-multiclass-metrics-report.png)
### Informasi kinerja model grafis
Bagian kedua dari laporan kualitas model berisi informasi grafis untuk membantu Anda mengevaluasi kinerja model. Isi bagian ini tergantung pada jenis masalah yang dipilih.
#### Matriks kebingungan
Matriks kebingungan menyediakan cara untuk memvisualisasikan keakuratan prediksi yang dibuat oleh model untuk klasifikasi biner dan multikelas untuk masalah yang berbeda.
Ringkasan komponen grafik **tingkat positif palsu (FPR) dan tingkat** **positif sejati** (TPR) didefinisikan sebagai berikut.
+ Prediksi yang benar
+ **True positive** (TP): Nilai yang diprediksi adalah 1, dan nilai sebenarnya adalah 1.
+ **Benar negatif** (TN): Nilai yang diprediksi adalah 0, dan nilai sebenarnya adalah 0.
+ Prediksi yang salah
+ **Positif palsu** (FP): Nilai yang diprediksi adalah 1, tetapi nilai sebenarnya adalah 0.
+ **False negative** (FN): Nilai yang diprediksi adalah 0, tetapi nilai sebenarnya adalah 1.
Matriks kebingungan dalam laporan kualitas model berisi yang berikut ini.
+ Jumlah dan persentase prediksi yang benar dan salah untuk label yang sebenarnya
+ Jumlah dan persentase prediksi akurat pada diagonal dari kiri atas ke pojok kanan bawah
+ Jumlah dan persentase prediksi yang tidak akurat pada diagonal dari kanan atas ke sudut kiri bawah
Prediksi yang salah pada matriks kebingungan adalah nilai kebingungan.
Diagram berikut adalah contoh matriks kebingungan untuk masalah klasifikasi multi-kelas. Matriks kebingungan dalam laporan kualitas model berisi yang berikut ini.
+ Sumbu vertikal dibagi menjadi tiga baris yang berisi tiga label aktual yang berbeda.
+ Sumbu horizontal dibagi menjadi tiga kolom yang berisi label yang diprediksi oleh model.
+ Bilah warna memberikan nada yang lebih gelap ke sejumlah besar sampel untuk secara visual menunjukkan jumlah nilai yang diklasifikasikan dalam setiap kategori.
**Dalam contoh di bawah ini, model dengan benar memprediksi 354 nilai aktual untuk label **f**, 1094 nilai untuk label **i** dan 852 nilai untuk label m.** Perbedaan nada menunjukkan bahwa kumpulan data tidak seimbang karena ada lebih banyak label untuk nilai **i** daripada untuk **f** atau **m**.
![\[Contoh matriks kebingungan multiclass Amazon SageMaker Autopilot.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-confusion-matrix-multiclass.png)
Matriks kebingungan dalam laporan kualitas model yang disediakan dapat mengakomodasi maksimum 15 label untuk jenis masalah klasifikasi multikelas. Jika baris yang sesuai dengan label menunjukkan `Nan` nilai, itu berarti kumpulan data validasi yang digunakan untuk memeriksa prediksi model tidak berisi data dengan label tersebut.
# Membuat pekerjaan AutoML untuk klasifikasi teks menggunakan API
[Petunjuk berikut menunjukkan cara membuat pekerjaan Amazon SageMaker Autopilot sebagai percobaan percobaan untuk jenis masalah klasifikasi teks menggunakan SageMaker Referensi API.](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-reference.html)
**catatan**
[Tugas seperti klasifikasi teks dan gambar, peramalan deret waktu, dan fine-tuning model bahasa besar tersedia secara eksklusif melalui API REST AutoML versi 2.](autopilot-reference.md) Jika bahasa pilihan Anda adalah Python, Anda dapat merujuk ke [AWS SDK untuk Python (Boto3)](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker/client/create_auto_ml_job_v2.html)atau [MLV2 objek Auto](https://sagemaker.readthedocs.io/en/stable/api/training/automlv2.html#sagemaker.automl.automlv2.AutoMLV2) dari Amazon SageMaker Python SDK secara langsung.
Pengguna yang lebih menyukai kenyamanan antarmuka pengguna dapat menggunakan [Amazon SageMaker Canvas](https://docs.aws.amazon.com/sagemaker/latest/dg/canvas-getting-started.html) untuk mengakses model pra-terlatih dan model dasar AI generatif, atau membuat model khusus yang disesuaikan untuk teks tertentu, klasifikasi gambar, kebutuhan peramalan, atau AI generatif.
Anda dapat membuat eksperimen klasifikasi teks Autopilot secara terprogram dengan memanggil tindakan [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html)API dalam bahasa apa pun yang didukung oleh Amazon Autopilot atau. SageMaker AWS CLI
Untuk informasi tentang cara tindakan API ini diterjemahkan ke dalam fungsi dalam bahasa pilihan Anda, lihat bagian [Lihat Juga](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#API_CreateAutoMLJobV2_SeeAlso) `CreateAutoMLJobV2` dan pilih SDK. Sebagai contoh, untuk pengguna Python, lihat sintaks permintaan lengkap dari in. `[create\$1auto\$1ml\$1job\$1v2](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html#SageMaker.Client.create_auto_ml_job_v2)` AWS SDK untuk Python (Boto3)
Berikut ini adalah kumpulan parameter permintaan input wajib dan opsional untuk tindakan `CreateAutoMLJobV2` API yang digunakan dalam klasifikasi teks.
## Parameter yang diperlukan
Saat menelepon `[CreateAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html)` untuk membuat eksperimen Autopilot untuk klasifikasi teks, Anda harus memberikan nilai berikut:
+ An `[AutoMLJobName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#API_CreateAutoMLJobV2_RequestSyntax)` untuk menentukan nama pekerjaan Anda.
+ Setidaknya satu `[AutoMLJobChannel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html)` `[AutoMLJobInputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLJobInputDataConfig)` untuk menentukan sumber data Anda.
+ Sebuah `[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)` tipe`[TextClassificationJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TextClassificationJobConfig.html)`.
+ `[OutputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLOutputDataConfig.html)`Untuk menentukan jalur keluaran Amazon S3 untuk menyimpan artefak pekerjaan AutoML Anda.
+ A `[RoleArn](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html#sagemaker-CreateAutoMLJob-request-RoleArn)` untuk menentukan ARN dari peran yang digunakan untuk mengakses data Anda.
Semua parameter lainnya adalah opsional.
## Parameter opsional
Bagian berikut memberikan rincian beberapa parameter opsional yang dapat Anda teruskan ke tugas AutoML klasifikasi teks Anda.
### Cara menentukan kumpulan data pelatihan dan validasi pekerjaan AutoML
Anda dapat memberikan kumpulan data validasi dan rasio pemisahan data khusus Anda sendiri, atau membiarkan Autopilot membagi kumpulan data secara otomatis.
Setiap [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html)objek (lihat parameter yang diperlukan [Auto MLJob InputDataConfig](https://docs.aws.amazon.com/sagemaker-api/src/AWSSageMakerAPIDoc/build/server-root/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLJobInputDataConfig)) memiliki`ChannelType`, yang dapat diatur ke salah satu `training` atau `validation` nilai yang menentukan bagaimana data akan digunakan saat membangun model pembelajaran mesin.
Setidaknya satu sumber data harus disediakan dan maksimal dua sumber data diperbolehkan: satu untuk data pelatihan dan satu untuk data validasi. Bagaimana Anda membagi data menjadi kumpulan data pelatihan dan validasi tergantung pada apakah Anda memiliki satu atau dua sumber data.
Bagaimana Anda membagi data menjadi kumpulan data pelatihan dan validasi tergantung pada apakah Anda memiliki satu atau dua sumber data.
+ Jika Anda hanya memiliki **satu sumber data**, `ChannelType` diatur ke secara `training` default dan harus memiliki nilai ini.
+ Jika `ValidationFraction` nilai dalam tidak [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSplitConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSplitConfig.html)disetel, 0.2 (20%) data dari sumber ini digunakan untuk validasi secara default.
+ Jika `ValidationFraction` diatur ke nilai antara 0 dan 1, dataset dibagi berdasarkan nilai yang ditentukan, di mana nilai menentukan fraksi dari dataset yang digunakan untuk validasi.
+ Jika Anda memiliki **dua sumber data**, `ChannelType` salah satu `AutoMLJobChannel` objek harus diatur ke`training`, nilai default. Sumber data lainnya harus diatur ke`validation`. `ChannelType` Kedua sumber data harus memiliki format yang sama, baik CSV atau Parket, dan skema yang sama. Anda tidak boleh menetapkan nilai untuk `ValidationFraction` dalam kasus ini karena semua data dari setiap sumber digunakan untuk pelatihan atau validasi. Menyetel nilai ini menyebabkan kesalahan.
### Cara menentukan konfigurasi penerapan model otomatis untuk pekerjaan AutoML
Untuk mengaktifkan penerapan otomatis untuk kandidat model terbaik dari pekerjaan AutoML, sertakan `[ModelDeployConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-ModelDeployConfig)` a dalam permintaan pekerjaan AutoML. Ini akan memungkinkan penerapan model terbaik ke titik akhir SageMaker AI. Di bawah ini adalah konfigurasi yang tersedia untuk kustomisasi.
+ Untuk membiarkan Autopilotmenghasilkan nama titik akhir, setel ke. `[AutoGenerateEndpointName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployConfig.html#API_ModelDeployConfig_Contents)` `True`
+ Untuk memberikan nama Anda sendiri untuk titik akhir, atur`[AutoGenerateEndpointName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployConfig.html#API_ModelDeployConfig_Contents) to False and provide a name of your choice in [EndpointName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployConfig.html#API_ModelDeployConfig_Contents)`.
# Format kumpulan data dan metrik objektif untuk klasifikasi teks
Pada bagian ini kita belajar tentang format yang tersedia untuk kumpulan data yang digunakan dalam klasifikasi teks serta metrik yang digunakan untuk mengevaluasi kualitas prediktif kandidat model pembelajaran mesin. Metrik yang dihitung untuk kandidat ditentukan menggunakan array [MetricDatum](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_MetricDatum.html)tipe.
## Format kumpulan data
Autopilot mendukung data tabular yang diformat sebagai file CSV atau sebagai file Parket. Untuk data tabular, setiap kolom berisi fitur dengan tipe data tertentu dan setiap baris berisi pengamatan. Sifat-sifat dari dua format file ini sangat berbeda.
+ **CSV** (comma-separated-values) adalah format file berbasis baris yang menyimpan data dalam teks biasa yang dapat dibaca manusia yang merupakan pilihan populer untuk pertukaran data karena didukung oleh berbagai aplikasi.
+ **Parket** adalah format file berbasis kolom di mana data disimpan dan diproses lebih efisien daripada format file berbasis baris. Ini membuat mereka menjadi pilihan yang lebih baik untuk masalah data besar.
**Tipe data** yang diterima untuk kolom termasuk numerik, kategoris, teks.
Autopilot mendukung pembuatan model pembelajaran mesin pada kumpulan data besar hingga ratusan. GBs Untuk detail tentang batas sumber daya default untuk kumpulan data input dan cara meningkatkannya, lihat kuota [Amazon SageMaker Autopilot](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-quotas.html).
## Metrik obyektif
Daftar berikut berisi nama-nama metrik yang saat ini tersedia untuk mengukur kinerja model untuk klasifikasi teks.
**`Accuracy`**
Rasio jumlah item yang diklasifikasikan dengan benar dengan jumlah total item yang diklasifikasikan (benar dan salah). Akurasi mengukur seberapa dekat nilai kelas yang diprediksi dengan nilai aktual. Nilai untuk metrik akurasi bervariasi antara nol (0) dan satu (1). Nilai 1 menunjukkan akurasi sempurna, dan 0 menunjukkan ketidakakuratan sempurna.
# Terapkan model Autopilot untuk inferensi waktu nyata
Setelah Anda melatih model Amazon SageMaker Autopilot Anda, Anda dapat mengatur titik akhir dan mendapatkan prediksi secara interaktif. Bagian berikut menjelaskan langkah-langkah untuk menerapkan model Anda ke titik akhir inferensi real-time SageMaker AI untuk mendapatkan prediksi dari model Anda.
## Inferensiasi waktu nyata
Inferensi waktu nyata ideal untuk beban kerja inferensi di mana Anda memiliki persyaratan waktu nyata, interaktif, dan latensi rendah. Bagian ini menunjukkan bagaimana Anda dapat menggunakan inferensi real-time untuk mendapatkan prediksi secara interaktif dari model Anda.
Anda dapat menggunakan SageMaker APIs untuk menyebarkan model secara manual yang menghasilkan metrik validasi terbaik dalam eksperimen Autopilot sebagai berikut.
Atau, Anda dapat memilih opsi penerapan otomatis saat membuat eksperimen Autopilot Anda. Untuk informasi tentang pengaturan penerapan otomatis model, lihat `[ModelDeployConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-ModelDeployConfig)` di parameter permintaan. `[CreateAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#API_CreateAutoMLJobV2_RequestParameters)` Ini menciptakan titik akhir secara otomatis.
**catatan**
Untuk menghindari biaya yang tidak perlu, Anda dapat menghapus titik akhir yang tidak diperlukan dan sumber daya yang dibuat dari penerapan model. Untuk informasi tentang penetapan harga instans menurut Wilayah, lihat [ SageMaker Harga Amazon](https://aws.amazon.com/sagemaker/pricing/).
1. **Dapatkan definisi wadah kandidat**
Dapatkan definisi wadah kandidat dari [InferenceContainers](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidate.html#sagemaker-Type-AutoMLCandidate-InferenceContainers). Definisi kontainer untuk inferensi mengacu pada lingkungan kontainer yang dirancang untuk menerapkan dan menjalankan model SageMaker AI terlatih Anda untuk membuat prediksi.
Contoh AWS CLI perintah berikut menggunakan [DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html) API untuk mendapatkan definisi kandidat untuk kandidat model terbaik.
```
aws sagemaker describe-auto-ml-job-v2 --auto-ml-job-name job-name --region region
```
1. **Daftar kandidat**
Contoh AWS CLI perintah berikut menggunakan [ListCandidatesForAutoMLJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ListCandidatesForAutoMLJob.html)API untuk mencantumkan semua kandidat model.
```
aws sagemaker list-candidates-for-auto-ml-job --auto-ml-job-name --region
```
1. **Buat model SageMaker AI**
Gunakan definisi container dari langkah sebelumnya dan kandidat pilihan Anda untuk membuat model SageMaker AI dengan menggunakan [CreateModel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html)API. Lihat AWS CLI perintah berikut sebagai contoh.
```
aws sagemaker create-model --model-name '' \
--containers [', , ]' \
--execution-role-arn '' --region '
```
1. **Buat konfigurasi titik akhir**
Contoh AWS CLI perintah berikut menggunakan [CreateEndpointConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpointConfig.html)API untuk membuat konfigurasi endpoint.
```
aws sagemaker create-endpoint-config --endpoint-config-name '' \
--production-variants '' \
--region ''
```
1. **Buat titik akhir**
AWS CLI Contoh berikut menggunakan [CreateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpoint.html)API untuk membuat titik akhir.
```
aws sagemaker create-endpoint --endpoint-name '' \
--endpoint-config-name '' \
--region ''
```
Periksa kemajuan penerapan titik akhir Anda dengan menggunakan API. [DescribeEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeEndpoint.html) Lihat AWS CLI perintah berikut sebagai contoh.
```
aws sagemaker describe-endpoint —endpoint-name '' —region
```
Setelah `EndpointStatus` perubahan`InService`, titik akhir siap digunakan untuk inferensi waktu nyata.
1. **Memanggil titik akhir**
Struktur perintah berikut memanggil titik akhir untuk inferensi real-time.
```
aws sagemaker invoke-endpoint --endpoint-name '' \
--region '' --body '' [--content-type] ''
```
# Laporan penjelasan
Amazon SageMaker Autopilot menyediakan laporan penjelasan untuk membantu menjelaskan bagaimana kandidat model terbaik membuat prediksi untuk masalah klasifikasi teks. Laporan ini dapat membantu insinyur, manajer produk, dan pemangku kepentingan internal lainnya dalam memahami karakteristik model. Baik konsumen maupun regulator mengandalkan transparansi dalam pembelajaran mesin untuk mempercayai dan menafsirkan keputusan yang dibuat berdasarkan prediksi model. Anda dapat menggunakan penjelasan ini untuk mengaudit dan memenuhi persyaratan peraturan, membangun kepercayaan pada model, mendukung pengambilan keputusan manusia, dan men-debug dan meningkatkan kinerja model.
*Fungsionalitas penjelasan Autopilot untuk klasifikasi teks menggunakan metode atribusi aksiomatik Gradien Terpadu.* Pendekatan ini bergantung pada implementasi [Atribusi Aksiomatik](https://arxiv.org/pdf/1703.01365.pdf) untuk Jaringan Dalam.
Autopilot menghasilkan laporan penjelasan sebagai file JSON. Laporan tersebut mencakup rincian analisis yang didasarkan pada dataset validasi. Setiap sampel yang digunakan untuk menghasilkan laporan berisi informasi berikut:
+ `text`: Konten teks masukan dijelaskan.
+ `token_scores`: Daftar skor untuk setiap token dalam teks.
+
+ `attribution`: Skor yang menggambarkan pentingnya token.
+ `description.partial_text`: Substring sebagian yang mewakili token.
+ `predicted_label`: Kelas label diprediksi oleh kandidat model terbaik.
+ `probability`: Keyakinan yang `predicted_label` diprediksi.
Anda dapat menemukan awalan Amazon S3 untuk artefak penjelasan yang dihasilkan untuk kandidat terbaik dalam menanggapi at. `[DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html)` `[BestCandidate.CandidateProperties.CandidateArtifactLocations.Explainability](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateArtifactLocations.html#sagemaker-Type-CandidateArtifactLocations-Explainability)`
Berikut ini adalah contoh konten analisis yang dapat Anda temukan di artefak penjelasan.
```
{
"text": "It was a fantastic movie!",
"predicted_label": 2,
"probability": 0.9984835,
"token_scores": [
{
"attribution": 0,
"description": {
"partial_text": "It"
}
},
{
"attribution": -0.022447118861679088,
"description": {
"partial_text": "was"
}
},
{
"attribution": -0.2164326456817965,
"description": {
"partial_text": "a"
}
},
{
"attribution": 0.675,
"description": {
"partial_text": "fantastic"
}
},
{
"attribution": 0.416,
"description": {
"partial_text": "movie!"
}
}
]
}
```
Dalam sampel laporan JSON ini, fungsionalitas penjelasan mengevaluasi teks `It was a fantastic movie!` dan menilai kontribusi masing-masing tokennya ke label prediksi keseluruhan. Label yang diprediksi adalah`2`, yang merupakan sentimen positif yang kuat, dengan probabilitas 99,85%. Sampel JSON kemudian merinci kontribusi masing-masing token individu terhadap prediksi ini. Misalnya, token `fantastic` memiliki atribusi yang lebih kuat daripada token`was`. Ini adalah token yang berkontribusi paling besar pada prediksi akhir.
# Laporan kinerja model
Laporan kualitas model SageMaker AI Amazon (juga disebut sebagai laporan kinerja) memberikan wawasan dan informasi kualitas untuk kandidat model terbaik yang dihasilkan oleh pekerjaan AutoML. Ini termasuk informasi tentang detail pekerjaan, jenis masalah model, fungsi objektif, dan berbagai metrik. Bagian ini merinci konten laporan kinerja untuk masalah klasifikasi teks dan menjelaskan cara mengakses metrik sebagai data mentah dalam file JSON.
Anda dapat menemukan awalan Amazon S3 untuk artefak laporan kualitas model yang dihasilkan untuk kandidat terbaik dalam menanggapi at. `[DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html)` `[BestCandidate.CandidateProperties.CandidateArtifactLocations.ModelInsights](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateArtifactLocations.html#sagemaker-Type-CandidateArtifactLocations-ModelInsights)`
Laporan kinerja berisi dua bagian:
+ Bagian pertama berisi rincian tentang pekerjaan Autopilot yang menghasilkan model.
+ Bagian kedua berisi laporan kualitas model dengan berbagai metrik kinerja.
## Detail pekerjaan Autopilot
Bagian pertama dari laporan ini memberikan beberapa informasi umum tentang pekerjaan Autopilot yang menghasilkan model. Rincian ini mencakup informasi berikut:
+ Nama kandidat autopilot: Nama kandidat model terbaik.
+ Nama pekerjaan autopilot: Nama pekerjaan.
+ Jenis masalah: Jenis masalah. Dalam kasus kami, *klasifikasi teks*.
+ Metrik objektif: Metrik objektif yang digunakan untuk mengoptimalkan kinerja model. Dalam kasus kami, *Akurasi*.
+ Arah optimasi: Menunjukkan apakah akan meminimalkan atau memaksimalkan metrik objektif.
## Laporan kualitas model
Informasi kualitas model dihasilkan oleh wawasan model Autopilot. Konten laporan yang dihasilkan bergantung pada jenis masalah yang ditangani. Laporan tersebut menentukan jumlah baris yang disertakan dalam dataset evaluasi dan waktu evaluasi terjadi.
### Tabel metrik
Bagian pertama dari laporan kualitas model berisi tabel metrik. Ini sesuai untuk jenis masalah yang ditangani model.
Gambar berikut adalah contoh tabel metrik yang dihasilkan oleh Autopilot untuk masalah klasifikasi gambar atau teks. Ini menunjukkan nama metrik, nilai, dan standar deviasi.
![\[Contoh laporan metrik klasifikasi gambar atau klasifikasi teks Amazon SageMaker Autopilot.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-multiclass-metrics-report.png)
### Informasi kinerja model grafis
Bagian kedua dari laporan kualitas model berisi informasi grafis untuk membantu Anda mengevaluasi kinerja model. Isi bagian ini tergantung pada jenis masalah yang dipilih.
#### Matriks kebingungan
Matriks kebingungan menyediakan cara untuk memvisualisasikan keakuratan prediksi yang dibuat oleh model untuk klasifikasi biner dan multikelas untuk masalah yang berbeda.
Ringkasan komponen grafik **tingkat positif palsu (FPR) dan tingkat** **positif sejati** (TPR) didefinisikan sebagai berikut.
+ Prediksi yang benar
+ **True positive** (TP): Nilai yang diprediksi adalah 1, dan nilai sebenarnya adalah 1.
+ **Benar negatif** (TN): Nilai yang diprediksi adalah 0, dan nilai sebenarnya adalah 0.
+ Prediksi yang salah
+ **Positif palsu** (FP): Nilai yang diprediksi adalah 1, tetapi nilai sebenarnya adalah 0.
+ **False negative** (FN): Nilai yang diprediksi adalah 0, tetapi nilai sebenarnya adalah 1.
Matriks kebingungan dalam laporan kualitas model berisi yang berikut ini.
+ Jumlah dan persentase prediksi yang benar dan salah untuk label yang sebenarnya
+ Jumlah dan persentase prediksi akurat pada diagonal dari kiri atas ke pojok kanan bawah
+ Jumlah dan persentase prediksi yang tidak akurat pada diagonal dari kanan atas ke sudut kiri bawah
Prediksi yang salah pada matriks kebingungan adalah nilai kebingungan.
Diagram berikut adalah contoh matriks kebingungan untuk masalah klasifikasi multi-kelas. Matriks kebingungan dalam laporan kualitas model berisi yang berikut ini.
+ Sumbu vertikal dibagi menjadi tiga baris yang berisi tiga label aktual yang berbeda.
+ Sumbu horizontal dibagi menjadi tiga kolom yang berisi label yang diprediksi oleh model.
+ Bilah warna memberikan nada yang lebih gelap ke sejumlah besar sampel untuk secara visual menunjukkan jumlah nilai yang diklasifikasikan dalam setiap kategori.
**Dalam contoh di bawah ini, model dengan benar memprediksi 354 nilai aktual untuk label **f**, 1094 nilai untuk label **i** dan 852 nilai untuk label m.** Perbedaan nada menunjukkan bahwa kumpulan data tidak seimbang karena ada lebih banyak label untuk nilai **i** daripada untuk **f** atau **m**.
![\[Contoh matriks kebingungan multiclass Amazon SageMaker Autopilot.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-confusion-matrix-multiclass.png)
Matriks kebingungan dalam laporan kualitas model yang disediakan dapat mengakomodasi maksimum 15 label untuk jenis masalah klasifikasi multikelas. Jika baris yang sesuai dengan label menunjukkan `Nan` nilai, itu berarti kumpulan data validasi yang digunakan untuk memeriksa prediksi model tidak berisi data dengan label tersebut.
# Buat pekerjaan AutoML untuk peramalan deret waktu menggunakan API
Peramalan dalam pembelajaran mesin mengacu pada proses memprediksi hasil atau tren masa depan berdasarkan data dan pola historis. Dengan menganalisis data deret waktu lalu dan mengidentifikasi pola yang mendasarinya, algoritma pembelajaran mesin dapat membuat prediksi dan memberikan wawasan berharga tentang perilaku masa depan. Dalam peramalan, tujuannya adalah untuk mengembangkan model yang dapat secara akurat menangkap hubungan antara variabel input dan variabel target dari waktu ke waktu. Ini melibatkan pemeriksaan berbagai faktor seperti tren, musiman, dan pola relevan lainnya dalam data. Informasi yang dikumpulkan kemudian digunakan untuk melatih model pembelajaran mesin. Model terlatih mampu menghasilkan prediksi dengan mengambil data input baru dan menerapkan pola dan hubungan yang dipelajari. Ini dapat memberikan perkiraan untuk berbagai kasus penggunaan, seperti proyeksi penjualan, tren pasar saham, prakiraan cuaca, perkiraan permintaan, dan banyak lagi.
[Petunjuk berikut menunjukkan cara membuat pekerjaan Amazon SageMaker Autopilot sebagai percobaan percontohan untuk jenis masalah peramalan deret waktu menggunakan Referensi API. SageMaker ](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-reference.html)
**catatan**
[Tugas seperti klasifikasi teks dan gambar, peramalan deret waktu, dan fine-tuning model bahasa besar tersedia secara eksklusif melalui API REST AutoML versi 2.](autopilot-reference.md) Jika bahasa pilihan Anda adalah Python, Anda dapat merujuk ke [AWS SDK untuk Python (Boto3)](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker/client/create_auto_ml_job_v2.html)atau [MLV2 objek Auto](https://sagemaker.readthedocs.io/en/stable/api/training/automlv2.html#sagemaker.automl.automlv2.AutoMLV2) dari Amazon SageMaker Python SDK secara langsung.
Pengguna yang lebih menyukai kenyamanan antarmuka pengguna dapat menggunakan [Amazon SageMaker Canvas](https://docs.aws.amazon.com/sagemaker/latest/dg/canvas-getting-started.html) untuk mengakses model pra-terlatih dan model dasar AI generatif, atau membuat model khusus yang disesuaikan untuk teks tertentu, klasifikasi gambar, kebutuhan peramalan, atau AI generatif.
Anda dapat membuat eksperimen peramalan deret waktu Autopilot secara terprogram dengan memanggil API [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html)dalam bahasa apa pun yang didukung oleh Amazon Autopilot atau. SageMaker AWS CLI
Untuk informasi tentang cara tindakan API ini diterjemahkan ke dalam fungsi dalam bahasa pilihan Anda, lihat bagian [Lihat Juga](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#API_CreateAutoMLJobV2_SeeAlso) `CreateAutoMLJobV2` dan pilih SDK. Sebagai contoh, untuk pengguna Python, lihat sintaks permintaan lengkap dari in. `[create\$1auto\$1ml\$1job\$1v2](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html#SageMaker.Client.create_auto_ml_job_v2)` AWS SDK untuk Python (Boto3)
Autopilot melatih beberapa kandidat model dengan deret waktu target Anda, lalu memilih model peramalan optimal untuk metrik objektif tertentu. Ketika kandidat model Anda telah dilatih, Anda dapat menemukan metrik kandidat terbaik dalam menanggapi `[DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html)` at`[BestCandidate](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateProperties.html#sagemaker-Type-CandidateProperties-CandidateMetrics)`.
Bagian berikut menentukan parameter permintaan input wajib dan opsional untuk `CreateAutoMLJobV2` API yang digunakan dalam peramalan deret waktu.
**catatan**
Lihat [Peramalan Seri Waktu notebook dengan Amazon SageMaker Autopilot](https://github.com/aws/amazon-sagemaker-examples/blob/main/autopilot/autopilot_time_series.ipynb) untuk contoh prakiraan deret waktu yang praktis dan praktis. Di buku catatan ini, Anda menggunakan Amazon SageMaker Autopilot untuk melatih model deret waktu dan menghasilkan prediksi menggunakan model terlatih. Notebook ini memberikan instruksi untuk mengambil kumpulan data data historis tabular yang sudah jadi di Amazon S3.
## Prasyarat
Sebelum menggunakan Autopilot untuk membuat eksperimen peramalan deret waktu di SageMaker AI, pastikan untuk:
+ Siapkan kumpulan data deret waktu Anda. Persiapan dataset melibatkan pengumpulan data yang relevan dari berbagai sumber, membersihkan dan menyaringnya untuk menghilangkan noise dan inkonsistensi, dan mengaturnya ke dalam format terstruktur. Lihat [Format kumpulan data deret waktu dan metode pengisian nilai yang hilang](timeseries-forecasting-data-format.md) untuk mempelajari lebih lanjut tentang persyaratan format deret waktu di Autopilot. Secara opsional, Anda dapat melengkapi kumpulan data Anda dengan kalender hari libur nasional negara pilihan Anda untuk menangkap pola terkait. Untuk informasi lebih lanjut tentang kalender liburan, lihat[Kalender hari libur nasional](autopilot-timeseries-forecasting-holiday-calendars.md).
**catatan**
Kami merekomendasikan untuk menyediakan setidaknya 3-5 titik data historis untuk setiap 1 titik data future yang ingin Anda prediksi. Misalnya, untuk memperkirakan 7 hari ke depan (horizon 1 minggu) berdasarkan data harian, latih model Anda pada data historis minimal 21-35 hari. Pastikan untuk menyediakan data yang cukup untuk menangkap pola musiman dan berulang.
+ Tempatkan data deret waktu Anda di bucket Amazon S3.
+ Berikan akses penuh ke bucket Amazon S3 yang berisi data input Anda untuk peran eksekusi SageMaker AI yang digunakan untuk menjalankan eksperimen Anda. Setelah ini selesai, Anda dapat menggunakan ARN dari peran eksekusi ini dalam permintaan API Autopilot.
+ Untuk informasi tentang mengambil peran eksekusi SageMaker AI Anda, lihat[Dapatkan peran eksekusi Anda](sagemaker-roles.md#sagemaker-roles-get-execution-role).
+ Untuk informasi tentang pemberian izin peran eksekusi SageMaker AI untuk mengakses satu atau beberapa bucket spesifik di Amazon S3, lihat Menambahkan Izin Amazon S3 Tambahan ke *Peran* Eksekusi AI di. SageMaker [Buat peran eksekusi](sagemaker-roles.md#sagemaker-roles-create-execution-role)
## Parameter yang diperlukan
Saat menelepon `[CreateAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html)` untuk membuat eksperimen Autopilot untuk peramalan deret waktu, Anda harus memberikan nilai berikut:
+ An `[AutoMLJobName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#API_CreateAutoMLJobV2_RequestSyntax)` untuk menentukan nama pekerjaan Anda. Nama harus bertipe`string`, dan harus memiliki panjang minimal 1 karakter dan panjang maksimum 32.
+ Setidaknya satu `[AutoMLJobChannel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html)` `[AutoMLJobInputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLJobInputDataConfig)` di mana Anda menentukan nama bucket Amazon S3 yang berisi data Anda. Secara opsional, Anda dapat menentukan konten (file CSV atau Parket) dan jenis kompresi (GZip).
+ `[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)`Jenis `[TimeSeriesForecastingJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TimeSeriesForecastingJobConfig.html)` untuk mengonfigurasi pengaturan pekerjaan peramalan deret waktu Anda. Secara khusus, Anda harus menentukan:
+ **Frekuensi** prediksi, yang mengacu pada perincian yang diinginkan (per jam, harian, bulanan, dll) dari perkiraan Anda.
Interval yang valid adalah bilangan bulat diikuti oleh `Y` (Tahun), `M` (Bulan), `W` (Minggu), `D` (Hari), `H` (Jam), dan `min` (Menit). Misalnya, `1D` menunjukkan setiap hari dan `15min` menunjukkan setiap 15 menit. Nilai frekuensi tidak boleh tumpang tindih dengan frekuensi yang lebih besar berikutnya. Misalnya, Anda harus menggunakan frekuensi `1H` alih-alih`60min`.
Nilai yang valid untuk setiap frekuensi adalah sebagai berikut:
+ Menit - 1-59
+ Jam - 1-23
+ Hari - 1-6
+ Minggu - 1-4
+ Bulan - 1-11
+ Tahun - 1
+ **Cakrawala** prediksi dalam perkiraan Anda, yang mengacu pada jumlah langkah waktu yang diprediksi model. Cakrawala ramalan juga disebut panjang prediksi. Cakrawala perkiraan maksimum adalah kurang dari 500 langkah waktu atau 1/4 langkah waktu dalam kumpulan data.
+ A [TimeSeriesConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TimeSeriesConfig.html)di mana Anda menentukan skema kumpulan data Anda untuk memetakan header kolom ke perkiraan Anda dengan menentukan:
+ A`TargetAttributeName`: Kolom yang berisi data historis bidang target yang akan diramalkan.
+ A`TimestampAttributeName`: Kolom yang berisi titik waktu di mana nilai target dari item tertentu dicatat.
+ A`ItemIdentifierAttributeName`: Kolom yang berisi pengidentifikasi item yang ingin Anda prediksi nilai targetnya.
Berikut ini adalah contoh parameter permintaan tersebut. Dalam contoh ini, Anda menyiapkan perkiraan harian untuk jumlah yang diharapkan atau tingkat permintaan item tertentu selama periode 20 hari.
```
"AutoMLProblemTypeConfig": {
"ForecastFrequency": "D",
"ForecastHorizon": 20,
"TimeSeriesConfig": {
"TargetAttributeName": "demand",
"TimestampAttributeName": "timestamp",
"ItemIdentifierAttributeName": "item_id"
},
```
+ `[OutputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLOutputDataConfig.html)`Untuk menentukan jalur keluaran Amazon S3 untuk menyimpan artefak pekerjaan AutoML Anda.
+ A `[RoleArn](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html#sagemaker-CreateAutoMLJob-request-RoleArn)` untuk menentukan ARN dari peran yang digunakan untuk mengakses data Anda. Anda dapat menggunakan ARN dari peran eksekusi yang telah Anda berikan akses ke data Anda.
Semua parameter lainnya adalah opsional. Misalnya, Anda dapat mengatur kuantil perkiraan tertentu, memilih metode pengisian untuk nilai yang hilang dalam kumpulan data, atau menentukan cara menggabungkan data yang tidak sejajar dengan frekuensi perkiraan. Untuk mempelajari cara mengatur parameter tambahan tersebut, lihat[Parameter opsional](#timeseries-forecasting-api-optional-params).
## Parameter opsional
Bagian berikut memberikan rincian beberapa parameter opsional yang dapat Anda berikan ke pekerjaan AutoML perkiraan deret waktu Anda.
### Cara menentukan algoritma
Secara default, pekerjaan Autopilot Anda melatih daftar algoritme yang telah ditentukan sebelumnya pada kumpulan data Anda. Namun, Anda dapat memberikan subset dari pemilihan algoritme default.
Untuk peramalan deret waktu, Anda harus memilih `[TimeSeriesForecastingJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TimeSeriesForecastingJobConfig.html)` sebagai jenis. `[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)`
Kemudian, Anda dapat menentukan array yang dipilih `AutoMLAlgorithms` dalam `AlgorithmsConfig` atribut [CandidateGenerationConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateGenerationConfig.html).
Berikut ini adalah contoh `AlgorithmsConfig` atribut yang mencantumkan tepat tiga algoritma (“cnn-qr”, “nabi”, “arima”) di bidangnya. `AutoMLAlgorithms`
```
{
"[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)": {
"[TimeSeriesForecastingJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TimeSeriesForecastingJobConfig.html)": {
"[CandidateGenerationConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateGenerationConfig.html)": {
"[AlgorithmsConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateGenerationConfig.html#sagemaker-Type-CandidateGenerationConfig-AlgorithmsConfig)":[
{"[AutoMLAlgorithms](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLAlgorithmConfig.html)":["cnn-qr", "prophet", "arima"]}
]
},
},
},
}
```
Untuk daftar algoritme yang tersedia untuk peramalan deret waktu, lihat. [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLAlgorithmConfig.html#sagemaker-Type-AutoMLAlgorithmConfig-AutoMLAlgorithms](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLAlgorithmConfig.html#sagemaker-Type-AutoMLAlgorithmConfig-AutoMLAlgorithms) Untuk detail tentang setiap algoritma, lihat[Dukungan algoritma untuk peramalan deret waktu](timeseries-forecasting-algorithms.md).
### Cara menentukan kuantil kustom
Autopilot melatih 6 kandidat model dengan deret waktu target Anda, kemudian menggabungkan model ini menggunakan metode ansambel susun untuk membuat model peramalan optimal untuk metrik objektif tertentu. Setiap model peramalan Autopilot menghasilkan perkiraan probabilistik dengan menghasilkan perkiraan pada kuantil antara P1 dan P99. Kuantil ini digunakan untuk menjelaskan ketidakpastian perkiraan. Secara default, perkiraan akan dihasilkan untuk 0.1 (`p10`), 0.5 (`p50`), dan 0.9 (`p90`). Anda dapat memilih untuk menentukan kuantil Anda sendiri.
Di Autopilot, Anda dapat menentukan hingga lima kuantil perkiraan dari 0,01 (`p1`) hingga 0,99 (`p99`), dengan penambahan 0,01 atau lebih tinggi dalam atribut. `ForecastQuantiles` [TimeSeriesForecastingJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TimeSeriesForecastingJobConfig.html)
Dalam contoh berikut, Anda menyiapkan perkiraan persentil 10, 25, 50, 75, dan 90 harian untuk kuantitas atau tingkat permintaan barang tertentu yang diharapkan selama periode 20 hari.
```
"AutoMLProblemTypeConfig": {
"ForecastFrequency": "D",
"ForecastHorizon": 20,
"ForecastQuantiles": ["p10", "p25", "p50", "p75", "p90"],
"TimeSeriesConfig": {
"TargetAttributeName": "demand",
"TimestampAttributeName": "timestamp",
"ItemIdentifierAttributeName": "item_id"
},
```
### Cara mengumpulkan data untuk frekuensi perkiraan yang berbeda
Untuk membuat model perkiraan (juga disebut sebagai kandidat model terbaik dari eksperimen Anda), Anda harus menentukan frekuensi perkiraan. Frekuensi perkiraan menentukan frekuensi prediksi dalam perkiraan Anda. Misalnya, perkiraan penjualan bulanan. Model terbaik autopilot dapat menghasilkan perkiraan untuk frekuensi data yang lebih tinggi dari frekuensi di mana data Anda direkam.
Selama pelatihan, Autopilot mengumpulkan data apa pun yang tidak selaras dengan frekuensi perkiraan yang Anda tentukan. Misalnya, Anda mungkin memiliki beberapa data harian tetapi tentukan frekuensi perkiraan mingguan. Autopilot menyelaraskan data harian berdasarkan minggu di mana ia berada. Autopilot kemudian menggabungkannya menjadi rekor tunggal untuk setiap minggu.
Selama agregasi, metode transformasi default adalah menjumlahkan data. Anda dapat mengonfigurasi agregasi saat membuat pekerjaan AutoML Anda `Transformations` di atribut. [TimeSeriesForecastingJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TimeSeriesForecastingJobConfig.html) Metode agregasi yang didukung adalah `sum` (default),,`avg`, `first``min`,`max`. Agregasi hanya didukung untuk kolom target.
Dalam contoh berikut, Anda mengonfigurasi agregasi untuk menghitung rata-rata perkiraan promo individu untuk memberikan nilai perkiraan agregat akhir.
```
"Transformations": {
"Aggregation": {
"promo": "avg"
}
}
```
### Cara menangani nilai yang hilang dalam kumpulan data input Anda
Autopilot menyediakan sejumlah metode pengisian untuk menangani nilai yang hilang di target dan kolom numerik lainnya dari kumpulan data deret waktu Anda. Untuk informasi tentang daftar metode pengisian yang didukung dan logika pengisian yang tersedia, lihat[Tangani nilai yang hilang](timeseries-forecasting-data-format.md#timeseries-missing-values).
Anda mengonfigurasi strategi pengisian Anda dalam `Transformations` atribut [TimeSeriesForecastingJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TimeSeriesForecastingJobConfig.html)saat membuat pekerjaan AutoML Anda.
Untuk mengatur metode pengisian, Anda perlu memberikan pasangan kunci-nilai:
+ Kuncinya adalah nama kolom yang ingin Anda tentukan metode pengisiannya.
+ Nilai yang terkait dengan kunci adalah objek yang mendefinisikan strategi pengisian untuk kolom itu.
Anda dapat menentukan beberapa metode pengisian untuk satu kolom.
Untuk menetapkan nilai tertentu untuk metode pengisian, Anda harus mengatur parameter isian ke nilai metode pengisian yang diinginkan (misalnya`"backfill" : "value"`), dan menentukan nilai pengisian aktual dalam parameter tambahan yang diakhiran dengan “\$1value”. Misalnya, untuk mengatur `backfill` ke nilai`2`, Anda harus menyertakan dua parameter: `"backfill": "value"` dan`"backfill_value":"2"`.
Dalam contoh berikut, Anda menentukan strategi pengisian untuk kolom data yang tidak lengkap, “harga” sebagai berikut: Semua nilai yang hilang antara titik data pertama suatu item dan yang terakhir diatur ke `0` setelah itu semua nilai yang hilang diisi dengan nilai `2` hingga tanggal akhir kumpulan data.
```
"Transformations": {
"Filling": {
"price": {
"middlefill" : "zero",
"backfill" : "value",
"backfill_value": "2"
}
}
}
```
### Cara menentukan metrik objektif
Autopilot menghasilkan metrik akurasi untuk mengevaluasi kandidat model dan membantu Anda memilih mana yang akan digunakan untuk menghasilkan perkiraan. Saat Anda menjalankan eksperimen peramalan deret waktu, Anda dapat memilih AutoML untuk membiarkan Autopilot mengoptimalkan prediktor untuk Anda, atau Anda dapat secara manual memilih algoritme untuk prediktor Anda.
Secara default, Autopilot menggunakan Average Weighted Quantile Loss. Namun, Anda dapat mengonfigurasi metrik objektif saat membuat pekerjaan AutoML Anda di `MetricName` atribut [Auto MLJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobObjective.html) Objective.
Untuk daftar algoritma yang tersedia, lihat[Dukungan algoritma untuk peramalan deret waktu](timeseries-forecasting-algorithms.md).
### Cara memasukkan informasi hari libur nasional ke kumpulan data Anda
Di Autopilot, Anda dapat menggabungkan kumpulan data informasi hari libur nasional yang direkayasa fitur ke deret waktu Anda. Autopilot memberikan dukungan asli untuk kalender liburan lebih dari 250 negara. Setelah Anda memilih negara, Autopilot menerapkan kalender liburan negara tersebut ke setiap item dalam kumpulan data Anda selama pelatihan. Ini memungkinkan model untuk mengidentifikasi pola yang terkait dengan hari libur tertentu.
Anda dapat mengaktifkan featurisasi liburan saat Anda membuat pekerjaan AutoML Anda dengan meneruskan [HolidayConfigAttributes](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_HolidayConfigAttributes.html)objek ke atribut. `HolidayConfig` [TimeSeriesForecastingJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TimeSeriesForecastingJobConfig.html) `HolidayConfigAttributes`Objek berisi `CountryCode` atribut dua huruf yang menentukan negara kalender hari libur nasional yang digunakan untuk menambah kumpulan data deret waktu Anda.
Lihat daftar kalender yang didukung dan kode negara yang sesuai. [Kode Negara](autopilot-timeseries-forecasting-holiday-calendars.md#holiday-country-codes)
### Cara mengaktifkan penyebaran otomatis
Autopilot memungkinkan Anda untuk secara otomatis menerapkan model perkiraan Anda ke titik akhir. Untuk mengaktifkan penerapan otomatis untuk kandidat model terbaik dari pekerjaan AutoML, sertakan `[ModelDeployConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-ModelDeployConfig)` a dalam permintaan pekerjaan AutoML. Ini memungkinkan penerapan model terbaik ke titik akhir SageMaker AI. Di bawah ini adalah konfigurasi yang tersedia untuk kustomisasi.
+ Untuk membiarkan Autopilotmenghasilkan nama titik akhir, setel ke. `[AutoGenerateEndpointName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployConfig.html#API_ModelDeployConfig_Contents)` `True`
+ Untuk memberikan nama Anda sendiri untuk titik akhir, atur`[AutoGenerateEndpointName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployConfig.html#API_ModelDeployConfig_Contents) to False and provide a name of your choice in [EndpointName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployConfig.html#API_ModelDeployConfig_Contents)`.
### Cara mengkonfigurasi AutoML untuk memulai pekerjaan jarak jauh di EMR Tanpa Server untuk kumpulan data besar
Anda dapat mengonfigurasi AutoML job V2 untuk secara otomatis memulai pekerjaan jarak jauh di Amazon EMR Tanpa Server saat sumber daya komputasi tambahan diperlukan untuk memproses kumpulan data besar. Dengan transisi mulus ke EMR Tanpa Server saat diperlukan, pekerjaan AutoML dapat menangani kumpulan data yang sebaliknya akan melebihi sumber daya yang disediakan sebelumnya, tanpa intervensi manual dari Anda. EMR Tanpa Server tersedia untuk jenis masalah tabular dan deret waktu. Sebaiknya siapkan opsi ini untuk kumpulan data deret waktu yang lebih besar dari 30 GB.
Untuk memungkinkan AutoML job V2 Anda secara otomatis beralih ke EMR Tanpa Server untuk kumpulan data besar, Anda perlu menyediakan `EmrServerlessComputeConfig` objek, yang menyertakan bidang, ke permintaan input AutoML job V2. `ExecutionRoleARN` `AutoMLComputeConfig`
`ExecutionRoleARN`Ini adalah ARN dari peran IAM yang memberikan pekerjaan AutoML V2 izin yang diperlukan untuk menjalankan pekerjaan EMR Tanpa Server.
Peran ini harus memiliki hubungan kepercayaan berikut:
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Service": "emr-serverless.amazonaws.com"
},
"Action": "sts:AssumeRole"
}
]
}
```
------
Dan berikan izin untuk:
+ Buat, daftar, dan perbarui aplikasi EMR Tanpa Server.
+ Mulai, daftar, dapatkan, atau batalkan pekerjaan berjalan pada aplikasi EMR Tanpa Server.
+ Tandai EMR Sumber daya tanpa server.
+ Lulus peran IAM ke layanan EMR Tanpa Server untuk dieksekusi.
Dengan memberikan `iam:PassRole` izin, pekerjaan AutoML V2 dapat mengambil peran sementara dan meneruskannya `EMRServerlessRuntimeRole-*` ke layanan EMR Tanpa Server. Ini adalah peran IAM yang digunakan oleh lingkungan eksekusi pekerjaan EMR Tanpa Server untuk mengakses layanan dan sumber daya AWS lain yang diperlukan selama runtime, seperti Amazon S3 untuk akses data CloudWatch , untuk pencatatan, akses ke Katalog Data, atau layanan lain berdasarkan AWS Glue persyaratan beban kerja Anda.
Lihat Peran [runtime Job untuk Amazon EMR Tanpa Server untuk detail tentang izin peran](https://docs.aws.amazon.com/emr/latest/EMR-Serverless-UserGuide/security-iam-runtime-role.html) ini.
Kebijakan IAM yang ditentukan dalam dokumen JSON yang disediakan memberikan izin tersebut:
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [{
"Sid": "EMRServerlessCreateApplicationOperation",
"Effect": "Allow",
"Action": "emr-serverless:CreateApplication",
"Resource": "arn:aws:emr-serverless:*:*:/*",
"Condition": {
"StringEquals": {
"aws:RequestTag/sagemaker:is-canvas-resource": "True",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "EMRServerlessListApplicationOperation",
"Effect": "Allow",
"Action": "emr-serverless:ListApplications",
"Resource": "arn:aws:emr-serverless:*:*:/*",
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "EMRServerlessApplicationOperations",
"Effect": "Allow",
"Action": [
"emr-serverless:UpdateApplication",
"emr-serverless:GetApplication"
],
"Resource": "arn:aws:emr-serverless:*:*:/applications/*",
"Condition": {
"StringEquals": {
"aws:ResourceTag/sagemaker:is-canvas-resource": "True",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "EMRServerlessStartJobRunOperation",
"Effect": "Allow",
"Action": "emr-serverless:StartJobRun",
"Resource": "arn:aws:emr-serverless:*:*:/applications/*",
"Condition": {
"StringEquals": {
"aws:RequestTag/sagemaker:is-canvas-resource": "True",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "EMRServerlessListJobRunOperation",
"Effect": "Allow",
"Action": "emr-serverless:ListJobRuns",
"Resource": "arn:aws:emr-serverless:*:*:/applications/*",
"Condition": {
"StringEquals": {
"aws:ResourceTag/sagemaker:is-canvas-resource": "True",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "EMRServerlessJobRunOperations",
"Effect": "Allow",
"Action": [
"emr-serverless:GetJobRun",
"emr-serverless:CancelJobRun"
],
"Resource": "arn:aws:emr-serverless:*:*:/applications/*/jobruns/*",
"Condition": {
"StringEquals": {
"aws:ResourceTag/sagemaker:is-canvas-resource": "True",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "EMRServerlessTagResourceOperation",
"Effect": "Allow",
"Action": "emr-serverless:TagResource",
"Resource": "arn:aws:emr-serverless:*:*:/*",
"Condition": {
"StringEquals": {
"aws:RequestTag/sagemaker:is-canvas-resource": "True",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "IAMPassOperationForEMRServerless",
"Effect": "Allow",
"Action": "iam:PassRole",
"Resource": "arn:aws:iam::*:role/EMRServerlessRuntimeRole-*",
"Condition": {
"StringEquals": {
"iam:PassedToService": "emr-serverless.amazonaws.com",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
}
]
}
```
------
# Format kumpulan data deret waktu dan metode pengisian nilai yang hilang
Data deret waktu mengacu pada kumpulan pengamatan atau pengukuran yang direkam selama interval waktu yang teratur. Dalam jenis data ini, setiap pengamatan dikaitkan dengan stempel waktu atau periode waktu tertentu, menciptakan urutan titik data yang diurutkan secara kronologis.
Kolom spesifik yang Anda sertakan dalam kumpulan data deret waktu bergantung pada tujuan analisis Anda dan data yang tersedia untuk Anda. Minimal, data deret waktu terdiri dari tabel 3 kolom di mana:
+ Satu kolom berisi pengidentifikasi unik yang ditugaskan ke item individual untuk merujuk nilainya pada saat tertentu.
+ Kolom lain mewakili point-in-time nilai atau **target** untuk mencatat nilai item tertentu pada saat tertentu. Setelah model dilatih pada nilai-nilai target tersebut, kolom target ini berisi nilai-nilai yang diprediksi model pada frekuensi tertentu dalam cakrawala yang ditentukan.
+ Dan kolom stempel waktu disertakan untuk mencatat tanggal dan waktu ketika nilai diukur.
+ Kolom tambahan dapat berisi faktor-faktor lain yang dapat mempengaruhi kinerja perkiraan. Misalnya, dalam kumpulan data deret waktu untuk ritel di mana targetnya adalah penjualan atau pendapatan, Anda mungkin menyertakan fitur yang memberikan informasi tentang unit yang terjual, ID produk, lokasi toko, jumlah pelanggan, tingkat inventaris, serta indikator kovariat seperti data cuaca atau informasi demografis.
**catatan**
Anda dapat menambahkan kumpulan data informasi hari libur nasional yang direkayasa fitur ke deret waktu Anda. Dengan memasukkan liburan dalam model deret waktu Anda, Anda dapat menangkap pola periodik yang dibuat liburan. Ini membantu perkiraan Anda lebih mencerminkan musim yang mendasari data Anda. Untuk informasi tentang kalender yang tersedia per negara, lihat [Kalender hari libur nasional](autopilot-timeseries-forecasting-holiday-calendars.md)
## Format kumpulan data untuk peramalan deret waktu
Autopilot mendukung tipe data numerik, kategoris, teks, dan datetime. Tipe data kolom target harus numerik.
Autopilot mendukung data deret waktu yang diformat sebagai file CSV (default) atau sebagai file Parket.
+ **CSV** (comma-separated-values) adalah format file berbasis baris yang menyimpan data dalam teks biasa yang dapat dibaca manusia yang merupakan pilihan populer untuk pertukaran data karena didukung oleh berbagai aplikasi.
+ **Parket** adalah format file berbasis kolom di mana data disimpan dan diproses lebih efisien daripada format file berbasis baris. Ini membuat mereka menjadi pilihan yang lebih baik untuk masalah data besar.
Untuk informasi selengkapnya tentang batas sumber daya pada kumpulan data deret waktu untuk peramalan di Autopilot, lihat. [Batas sumber daya perkiraan deret waktu untuk Autopilot](timeseries-forecasting-limits.md)
## Tangani nilai yang hilang
Masalah umum dalam data peramalan deret waktu adalah adanya nilai yang hilang. Data Anda mungkin berisi nilai yang hilang karena sejumlah alasan, termasuk kegagalan pengukuran, masalah pemformatan, kesalahan manusia, atau kurangnya informasi untuk direkam. Misalnya, jika Anda memperkirakan permintaan produk untuk toko ritel dan barang terjual habis atau tidak tersedia, tidak akan ada data penjualan untuk dicatat saat barang itu kehabisan stok. Jika cukup umum, nilai yang hilang dapat secara signifikan memengaruhi akurasi model.
Autopilot menyediakan sejumlah metode pengisian untuk menangani nilai yang hilang, dengan pendekatan berbeda untuk kolom target dan kolom tambahan lainnya. Pengisian adalah proses menambahkan nilai standar ke entri yang hilang dalam kumpulan data Anda.
Lihat [Cara menangani nilai yang hilang dalam kumpulan data input Anda](autopilot-create-experiment-timeseries-forecasting.md#timeseries-forecasting-fill-missing-values) untuk mempelajari cara mengatur metode untuk mengisi nilai yang hilang dalam kumpulan data deret waktu Anda.
Autopilot mendukung metode pengisian berikut:
+ **Pengisian depan: Mengisi** nilai yang hilang antara titik data tercatat paling awal di antara semua item dan titik awal setiap item (setiap item dapat dimulai pada waktu yang berbeda). Ini memastikan bahwa data untuk setiap item lengkap dan mencakup dari titik data yang direkam paling awal ke titik awal masing-masing.
+ **Pengisian tengah: Mengisi** nilai yang hilang antara tanggal mulai dan akhir item dalam kumpulan data.
+ **Pengisian kembali: Mengisi** nilai yang hilang antara titik data terakhir dari setiap item (setiap item dapat berhenti pada waktu yang berbeda) dan titik data terakhir yang direkam di antara semua item.
+ **Pengisian di masa depan: Mengisi** nilai yang hilang antara titik data terakhir yang direkam di antara semua item dan akhir cakrawala perkiraan.
Gambar berikut memberikan representasi visual dari metode pengisian yang berbeda.
![\[Metode pengisian yang berbeda untuk peramalan deret waktu di Amazon SageMaker Autopilot.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-forecast-filling-methods.png)
### Pilih logika pengisian
Saat memilih logika pengisian, Anda harus mempertimbangkan bagaimana logika akan ditafsirkan oleh model Anda. Misalnya, dalam skenario ritel, mencatat 0 penjualan barang yang tersedia berbeda dengan mencatat 0 penjualan barang yang tidak tersedia, karena yang terakhir tidak menyiratkan kurangnya minat pelanggan pada item tersebut. Karena itu, `0` mengisi kolom target deret waktu dapat menyebabkan prediktor menjadi kurang bias dalam prediksinya, sementara `NaN` pengisian mungkin mengabaikan kejadian aktual dari 0 item yang tersedia yang dijual dan menyebabkan prediktor menjadi terlalu bias.
### Mengisi logika
Anda dapat melakukan pengisian pada kolom target dan kolom numerik lainnya dalam kumpulan data Anda. Kolom target memiliki pedoman dan batasan pengisian yang berbeda dari kolom numerik lainnya.
Pedoman Pengisian
| Tipe kolom | Mengisi secara default? | Metode pengisian yang didukung | Logika pengisian default | Logika pengisian yang diterima |
| --- | --- | --- | --- | --- |
| Kolom target | Ya | Isi tengah dan belakang | 0 | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/timeseries-forecasting-data-format.html) |
| Kolom numerik lainnya | Tidak | Pengisian tengah, belakang, dan future | Tidak ada default | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/timeseries-forecasting-data-format.html) |
**catatan**
Untuk target dan kolom numerik lainnya,, `mean``median`,`min`, dan `max` dihitung berdasarkan jendela bergulir dari 64 entri data terbaru sebelum nilai yang hilang.
# Kalender hari libur nasional
Autopilot mendukung kumpulan data informasi hari libur nasional yang direkayasa fitur yang menyediakan akses ke kalender liburan lebih dari 250 negara. Fitur kalender liburan sangat berguna dalam domain ritel, di mana hari libur nasional dapat secara signifikan mempengaruhi permintaan. Bagian berikut mencantumkan kode negara yang dapat Anda gunakan untuk mengakses kalender liburan setiap negara yang didukung.
Lihat [Cara memasukkan informasi hari libur nasional ke kumpulan data Anda](autopilot-create-experiment-timeseries-forecasting.md#timeseries-forecasting-add-holiday-calendar) untuk mempelajari cara menambahkan kalender ke kumpulan data Anda.
## Kode Negara
Autopilot memberikan dukungan asli untuk kalender hari libur umum dari negara-negara berikut. Gunakan **Kode Negara** saat menentukan negara dengan API.
| Negara | Kode Negara |
| --- | --- |
| Afghanistan | AF |
| Kepulauan Åland | AX |
| Albania | AL |
| Aljazair | DZ |
| Samoa Amerika | AS |
| Andorra | AD |
| Angola | AO |
| Anguilla | AI |
| Antartika | AQ |
| Antigua dan Barbuda | AG |
| Argentina | AR |
| Armenia | AM |
| Aruba | AW |
| Australia | AU |
| Austria | AT |
| Azerbaijan | AZ |
| Bahama | BS |
| Bahrain | BH |
| Bangladesh | BD |
| Barbados | BB |
| Belarus | BY |
| Belgium | BE |
| Belize | BZ |
| Benin | BJ |
| Bermuda | BM |
| Bhutan | BT |
| Bolivia | BO |
| Bosnia dan Herzegovina | BA |
| Botswana | BW |
| Pulau Bouvet | BV |
| Brazil | BR |
| Wilayah Samudra Hindia Britania | IO |
| Kepulauan Virgin Britania | VG |
| Brunei Darussalam | BN |
| Bulgaria | BG |
| Burkina Faso | BF |
| Burundi | BI |
| Kamboja | KH |
| Kamerun | CM |
| Kanada | CA |
| Tanjung Verde | CV |
| Karibia Belanda | BQ |
| Kepulauan Cayman | KY |
| Republik Afrika Tengah | CF |
| Chad | TD |
| Chili | CL |
| Tiongkok | CN |
| Pulau Natal | CX |
| Kepulauan Cocos (Keeling) | CC |
| Kolombia | CO |
| Komoro | KM |
| Kepulauan Cook | CK |
| Kosta Rika | CR |
| Kroasia | HR |
| Kuba | CU |
| Curacao | CW |
| Cyprus | CY |
| Ceko | CZ |
| Republik Demokrasi Kongo | CD |
| Denmark | DK |
| Djibouti | DJ |
| Dominika | DM |
| Republik Dominika | DO |
| Ekuador | EC |
| Mesir | EG |
| El Salvador | SV |
| Guinea Khatulistiwa | GQ |
| Eritrea | ER |
| Estonia | EE |
| Eswatini | SZ |
| Etiopia | ET |
| Kepulauan Falkland | FK |
| Kepulauan Faroe | FO |
| Fiji | FJ |
| Finland | FI |
| France | FR |
| Guyana Prancis | GF |
| Polinesia Prancis | PF |
| Wilayah Selatan Prancis | TF |
| Gabon | GA |
| Gambia | GM |
| Georgia | GE |
| Germany | DE |
| Ghana | GH |
| Gibraltar | GI |
| Greece | GR |
| Greenland | GL |
| Grenada | GD |
| Guadeloupe | GP |
| Guam | GU |
| Guatemala | GT |
| Guernsey | GG |
| Guinea | GN |
| Guinea-Bissau | GW |
| Guyana | GY |
| Haiti | HT |
| Pulau Heard dan McDonald Kepulauan | HM |
| Honduras | HN |
| Hong Kong | HK |
| Hungary | HU |
| Islandia | IS |
| India | IN |
| Indonesia | ID |
| Iran | IR |
| Irak | IQ |
| Irlandia | IE |
| Pulau Man | IM |
| Israel | IL |
| Italy | IT |
| Pantai Gading | CI |
| Jamaika | JM |
| Jepang | JP |
| Jersey | JE |
| Yordania | JO |
| Kazakstan | KZ |
| Kenya | KE |
| Kiribati | KI |
| Kosovo | XK |
| Kuwait | KW |
| Kirgistan | KG |
| Laos | LA |
| Latvia | LV |
| Libanon | LB |
| Lesotho | LS |
| Liberia | LR |
| Libya | LY |
| Liechtenstein | LI |
| Lithuania | LT |
| Luxembourg | LU |
| Makao | MO |
| Madagaskar | MG |
| Malawi | MW |
| Malaysia | MY |
| Maladewa | MV |
| Mali | ML |
| Malta | MT |
| Kepulauan Marshall | MH |
| Martinik | MQ |
| Mauritania | MR |
| Mauritius | MU |
| Mayotte | YT |
| Meksiko | MX |
| Mikronesia | FM |
| Moldova | MD |
| Monako | MC |
| Mongolia | MN |
| Montenegro | ME |
| Montserrat | MS |
| Maroko | MA |
| Mozambik | MZ |
| Myanmar | MM |
| Namibia | NA |
| Nauru | NR |
| Nepal | NP |
| Belanda | NL |
| Kaledonia Baru | NC |
| Selandia Baru | NZ |
| Nikaragua | NI |
| Niger | NE |
| Nigeria | NG |
| Niue | NU |
| Pulau Norfolk | NF |
| Korea Utara | KP |
| Makedonia Utara | MK |
| Kepulauan Mariana Utara | MP |
| Norwegia | NO |
| Oman | OM |
| Pakistan | PK |
| Palau | PW |
| Palestina | PS |
| Panama | PA |
| Papua Nugini | PG |
| Paraguay | PY |
| Peru | PE |
| Filipina | PH |
| Kepulauan Pitcairn | PN |
| Poland | PL |
| Portugal | PT |
| Puerto Riko | PR |
| Qatar | QA |
| Republik Kongo | CG |
| Reuni | RE |
| Romania | RO |
| Federasi Rusia | RU |
| Rwanda | RW |
| Santo Barthélemy | BL |
| “Saint Helena, Kenaikan dan Tristan da Cunha” | SH |
| Saint Kitts dan Nevis | KN |
| Saint Lucia | LC |
| Santo Martin | MF |
| Saint Pierre dan Miquelon | PM |
| Saint Vincent dan Grenadines | VC |
| Samoa | WS |
| San Marino | SM |
| Sao Tome dan Principe | ST |
| Arab Saudi | SA |
| Senegal | SN |
| Serbia | RS |
| Seychelles | SC |
| Sierra Leone | SL |
| Singapura | SG |
| Sint Maarten | SX |
| Slovakia | SK |
| Slovenia | SI |
| Kepulauan Solomon | SB |
| Somalia | SO |
| Afrika Selatan | ZA |
| Georgia Selatan dan Kepulauan Sandwich Selatan | GS |
| Korea Selatan | KR |
| Sudan Selatan | SS |
| Spain | ES |
| Sri Lanka | LK |
| Sudan | SD |
| Suriname | SR |
| Svalbard dan Jan Mayen | SJ |
| Sweden | SE |
| Swiss | CH |
| Republik Arab Suriah | SY |
| Taiwan | TW |
| Tajikistan | TJ |
| Tanzania | TZ |
| Thailand | TH |
| Timor-Leste | TL |
| Togo | TG |
| Tokelau | TK |
| Tonga | TO |
| Trinidad dan Tobago | TT |
| Tunisia | TN |
| Turki | TR |
| Turkmenistan | TM |
| Kepulauan Turks dan Caicos | TC |
| Tuvalu | TV |
| Uganda | UG |
| Ukraina | UA |
| Uni Emirat Arab | AE |
| Britania Raya | UK |
| Perserikatan Bangsa-Bangsa | UN |
| Amerika Serikat | US |
| Kepulauan Terluar Kecil Amerika Serikat | UM |
| Kepulauan Virgin Amerika Serikat | VI |
| Uruguay | UY |
| Uzbekistan | UZ |
| Vanuatu | VU |
| Kota Vatikan | VA |
| Venezuela | VE |
| Vietnam | VN |
| Wallis dan Futuna | WF |
| Sahara Barat | EH |
| Yaman | YE |
| Zambia | ZM |
| Zimbabwe | ZW |
# Metrik obyektif
Autopilot menghasilkan metrik akurasi untuk mengevaluasi kandidat model dan membantu Anda memilih mana yang akan digunakan untuk menghasilkan perkiraan. Anda dapat membiarkan Autopilot mengoptimalkan prediktor untuk Anda, atau Anda dapat secara manual memilih algoritme untuk prediktor Anda. Secara default, Autopilot menggunakan Average Weighted Quantile Loss.
Daftar berikut berisi nama-nama metrik yang saat ini tersedia untuk mengukur kinerja model untuk peramalan deret waktu.
**`RMSE`**
Kesalahan kuadrat rata-rata akar (RMSE) - Mengukur akar kuadrat dari perbedaan kuadrat antara nilai prediksi dan aktual, dan dirata-ratakan pada semua nilai. Ini adalah metrik penting untuk menunjukkan adanya kesalahan model besar dan outlier. Nilai berkisar dari nol (0) hingga tak terhingga, dengan angka yang lebih kecil menunjukkan kecocokan model yang lebih baik dengan data. RMSE tergantung pada skala, dan tidak boleh digunakan untuk membandingkan kumpulan data dengan ukuran yang berbeda.
**`wQL`**
Weighted Quantile Loss (wQL) — Menilai keakuratan perkiraan dengan mengukur perbedaan absolut tertimbang antara kuantil P10, P50, dan P90 yang diprediksi dan aktual dengan nilai yang lebih rendah yang menunjukkan kinerja yang lebih baik.
**`Average wQL (default)`**
Rata-rata Kehilangan Kuantil Tertimbang (Rata-rata wQL) - Mengevaluasi perkiraan dengan rata-rata akurasi pada kuantil P10, P50, dan P90. Nilai yang lebih rendah menunjukkan model yang lebih akurat.
**`MASE`**
Mean Absolute Scaled Error (MASE) — Kesalahan absolut rata-rata dari perkiraan dinormalisasi oleh kesalahan absolut rata-rata dari metode peramalan dasar sederhana. Nilai yang lebih rendah menunjukkan model yang lebih akurat, di mana MASE < 1 is estimated to be better than the baseline and MASE > 1 diperkirakan lebih buruk daripada baseline.
**`MAPE`**
Mean Absolute Percent Error (MAPE) — Persentase kesalahan (perbedaan persen dari nilai perkiraan rata-rata versus nilai aktual) dirata-ratakan pada semua titik waktu. Nilai yang lebih rendah menunjukkan model yang lebih akurat, di mana MAPE = 0 adalah model tanpa kesalahan.
**`WAPE`**
Weighted Absolute Percent Error (WAPE) — Jumlah kesalahan absolut yang dinormalisasi dengan jumlah target absolut, yang mengukur deviasi keseluruhan nilai yang diperkirakan dari nilai yang diamati. Nilai yang lebih rendah menunjukkan model yang lebih akurat.
# Dukungan algoritma untuk peramalan deret waktu
Autopilot melatih enam algoritma bawaan berikut dengan deret waktu target Anda. Kemudian, dengan menggunakan metode ansambel susun, ini menggabungkan kandidat model ini untuk membuat model peramalan yang optimal untuk metrik objektif tertentu.
+ **Convolutional Neural Network - Quantile Regression (CNN-QR) - CNN-QR** adalah algoritma pembelajaran mesin eksklusif untuk meramalkan deret waktu menggunakan jaringan saraf konvolusional kausal (). CNNs CNN-QR bekerja paling baik dengan kumpulan data besar yang berisi ratusan deret waktu.
+ **DeepAR\$1** — DeepAR\$1 adalah algoritma pembelajaran mesin eksklusif untuk memperkirakan deret waktu menggunakan jaringan saraf berulang (). RNNs DeepAR\$1 bekerja paling baik dengan kumpulan data besar yang berisi ratusan deret waktu fitur.
+ **Prophet** [— Prophet](https://facebook.github.io/prophet/) adalah model deret waktu struktural Bayesian lokal yang populer berdasarkan model aditif di mana tren non-linier cocok dengan musim tahunan, mingguan, dan harian. Algoritma Autopilot Prophet menggunakan [kelas Nabi](https://facebook.github.io/prophet/docs/quick_start.html#python-ap) dari implementasi Python Nabi. Ini bekerja paling baik dengan deret waktu dengan efek musiman yang kuat dan beberapa musim data historis.
+ **Non-Parametric Time Series (NPTS)** — Algoritma kepemilikan NPTS adalah peramal dasar probabilistik yang dapat diskalakan. Ini memprediksi distribusi nilai future dari deret waktu tertentu dengan mengambil sampel dari pengamatan sebelumnya. NPTS sangat berguna saat bekerja dengan deret waktu yang jarang atau intermiten.
+ **Autoregressive Integrated Moving Average (ARIMA) — ARIMA** adalah algoritma statistik yang umum digunakan untuk peramalan deret waktu. Algoritma menangkap struktur temporal standar (organisasi berpola waktu) dalam dataset input. Ini sangat berguna untuk kumpulan data sederhana dengan deret waktu di bawah 100.
+ **Exponential Smoothing (ETS)** — ETS adalah algoritma statistik yang umum digunakan untuk peramalan deret waktu. Algoritma ini sangat berguna untuk kumpulan data sederhana dengan deret waktu di bawah 100, dan kumpulan data dengan pola musiman. ETS menghitung rata-rata tertimbang atas semua pengamatan dalam kumpulan data deret waktu sebagai prediksinya, dengan bobot yang menurun secara eksponensial dari waktu ke waktu.
# Forecast model Autopilot yang digunakan
Setelah melatih model Anda menggunakan AutoML API, Anda dapat menerapkannya untuk peramalan real-time atau berbasis batch.
AutoML API melatih beberapa kandidat model untuk data deret waktu Anda dan memilih model peramalan optimal berdasarkan metrik sasaran target Anda. Setelah kandidat model Anda dilatih, Anda dapat menemukan kandidat terbaik dalam respons [DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html) di [BestCandidate](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidate.html#sagemaker-Type-AutoMLCandidate-CandidateName).
Untuk mendapatkan prediksi menggunakan model berkinerja terbaik ini, Anda dapat mengatur titik akhir untuk mendapatkan perkiraan secara interaktif atau menggunakan perkiraan batch untuk membuat prediksi pada batch pengamatan.
**Pertimbangan-pertimbangan**
+ Saat memberikan data input untuk peramalan, skema data Anda harus tetap sama dengan yang digunakan untuk melatih model Anda, termasuk jumlah kolom, header kolom, dan tipe data. Anda dapat memperkirakan item yang ada atau baru IDs dalam rentang waktu yang sama atau berbeda untuk memprediksi periode waktu yang berbeda.
+ Model peramalan memprediksi titik horizon perkiraan di masa depan yang ditentukan dalam permintaan input saat pelatihan, yaitu dari tanggal akhir *target hingga tanggal akhir* *target\$1cakrawala perkiraan*. Untuk menggunakan model untuk memprediksi tanggal tertentu, Anda harus memberikan data dalam format yang sama dengan data input asli, memperpanjang hingga tanggal *akhir target* yang ditentukan. Dalam skenario ini, model akan mulai memprediksi dari tanggal akhir target baru.
Misalnya, jika dataset Anda memiliki data bulanan dari Januari hingga Juni dengan cakrawala Forecast 2, maka model akan memprediksi nilai target untuk 2 bulan ke depan, yaitu Juli dan Agustus. Jika pada bulan Agustus, Anda ingin memprediksi untuk 2 bulan ke depan, kali ini data input Anda harus dari Januari hingga Agustus dan model akan memprediksi untuk 2 bulan ke depan (September, Oktober).
+ Saat memperkirakan titik data future, tidak ada minimum yang ditetapkan untuk jumlah data historis yang akan disediakan. Sertakan data yang cukup untuk menangkap pola musiman dan berulang dalam deret waktu Anda.
**Topics**
+ [
# Peramalan waktu nyata
](timeseries-forecasting-realtime.md)
+ [
# Peramalan Batch
](timeseries-forecasting-batch.md)
# Peramalan waktu nyata
Peramalan waktu nyata berguna ketika Anda perlu menghasilkan prediksi on-the-fly, seperti untuk aplikasi yang memerlukan tanggapan segera atau saat memperkirakan titik data individual.
Dengan menerapkan model AutoML Anda sebagai titik akhir waktu nyata, Anda dapat menghasilkan perkiraan sesuai permintaan dan meminimalkan latensi antara menerima data baru dan mendapatkan prediksi. Ini membuat peramalan waktu nyata cocok untuk aplikasi yang membutuhkan kemampuan peramalan langsung, dipersonalisasi, atau didorong oleh peristiwa.
Untuk peramalan waktu nyata, kumpulan data harus menjadi bagian dari kumpulan data input. Titik akhir waktu nyata memiliki ukuran data input sekitar 6MB dan batasan batas waktu respons 60 detik. Kami merekomendasikan membawa satu atau beberapa item sekaligus.
Anda dapat menggunakan SageMaker APIs untuk mengambil kandidat terbaik dari pekerjaan AutoML dan kemudian membuat titik akhir AI SageMaker menggunakan kandidat tersebut.
Atau, Anda dapat memilih opsi penerapan otomatis saat membuat eksperimen Autopilot Anda. Untuk informasi tentang pengaturan penerapan otomatis model, lihat[Cara mengaktifkan penyebaran otomatis](autopilot-create-experiment-timeseries-forecasting.md#timeseries-forecasting-auto-model-deployment).
**Untuk membuat titik akhir SageMaker AI menggunakan kandidat model terbaik Anda:**
1.
**Ambil detail pekerjaan AutoML.**
Contoh AWS CLI perintah berikut menggunakan [DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html) API untuk mendapatkan rincian pekerjaan AutoML, termasuk informasi tentang kandidat model terbaik.
```
aws sagemaker describe-auto-ml-job-v2 --auto-ml-job-name job-name --region region
```
1.
**Ekstrak definisi wadah dari [InferenceContainers](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidate.html#sagemaker-Type-AutoMLCandidate-InferenceContainers)untuk kandidat model terbaik.**
Definisi kontainer adalah lingkungan kontainer yang digunakan untuk menampung model SageMaker AI terlatih untuk membuat prediksi.
```
BEST_CANDIDATE=$(aws sagemaker describe-auto-ml-job-v2 \
--auto-ml-job-name job-name
--region region \
--query 'BestCandidate.InferenceContainers[0]' \
--output json
```
Perintah ini mengekstrak definisi wadah untuk kandidat model terbaik dan menyimpannya dalam `BEST_CANDIDATE` variabel.
1.
**Buat model SageMaker AI menggunakan definisi kontainer kandidat terbaik.**
Gunakan definisi container dari langkah sebelumnya untuk membuat model SageMaker AI dengan menggunakan [CreateModel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html)API.
```
aws sagemaker create-model \
--model-name 'your-candidate-name>' \
--primary-container "$BEST_CANDIDATE"
--execution-role-arn 'execution-role-arn>' \
--region 'region>
```
`--execution-role-arn`Parameter menentukan peran IAM yang diasumsikan SageMaker AI saat menggunakan model untuk inferensi. Untuk detail tentang izin yang diperlukan untuk peran ini, lihat [CreateModel API: Izin Peran Eksekusi](https://docs.aws.amazon.com/).
1.
**Buat konfigurasi titik akhir SageMaker AI menggunakan model.**
AWS CLI Perintah berikut menggunakan [CreateEndpointConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpointConfig.html)API untuk membuat konfigurasi endpoint.
```
aws sagemaker create-endpoint-config \
--production-variants file://production-variants.json \
--region 'region'
```
Dimana `production-variants.json` file berisi konfigurasi model, termasuk nama model dan jenis instance.
**catatan**
Sebaiknya gunakan instans [m5.12xlarge](https://aws.amazon.com/ec2/instance-types/m5/) untuk peramalan waktu nyata.
```
[
{
"VariantName": "variant-name",
"ModelName": "model-name",
"InitialInstanceCount": 1,
"InstanceType": "m5.12xlarge"
}
]
}
```
1.
**Buat titik akhir SageMaker AI menggunakan konfigurasi titik akhir.**
AWS CLI Contoh berikut menggunakan [CreateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpoint.html)API untuk membuat titik akhir.
```
aws sagemaker create-endpoint \
--endpoint-name 'endpoint-name>' \
--endpoint-config-name 'endpoint-config-name' \
--region 'region'
```
Periksa kemajuan penerapan titik akhir inferensi real-time Anda dengan menggunakan API. [DescribeEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeEndpoint.html) Lihat AWS CLI perintah berikut sebagai contoh.
```
aws sagemaker describe-endpoint \
--endpoint-name 'endpoint-name' \
--region 'region'
```
Setelah `EndpointStatus` perubahan`InService`, titik akhir siap digunakan untuk inferensi waktu nyata.
1.
**Panggil titik akhir SageMaker AI untuk membuat prediksi.**
```
aws sagemaker invoke-endpoint \
--endpoint-name 'endpoint-name' \
--region 'region' \
--body file://input-data-in-bytes.json \
--content-type 'application/json' outfile
```
Dimana `input-data-in-bytes.json` file berisi data input untuk prediksi.
# Peramalan Batch
Peramalan Batch, juga dikenal sebagai inferensi offline, menghasilkan prediksi model pada batch pengamatan. Inferensi Batch adalah pilihan yang baik untuk kumpulan data besar atau jika Anda tidak memerlukan respons langsung terhadap permintaan prediksi model.
Sebaliknya, inferensi online (inferensi waktu nyata) menghasilkan prediksi secara real time.
Anda dapat menggunakan SageMaker APIs untuk mengambil kandidat terbaik dari pekerjaan AutoML dan kemudian mengirimkan sekumpulan data masukan untuk inferensi menggunakan kandidat tersebut.
1.
**Ambil detail pekerjaan AutoML.**
Contoh AWS CLI perintah berikut menggunakan [DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html) API untuk mendapatkan rincian pekerjaan AutoML, termasuk informasi tentang kandidat model terbaik.
```
aws sagemaker describe-auto-ml-job-v2 --auto-ml-job-name job-name --region region
```
1.
**Ekstrak definisi wadah dari [InferenceContainers](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidate.html#sagemaker-Type-AutoMLCandidate-InferenceContainers)untuk kandidat model terbaik.**
Definisi kontainer adalah lingkungan kontainer yang digunakan untuk menampung model SageMaker AI terlatih untuk membuat prediksi.
```
BEST_CANDIDATE=$(aws sagemaker describe-auto-ml-job-v2 \
--auto-ml-job-name job-name
--region region \
--query 'BestCandidate.InferenceContainers[0]' \
--output json
```
Perintah ini mengekstrak definisi wadah untuk kandidat model terbaik dan menyimpannya dalam `BEST_CANDIDATE` variabel.
1.
**Buat model SageMaker AI menggunakan definisi kontainer kandidat terbaik.**
Gunakan definisi container dari langkah sebelumnya untuk membuat model SageMaker AI dengan menggunakan [CreateModel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html)API.
```
aws sagemaker create-model \
--model-name 'model-name' \
--primary-container "$BEST_CANDIDATE"
--execution-role-arn 'execution-role-arn>' \
--region 'region>
```
`--execution-role-arn`Parameter menentukan peran IAM yang diasumsikan SageMaker AI saat menggunakan model untuk inferensi. Untuk detail tentang izin yang diperlukan untuk peran ini, lihat [CreateModel API: Izin Peran Eksekusi](https://docs.aws.amazon.com/).
1.
**Buat pekerjaan transformasi batch.**
Contoh berikut membuat pekerjaan transformasi menggunakan [CreateTransformJob](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/create-transform-job.html)API.
```
aws sagemaker create-transform-job \
--transform-job-name 'transform-job-name' \
--model-name 'model-name'\
--transform-input file://transform-input.json \
--transform-output file://transform-output.json \
--transform-resources file://transform-resources.json \
--region 'region'
```
Input, output, dan rincian sumber daya didefinisikan dalam file JSON terpisah:
+ `transform-input.json`:
```
{
"DataSource": {
"S3DataSource": {
"S3DataType": "S3Prefix",
"S3Uri": "s3://my-input-data-bucket/path/to/input/data"
}
},
"ContentType": "text/csv",
"SplitType": "None"
}
```
+ `transform-output.json`:
```
{
"S3OutputPath": "s3://my-output-bucket/path/to/output",
"AssembleWith": "Line"
}
```
+ `transform-resources.json`:
**catatan**
Sebaiknya gunakan instans [m5.12xlarge](https://aws.amazon.com/ec2/instance-types/m5/) untuk beban kerja tujuan umum dan instance untuk tugas peramalan data besar. `m5.24xlarge`
```
{
"InstanceType": "instance-type",
"InstanceCount": 1
}
```
1.
**Pantau kemajuan pekerjaan transformasi Anda menggunakan [DescribeTransformJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeTransformJob.html)API.**
Lihat AWS CLI perintah berikut sebagai contoh.
```
aws sagemaker describe-transform-job \
--transform-job-name 'transform-job-name' \
--region region
```
1.
**Ambil output transformasi batch.**
Setelah pekerjaan selesai, hasil prediksi tersedia di`S3OutputPath`.
Nama file output memiliki format berikut:`input_data_file_name.out`. Sebagai contoh, jika file input Anda`text_x.csv`, nama output akan menjadi`text_x.csv.out`.
```
aws s3 ls s3://my-output-bucket/path/to/output/
```
Contoh kode berikut menggambarkan penggunaan AWS SDK untuk Python (boto3) dan for batch forecasting. AWS CLI
------
#### [ AWS SDK for Python (boto3) ]
Contoh berikut menggunakan **AWS SDK untuk Python (boto3**) untuk membuat prediksi dalam batch.
```
import sagemaker
import boto3
session = sagemaker.session.Session()
sm_client = boto3.client('sagemaker', region_name='us-west-2')
role = 'arn:aws:iam::1234567890:role/sagemaker-execution-role'
output_path = 's3://test-auto-ml-job/output'
input_data = 's3://test-auto-ml-job/test_X.csv'
best_candidate = sm_client.describe_auto_ml_job_v2(AutoMLJobName=job_name)['BestCandidate']
best_candidate_containers = best_candidate['InferenceContainers']
best_candidate_name = best_candidate['CandidateName']
# create model
reponse = sm_client.create_model(
ModelName = best_candidate_name,
ExecutionRoleArn = role,
Containers = best_candidate_containers
)
# Lauch Transform Job
response = sm_client.create_transform_job(
TransformJobName=f'{best_candidate_name}-transform-job',
ModelName=model_name,
TransformInput={
'DataSource': {
'S3DataSource': {
'S3DataType': 'S3Prefix',
'S3Uri': input_data
}
},
'ContentType': "text/csv",
'SplitType': 'None'
},
TransformOutput={
'S3OutputPath': output_path,
'AssembleWith': 'Line',
},
TransformResources={
'InstanceType': 'ml.m5.2xlarge',
'InstanceCount': 1,
},
)
```
Pekerjaan inferensi batch mengembalikan respons dalam format berikut.
```
{'TransformJobArn': 'arn:aws:sagemaker:us-west-2:1234567890:transform-job/test-transform-job',
'ResponseMetadata': {'RequestId': '659f97fc-28c4-440b-b957-a49733f7c2f2',
'HTTPStatusCode': 200,
'HTTPHeaders': {'x-amzn-requestid': '659f97fc-28c4-440b-b957-a49733f7c2f2',
'content-type': 'application/x-amz-json-1.1',
'content-length': '96',
'date': 'Thu, 11 Aug 2022 22:23:49 GMT'},
'RetryAttempts': 0}}
```
------
#### [ AWS Command Line Interface (AWS CLI) ]
1. **Dapatkan definisi wadah kandidat terbaik**.
```
aws sagemaker describe-auto-ml-job-v2 --auto-ml-job-name 'test-automl-job' --region us-west-2
```
1. **Buat modelnya**.
```
aws sagemaker create-model --model-name 'test-sagemaker-model'
--containers '[{
"Image": "348316444620.dkr.ecr.us-west-2.amazonaws.com/sagemaker-sklearn-automl:2.5-1-cpu-py3",
"ModelDataUrl": "s3://amzn-s3-demo-bucket/out/test-job1/data-processor-models/test-job1-dpp0-1-e569ff7ad77f4e55a7e549a/output/model.tar.gz",
"Environment": {
"AUTOML_SPARSE_ENCODE_RECORDIO_PROTOBUF": "1",
"AUTOML_TRANSFORM_MODE": "feature-transform",
"SAGEMAKER_DEFAULT_INVOCATIONS_ACCEPT": "application/x-recordio-protobuf",
"SAGEMAKER_PROGRAM": "sagemaker_serve",
"SAGEMAKER_SUBMIT_DIRECTORY": "/opt/ml/model/code"
}
}, {
"Image": "348316444620.dkr.ecr.us-west-2.amazonaws.com/sagemaker-xgboost:1.3-1-cpu-py3",
"ModelDataUrl": "s3://amzn-s3-demo-bucket/out/test-job1/tuning/flicdf10v2-dpp0-xgb/test-job1E9-244-7490a1c0/output/model.tar.gz",
"Environment": {
"MAX_CONTENT_LENGTH": "20971520",
"SAGEMAKER_DEFAULT_INVOCATIONS_ACCEPT": "text/csv",
"SAGEMAKER_INFERENCE_OUTPUT": "predicted_label",
"SAGEMAKER_INFERENCE_SUPPORTED": "predicted_label,probability,probabilities"
}
}, {
"Image": "348316444620.dkr.ecr.us-west-2.amazonaws.com/sagemaker-sklearn-automl:2.5-1-cpu-py3",
"ModelDataUrl": "s3://amzn-s3-demo-bucket/out/test-job1/data-processor-models/test-job1-dpp0-1-e569ff7ad77f4e55a7e549a/output/model.tar.gz",
"Environment": {
"AUTOML_TRANSFORM_MODE": "inverse-label-transform",
"SAGEMAKER_DEFAULT_INVOCATIONS_ACCEPT": "text/csv",
"SAGEMAKER_INFERENCE_INPUT": "predicted_label",
"SAGEMAKER_INFERENCE_OUTPUT": "predicted_label",
"SAGEMAKER_INFERENCE_SUPPORTED": "predicted_label,probability,labels,probabilities",
"SAGEMAKER_PROGRAM": "sagemaker_serve",
"SAGEMAKER_SUBMIT_DIRECTORY": "/opt/ml/model/code"
}
}]' \
--execution-role-arn 'arn:aws:iam::1234567890:role/sagemaker-execution-role' \
--region 'us-west-2'
```
1. **Buat pekerjaan transformasi**.
```
aws sagemaker create-transform-job --transform-job-name 'test-tranform-job'\
--model-name 'test-sagemaker-model'\
--transform-input '{
"DataSource": {
"S3DataSource": {
"S3DataType": "S3Prefix",
"S3Uri": "s3://amzn-s3-demo-bucket/data.csv"
}
},
"ContentType": "text/csv",
"SplitType": "None"
}'\
--transform-output '{
"S3OutputPath": "s3://amzn-s3-demo-bucket/output/",
"AssembleWith": "Line"
}'\
--transform-resources '{
"InstanceType": "ml.m5.2xlarge",
"InstanceCount": 1
}'\
--region 'us-west-2'
```
1. **Periksa kemajuan pekerjaan transformasi**.
```
aws sagemaker describe-transform-job --transform-job-name 'test-tranform-job' --region us-west-2
```
Berikut ini adalah respons dari pekerjaan transformasi.
```
{
"TransformJobName": "test-tranform-job",
"TransformJobArn": "arn:aws:sagemaker:us-west-2:1234567890:transform-job/test-tranform-job",
"TransformJobStatus": "InProgress",
"ModelName": "test-model",
"TransformInput": {
"DataSource": {
"S3DataSource": {
"S3DataType": "S3Prefix",
"S3Uri": "s3://amzn-s3-demo-bucket/data.csv"
}
},
"ContentType": "text/csv",
"CompressionType": "None",
"SplitType": "None"
},
"TransformOutput": {
"S3OutputPath": "s3://amzn-s3-demo-bucket/output/",
"AssembleWith": "Line",
"KmsKeyId": ""
},
"TransformResources": {
"InstanceType": "ml.m5.2xlarge",
"InstanceCount": 1
},
"CreationTime": 1662495635.679,
"TransformStartTime": 1662495847.496,
"DataProcessing": {
"InputFilter": "$",
"OutputFilter": "$",
"JoinSource": "None"
}
}
```
Setelah `TransformJobStatus` perubahan`Completed`, Anda dapat memeriksa hasil inferensi di. `S3OutputPath`
------
# Notebook eksplorasi data Amazon SageMaker Autopilot
Amazon SageMaker Autopilot membersihkan dan memproses kumpulan data Anda secara otomatis. Untuk membantu pengguna memahami data mereka, mengungkap pola, hubungan, dan anomali tentang deret **waktu, SageMaker Amazon Autopilot menghasilkan laporan statis eksplorasi data** dalam bentuk buku catatan untuk referensi pengguna.
Notebook eksplorasi data dihasilkan untuk setiap pekerjaan Autopilot. Laporan disimpan dalam bucket Amazon S3 dan dapat diakses dari jalur output pekerjaan.
Anda dapat menemukan awalan Amazon S3 ke notebook eksplorasi data dalam respons terhadap at. `[DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html)` `[AutoMLJobArtifacts.DataExplorationNotebookLocation](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html#sagemaker-DescribeAutoMLJobV2-response-AutoMLJobArtifacts)`
# Laporan yang dihasilkan oleh Amazon SageMaker Autopilot
Selain notebook eksplorasi data, Autopilot menghasilkan berbagai laporan untuk kandidat model terbaik dari setiap percobaan.
+ Laporan penjelasan memberikan wawasan tentang bagaimana model membuat prakiraan.
+ Laporan kinerja memberikan penilaian kuantitatif kemampuan peramalan model.
+ Laporan hasil backtest dihasilkan setelah menguji kinerja model pada data historis.
## Laporan penjelasan
Laporan penjelasan autopilot membantu Anda lebih memahami bagaimana atribut dalam kumpulan data memengaruhi perkiraan untuk deret waktu tertentu (kombinasi item dan dimensi) dan titik waktu. Autopilot menggunakan metrik yang disebut *Skor dampak* untuk mengukur dampak relatif dari setiap atribut dan menentukan apakah mereka meningkatkan atau menurunkan nilai perkiraan.
Misalnya, pertimbangkan skenario peramalan di mana target berada `sales` dan ada dua atribut terkait: `price` dan`color`. Autopilot mungkin menemukan bahwa warna item memiliki dampak tinggi pada penjualan untuk item tertentu, tetapi efek yang dapat diabaikan untuk item lainnya. Mungkin juga menemukan bahwa promosi di musim panas memiliki dampak tinggi pada penjualan, tetapi promosi di musim dingin memiliki sedikit efek.
Laporan penjelasan dibuat hanya jika:
+ Kumpulan data deret waktu mencakup kolom fitur tambahan atau dikaitkan dengan kalender liburan.
+ Model dasar CNN-QR dan DeepAR\$1 termasuk dalam ansambel akhir.
### Menafsirkan skor Dampak
Skor dampak mengukur atribut dampak relatif terhadap nilai perkiraan. Misalnya, jika `price` atribut memiliki skor dampak yang dua kali lebih besar dari `store location` atribut, Anda dapat menyimpulkan bahwa harga suatu item memiliki dampak dua kali lipat pada nilai perkiraan daripada lokasi penyimpanan.
Skor dampak juga memberikan informasi tentang apakah atribut meningkatkan atau menurunkan nilai perkiraan.
Skor Dampak berkisar dari -1 hingga 1, di mana tanda menunjukkan arah tumbukan. Skor 0 menunjukkan tidak ada dampak, sedangkan skor mendekati 1 atau -1 menunjukkan dampak yang signifikan.
Penting untuk dicatat bahwa Skor dampak mengukur dampak relatif atribut, bukan dampak absolut. Oleh karena itu, skor Dampak tidak dapat digunakan untuk menentukan apakah atribut tertentu meningkatkan akurasi model. Jika atribut memiliki skor Dampak rendah, itu tidak berarti bahwa ia memiliki dampak rendah pada nilai perkiraan; itu berarti bahwa ia memiliki dampak yang lebih rendah pada nilai perkiraan daripada atribut lain yang digunakan oleh prediktor.
### Temukan laporan penjelasan
Anda dapat menemukan awalan Amazon S3 untuk artefak penjelasan yang dihasilkan untuk kandidat terbaik dalam menanggapi at. `[DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html)` `[BestCandidate.CandidateProperties.CandidateArtifactLocations.Explainability](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateArtifactLocations.html#sagemaker-Type-CandidateArtifactLocations-Explainability)`
## Laporan kinerja model
Laporan kualitas model autopilot (juga disebut sebagai laporan kinerja) memberikan wawasan dan informasi kualitas untuk kandidat model terbaik (prediktor terbaik) yang dihasilkan oleh pekerjaan AutoML. Ini termasuk informasi tentang detail pekerjaan, fungsi objektif, dan metrik akurasi (`wQL`,,`MAPE`, `WAPE``RMSE`,`MASE`).
Anda dapat menemukan awalan Amazon S3 untuk artefak laporan kualitas model yang dihasilkan untuk kandidat terbaik dalam menanggapi at. `[DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html)` `[BestCandidate.CandidateProperties.CandidateArtifactLocations.ModelInsights](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateArtifactLocations.html#sagemaker-Type-CandidateArtifactLocations-ModelInsights)`
## Laporan hasil backtests
Hasil backtests memberikan wawasan tentang kinerja model peramalan deret waktu dengan mengevaluasi akurasi dan keandalan prediktifnya. Ini membantu analis dan ilmuwan data menilai kinerjanya pada data historis dan membantu memahami potensi kinerjanya pada data masa depan yang tidak terlihat.
Autopilot menggunakan backtesting untuk menyetel parameter dan menghasilkan metrik akurasi. Selama backtesting, Autopilot secara otomatis membagi data deret waktu Anda menjadi dua set, satu set pelatihan dan satu set pengujian. Set pelatihan digunakan untuk melatih model yang kemudian digunakan untuk menghasilkan perkiraan untuk titik data dalam set pengujian. Autopilot menggunakan dataset pengujian ini untuk mengevaluasi akurasi model dengan membandingkan nilai yang diperkirakan dengan nilai yang diamati dalam set pengujian.
Anda dapat menemukan awalan Amazon S3 untuk artefak laporan kualitas model yang dihasilkan untuk kandidat terbaik dalam menanggapi at. `[DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html)` `[BestCandidate.CandidateProperties.CandidateArtifactLocations.BacktestResults](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateArtifactLocations.html#sagemaker-Type-CandidateArtifactLocations-BacktestResults)`
# Batas sumber daya perkiraan deret waktu untuk Autopilot
Tabel berikut mencantumkan batas sumber daya untuk pekerjaan peramalan deret waktu di Amazon SageMaker Autopilot dan apakah Anda dapat menyesuaikan setiap batas atau tidak.
| **Batas sumber daya** | **Batas default** | **Dapat disesuaikan** |
| --- | --- | --- |
| Ukuran dataset masukan | 30 GB | Ya |
| Ukuran satu file Parket | 2 GB | Tidak |
| Jumlah maksimum baris dalam set data | 3 miliar | Ya |
| Jumlah maksimum kolom pengelompokan | 5 | Tidak |
| Jumlah maksimum fitur numerik | 13 | Tidak |
| Jumlah maksimum fitur kategoris | 10 | Tidak |
| Jumlah maksimum deret waktu (kombinasi unik item dan kolom pengelompokan) per kumpulan data | 5.000.000 | Ya |
| Cakrawala Forecast Maksimum | 500 | Ya |
# Buat pekerjaan AutoML untuk menyempurnakan model pembuatan teks menggunakan API
Model bahasa besar (LLMs) unggul dalam beberapa tugas generatif, termasuk pembuatan teks, ringkasan, penyelesaian, menjawab pertanyaan, dan banyak lagi. Kinerja mereka dapat dikaitkan dengan ukuran signifikan dan pelatihan ekstensif pada kumpulan data yang beragam dan berbagai tugas. Namun, domain tertentu, seperti layanan kesehatan dan keuangan, mungkin memerlukan penyesuaian khusus untuk beradaptasi dengan data unik dan kasus penggunaan. Dengan menyesuaikan pelatihan mereka dengan domain khusus mereka, LLMs dapat meningkatkan kinerja mereka dan memberikan output yang lebih akurat untuk aplikasi yang ditargetkan.
Autopilot menawarkan kemampuan untuk menyempurnakan pilihan model teks generatif yang telah dilatih sebelumnya. Secara khusus, Autopilot mendukung **fine tuning berbasis instruksi** dari pilihan model bahasa besar () tujuan umum yang didukung oleh. LLMs JumpStart
**catatan**
Model pembuatan teks yang mendukung fine-tuning di Autopilot saat ini dapat diakses secara eksklusif di Wilayah yang didukung oleh Canvas. SageMaker Lihat dokumentasi SageMaker Canvas untuk [daftar lengkap Wilayah yang didukung](https://docs.aws.amazon.com/sagemaker/latest/dg/canvas.html).
Penyetelan model yang telah dilatih sebelumnya memerlukan kumpulan data spesifik dari instruksi yang jelas yang memandu model tentang cara menghasilkan output atau berperilaku untuk tugas itu. Model belajar dari kumpulan data, menyesuaikan parameternya agar sesuai dengan instruksi yang diberikan. Penyetelan berbasis instruksi melibatkan penggunaan contoh berlabel yang diformat sebagai pasangan respons prompt dan diungkapkan sebagai instruksi. Untuk informasi selengkapnya tentang fine-tuning, lihat Menyempurnakan [model](https://docs.aws.amazon.com/sagemaker/latest/dg/jumpstart-foundation-models-fine-tuning.html) foundation.
[Pedoman berikut menguraikan proses pembuatan pekerjaan Amazon SageMaker Autopilot sebagai percobaan percontohan untuk menyempurnakan pembuatan teks menggunakan Referensi API. LLMs SageMaker ](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-reference.html)
**catatan**
[Tugas seperti klasifikasi teks dan gambar, peramalan deret waktu, dan fine-tuning model bahasa besar tersedia secara eksklusif melalui API REST AutoML versi 2.](autopilot-reference.md) Jika bahasa pilihan Anda adalah Python, Anda dapat merujuk ke [AWS SDK untuk Python (Boto3)](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker/client/create_auto_ml_job_v2.html)atau [MLV2 objek Auto](https://sagemaker.readthedocs.io/en/stable/api/training/automlv2.html#sagemaker.automl.automlv2.AutoMLV2) dari Amazon SageMaker Python SDK secara langsung.
Pengguna yang lebih menyukai kenyamanan antarmuka pengguna dapat menggunakan [Amazon SageMaker Canvas](https://docs.aws.amazon.com/sagemaker/latest/dg/canvas-getting-started.html) untuk mengakses model pra-terlatih dan model dasar AI generatif, atau membuat model khusus yang disesuaikan untuk teks tertentu, klasifikasi gambar, kebutuhan peramalan, atau AI generatif.
Untuk membuat eksperimen Autopilot secara terprogram untuk menyempurnakan LLM, Anda dapat memanggil API [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html)dalam bahasa apa pun yang didukung oleh Amazon Autopilot atau. SageMaker AWS CLI
Untuk informasi tentang cara tindakan API ini diterjemahkan ke dalam fungsi dalam bahasa pilihan Anda, lihat bagian [Lihat Juga](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#API_CreateAutoMLJobV2_SeeAlso) `CreateAutoMLJobV2` dan pilih SDK. Sebagai contoh, untuk pengguna Python, lihat sintaks permintaan lengkap dari in. `[create\$1auto\$1ml\$1job\$1v2](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html#SageMaker.Client.create_auto_ml_job_v2)` AWS SDK untuk Python (Boto3)
**catatan**
Autopilot menyempurnakan model bahasa besar tanpa memerlukan banyak kandidat untuk dilatih dan dievaluasi. Alih-alih, menggunakan kumpulan data Anda, Autopilot secara langsung menyempurnakan model target Anda untuk meningkatkan metrik objektif default, kehilangan lintas entropi. Model bahasa fine-tuning di Autopilot tidak memerlukan pengaturan bidang. `AutoMLJobObjective`
Setelah LLM Anda disetel dengan baik, Anda dapat mengevaluasi kinerjanya dengan mengakses berbagai ROUGE skor melalui `[BestCandidate](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateProperties.html#sagemaker-Type-CandidateProperties-CandidateMetrics)` saat melakukan panggilan API. `[DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html)` Model ini juga memberikan informasi tentang pelatihan dan kehilangan validasi serta kebingungannya. Untuk daftar lengkap metrik untuk mengevaluasi kualitas teks yang dihasilkan oleh model yang disetel dengan baik, lihat. [Metrik untuk menyempurnakan model bahasa besar di Autopilot](autopilot-llms-finetuning-metrics.md)
## Prasyarat
Sebelum menggunakan Autopilot untuk membuat eksperimen fine-tuning di SageMaker AI, pastikan untuk mengambil langkah-langkah berikut:
+ (Opsional) Pilih model pra-terlatih yang ingin Anda sesuaikan.
Untuk daftar model pra-terlatih yang tersedia untuk fine-tuning di SageMaker Amazon Autopilot, lihat. [Model bahasa besar yang didukung untuk fine-tuning](autopilot-llms-finetuning-models.md) *Pemilihan model tidak wajib; jika tidak ada model yang ditentukan, Autopilot secara otomatis default ke model Falcon7. BInstruct*
+ Buat kumpulan data instruksi. Lihat [Jenis file dataset dan format data input](autopilot-llms-finetuning-data-format.md) untuk mempelajari tentang persyaratan format untuk kumpulan data berbasis instruksi Anda.
+ Tempatkan kumpulan data Anda di bucket Amazon S3.
+ Berikan akses penuh ke bucket Amazon S3 yang berisi data input Anda untuk peran eksekusi SageMaker AI yang digunakan untuk menjalankan eksperimen Anda.
+ Untuk informasi tentang mengambil peran eksekusi SageMaker AI Anda, lihat[Dapatkan peran eksekusi Anda](sagemaker-roles.md#sagemaker-roles-get-execution-role).
+ Untuk informasi tentang pemberian izin peran eksekusi SageMaker AI untuk mengakses satu atau beberapa bucket spesifik di Amazon S3, lihat Menambahkan Izin Amazon S3 Tambahan ke *Peran* Eksekusi AI di. SageMaker [Buat peran eksekusi](sagemaker-roles.md#sagemaker-roles-create-execution-role)
+ Selain itu, Anda harus memberi peran eksekusi izin yang diperlukan untuk mengakses bucket Amazon S3 penyimpanan default yang digunakan oleh. JumpStart Akses ini diperlukan untuk menyimpan dan mengambil artefak model pra-terlatih di. JumpStart Untuk memberikan akses ke bucket Amazon S3 ini, Anda harus membuat kebijakan kustom inline baru pada peran eksekusi Anda.
Berikut adalah contoh kebijakan yang dapat Anda gunakan di editor JSON Anda saat mengonfigurasi pekerjaan fine-tuning AutoML di: `us-west-2`
*JumpStartnama bucket mengikuti pola yang telah ditentukan yang bergantung pada. Wilayah AWS Anda harus menyesuaikan nama ember yang sesuai.*
```
{
"Sid": "Statement1",
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:PutObject",
"s3:ListBucket"
],
"Resource": [
"arn:aws:s3:::jumpstart-cache-prod-us-west-2",
"arn:aws:s3:::jumpstart-cache-prod-us-west-2/*"
]
}
```
Setelah ini selesai, Anda dapat menggunakan ARN dari peran eksekusi ini dalam permintaan API Autopilot.
## Parameter yang diperlukan
Saat menelepon `[CreateAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html)` untuk membuat eksperimen Autopilot untuk fine-tuning LLM, Anda harus memberikan nilai berikut:
+ An `[AutoMLJobName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#API_CreateAutoMLJobV2_RequestSyntax)` untuk menentukan nama pekerjaan Anda. Nama harus bertipe`string`, dan harus memiliki panjang minimal 1 karakter dan panjang maksimum 32.
+ Setidaknya `[AutoMLJobChannel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html)` salah satu `training` tipe di dalam`[AutoMLJobInputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLJobInputDataConfig)`. Saluran ini menentukan nama bucket Amazon S3 tempat dataset fine-tuning Anda berada. Anda memiliki opsi untuk menentukan `validation` saluran. Jika tidak ada saluran validasi yang disediakan, dan a `ValidationFraction` dikonfigurasi di [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSplitConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSplitConfig.html), fraksi ini digunakan untuk membagi kumpulan data pelatihan secara acak menjadi set pelatihan dan validasi. Selain itu, Anda dapat menentukan jenis konten (file CSV atau Parket) untuk kumpulan data.
+ `[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)`Jenis `[TextGenerationJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TextGenerationJobConfig.html)` untuk mengonfigurasi pengaturan pekerjaan pelatihan Anda.
Secara khusus, Anda dapat menentukan nama model dasar untuk menyempurnakan bidang. `BaseModelName` Untuk daftar model pra-terlatih yang tersedia untuk fine-tuning di SageMaker Amazon Autopilot, lihat. [Model bahasa besar yang didukung untuk fine-tuning](autopilot-llms-finetuning-models.md)
+ `[OutputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLOutputDataConfig.html)`Untuk menentukan jalur keluaran Amazon S3 untuk menyimpan artefak pekerjaan AutoML Anda.
+ A `[RoleArn](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html#sagemaker-CreateAutoMLJob-request-RoleArn)` untuk menentukan ARN dari peran yang digunakan untuk mengakses data Anda.
Berikut ini adalah contoh format permintaan lengkap yang digunakan saat membuat panggilan API `CreateAutoMLJobV2` untuk menyempurnakan model ()`Falcon7BInstruct`.
```
{
"AutoMLJobName": "",
"AutoMLJobInputDataConfig": [
{
"ChannelType": "training",
"CompressionType": "None",
"ContentType": "text/csv",
"DataSource": {
"S3DataSource": {
"S3DataType": "S3Prefix",
"S3Uri": "s3:///.csv"
}
}
}
],
"OutputDataConfig": {
"S3OutputPath": "s3:///output",
"KmsKeyId": "arn:aws:kms:::key/"
},
"RoleArn":"arn:aws:iam:::role/",
"AutoMLProblemTypeConfig": {
"TextGenerationJobConfig": {
"BaseModelName": "Falcon7BInstruct"
}
}
}
```
Semua parameter lainnya adalah opsional.
## Parameter opsional
Bagian berikut memberikan rincian beberapa parameter opsional yang dapat Anda berikan ke pekerjaan AutoML fine-tuning Anda.
### Cara menentukan kumpulan data pelatihan dan validasi pekerjaan AutoML
Anda dapat memberikan kumpulan data validasi dan rasio pemisahan data khusus Anda sendiri, atau membiarkan Autopilot membagi kumpulan data secara otomatis.
Setiap [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html)objek (lihat parameter yang diperlukan [Auto MLJob InputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLJobInputDataConfig)) memiliki`ChannelType`, yang dapat diatur ke salah satu `training` atau `validation` nilai yang menentukan bagaimana data akan digunakan saat membangun model pembelajaran mesin.
Setidaknya satu sumber data harus disediakan dan maksimal dua sumber data diperbolehkan: satu untuk data pelatihan dan satu untuk data validasi. Bagaimana Anda membagi data menjadi kumpulan data pelatihan dan validasi tergantung pada apakah Anda memiliki satu atau dua sumber data.
+ Jika Anda hanya memiliki **satu sumber data**, `ChannelType` diatur ke secara `training` default dan harus memiliki nilai ini.
+ Jika `ValidationFraction` nilai dalam tidak [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSplitConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSplitConfig.html)disetel, 0.2 (20%) data dari sumber ini digunakan untuk validasi secara default.
+ Jika `ValidationFraction` diatur ke nilai antara 0 dan 1, dataset dibagi berdasarkan nilai yang ditentukan, di mana nilai menentukan fraksi dari dataset yang digunakan untuk validasi.
+ Jika Anda memiliki **dua sumber data**, `ChannelType` salah satu `AutoMLJobChannel` objek harus diatur ke`training`, nilai default. Sumber data lainnya harus diatur ke`validation`. `ChannelType` Kedua sumber data harus memiliki format yang sama, baik CSV atau Parket, dan skema yang sama. Anda tidak boleh menetapkan nilai untuk `ValidationFraction` dalam kasus ini karena semua data dari setiap sumber digunakan untuk pelatihan atau validasi. Menyetel nilai ini menyebabkan kesalahan.
### Cara mengaktifkan penyebaran otomatis
Dengan Autopilot, Anda dapat secara otomatis menerapkan model fine-tuned Anda ke titik akhir. Untuk mengaktifkan penerapan otomatis untuk model yang disetel dengan baik, sertakan a dalam permintaan pekerjaan `[ModelDeployConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-ModelDeployConfig)` AutoML. Ini memungkinkan penerapan model yang disetel dengan baik ke titik akhir AI. SageMaker Di bawah ini adalah konfigurasi yang tersedia untuk kustomisasi.
+ Untuk membiarkan Autopilot menghasilkan nama titik akhir, setel ke. `[AutoGenerateEndpointName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployConfig.html#API_ModelDeployConfig_Contents)` `True`
+ Untuk memberikan nama Anda sendiri untuk titik akhir, atur`[AutoGenerateEndpointName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployConfig.html#API_ModelDeployConfig_Contents) to False and provide a name of your choice in [EndpointName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployConfig.html#API_ModelDeployConfig_Contents)`.
### Cara mengatur penerimaan EULA saat menyempurnakan model menggunakan AutoML API
Untuk model yang memerlukan penerimaan perjanjian lisensi pengguna akhir sebelum fine-tuning, Anda dapat menerima EULA dengan menyetel `AcceptEula` atribut to in saat mengonfigurasi. `[ModelAccessConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelAccessConfig.html)` `True` `[TextGenerationJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TextGenerationJobConfig.html)` `[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)`
### Cara mengatur hyperparameters untuk mengoptimalkan proses pembelajaran suatu model
Anda dapat mengoptimalkan proses pembelajaran model pembuatan teks Anda dengan menyetel nilai hyperparameter dalam `TextGenerationHyperParameters` atribut `[TextGenerationJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TextGenerationJobConfig.html)` saat mengonfigurasi. `[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)`
Autopilot memungkinkan pengaturan empat hiperparameter umum di semua model.
+ `epochCount`: Nilainya harus berupa string yang berisi nilai integer dalam kisaran `1` to`10`.
+ `batchSize`: Nilainya harus berupa string yang berisi nilai integer dalam kisaran `1` to`64`.
+ `learningRate`: Nilainya harus berupa string yang berisi nilai floating-point dalam kisaran to. `0` `1`
+ `learningRateWarmupSteps`: Nilainya harus berupa string yang berisi nilai integer dalam kisaran `0` to`250`.
Untuk detail lebih lanjut tentang setiap hyperparameter, lihat[Hyperparameters untuk mengoptimalkan proses pembelajaran model pembuatan teks Anda](autopilot-llms-finetuning-hyperparameters.md).
Contoh JSON berikut menunjukkan `TextGenerationHyperParameters` bidang yang diteruskan ke TextGenerationJobConfig tempat keempat hyperparameters dikonfigurasi.
```
"AutoMLProblemTypeConfig": {
"TextGenerationJobConfig": {
"BaseModelName": "Falcon7B",
"TextGenerationHyperParameters": {"epochCount":"5", "learningRate":"0.000001", "batchSize": "32", "learningRateWarmupSteps": "10"}
}
}
```
# Model bahasa besar yang didukung untuk fine-tuning
Menggunakan Autopilot API, pengguna dapat menyempurnakan model bahasa besar (LLMs) yang didukung oleh Amazon. SageMaker JumpStart
**catatan**
Untuk model fine-tuning yang memerlukan penerimaan perjanjian lisensi pengguna akhir, Anda harus secara eksplisit menyatakan penerimaan EULA saat membuat pekerjaan AutoML Anda. Perhatikan bahwa setelah menyempurnakan model yang telah dilatih sebelumnya, bobot model asli diubah, sehingga Anda tidak perlu menerima EULA nanti saat menerapkan model yang disetel dengan baik.
Untuk informasi tentang cara menerima EULA saat membuat pekerjaan fine-tuning menggunakan AutoML API, lihat. [Cara mengatur penerimaan EULA saat menyempurnakan model menggunakan AutoML API](autopilot-create-experiment-finetune-llms.md#autopilot-llms-finetuning-set-eula)
Anda dapat menemukan detail lengkap setiap model dengan mencari **ID JumpStart Model** Anda di [tabel model](https://sagemaker.readthedocs.io/en/stable/doc_utils/pretrainedmodels.html#built-in-algorithms-with-pre-trained-model-table) berikut, lalu mengikuti tautan di kolom **Sumber**. Detail ini mungkin termasuk bahasa yang didukung oleh model, bias yang mungkin ditunjukkannya, kumpulan data yang digunakan untuk fine-tuning, dan banyak lagi.
Tabel berikut mencantumkan JumpStart model yang didukung yang dapat Anda sesuaikan dengan pekerjaan AutoML.
| JumpStart ID Model | `BaseModelName`dalam permintaan API | Deskripsi |
| --- | --- | --- |
| huggingface-textgeneration-dolly-v2-3b-bf16 | Dolly3B | [Dolly 3B adalah 2,8 miliar parameter instruksi mengikuti model bahasa besar berdasarkan pythia-2.8b.](https://huggingface.co/EleutherAI/pythia-2.8b#pythia-28b) Ini dilatih pada dataset instruction/response fine tuning [databricks-dolly-15k](https://huggingface.co/datasets/databricks/databricks-dolly-15k) dan dapat melakukan tugas-tugas termasuk brainstorming, klasifikasi, pertanyaan dan jawaban, pembuatan teks, ekstraksi informasi, dan peringkasan. |
| huggingface-textgeneration-dolly-v2-7b-bf16 | Dolly7B | [Dolly 7B adalah model bahasa besar mengikuti instruksi parameter 6,9 miliar berdasarkan pythia-6.9b.](https://huggingface.co/EleutherAI/pythia-6.9b) Ini dilatih pada dataset instruction/response fine tuning [databricks-dolly-15k](https://huggingface.co/datasets/databricks/databricks-dolly-15k) dan dapat melakukan tugas-tugas termasuk brainstorming, klasifikasi, pertanyaan dan jawaban, pembuatan teks, ekstraksi informasi, dan peringkasan. |
| huggingface-textgeneration-dolly-v2-12b-bf16 | Dolly12B | [Dolly 12B adalah 12 miliar parameter instruksi mengikuti model bahasa besar berdasarkan pythia-12b.](https://huggingface.co/EleutherAI/pythia-12b) Ini dilatih pada dataset instruction/response fine tuning [databricks-dolly-15k](https://huggingface.co/datasets/databricks/databricks-dolly-15k) dan dapat melakukan tugas-tugas termasuk brainstorming, klasifikasi, pertanyaan dan jawaban, pembuatan teks, ekstraksi informasi, dan peringkasan. |
| huggingface-llm-falcon-7b-bf16 | Falcon7B | Falcon 7B adalah model bahasa besar kausal parameter 7 miliar yang dilatih pada 1.500 miliar token yang ditingkatkan dengan corpora yang dikuratori. Falcon-7B dilatih hanya pada data bahasa Inggris dan Prancis, dan tidak menggeneralisasi dengan tepat ke bahasa lain. Karena model ini dilatih pada sejumlah besar data web, ia membawa stereotip dan bias yang biasa ditemukan secara online. |
| huggingface-llm-falcon-7b-instruct-bf16 | Falcon7BInstruct | Falcon 7B Instruct adalah model bahasa besar kausal parameter 7 miliar yang dibangun di atas Falcon 7B dan disetel dengan baik pada campuran kumpulan data 250 juta token. chat/instruct Falcon 7B Instruct sebagian besar dilatih pada data bahasa Inggris, dan tidak menggeneralisasi dengan tepat ke bahasa lain. Selain itu, karena dilatih pada perwakilan korpora skala besar dari web, ia membawa stereotip dan bias yang biasa ditemui secara online. |
| huggingface-llm-falcon-40b-bf16 | Falcon40B | Falcon 40B adalah model bahasa besar kausal parameter 40 miliar yang dilatih pada 1.000 miliar token yang ditingkatkan dengan corpora yang dikuratori. Ini dilatih sebagian besar dalam bahasa Inggris, Jerman, Spanyol, dan Prancis, dengan kemampuan terbatas dalam bahasa Italia, Portugis, Polandia, Belanda, Rumania, Ceko, dan Swedia. Itu tidak menggeneralisasi dengan tepat ke bahasa lain. Selain itu, karena dilatih pada perwakilan korpora skala besar dari web, ia membawa stereotip dan bias yang biasa ditemui secara online. |
| huggingface-llm-falcon-40b-instruct-bf16 | Falcon40BInstruct | Falcon 40B Instruct adalah model bahasa besar kausal parameter 40 miliar yang dibangun di atas Falcon40B dan disetel dengan baik pada campuran Baize. Ini sebagian besar dilatih pada data bahasa Inggris dan Prancis, dan tidak menggeneralisasi dengan tepat ke bahasa lain. Selain itu, karena dilatih pada perwakilan korpora skala besar dari web, ia membawa stereotip dan bias yang biasa ditemui secara online. |
| huggingface-text2text-flan-t5-large | FlanT5L | Keluarga [https://huggingface.co/docs/transformers/model_doc/t5](https://huggingface.co/docs/transformers/model_doc/t5)model adalah seperangkat model bahasa besar yang disetel dengan baik pada banyak tugas dan dapat dilatih lebih lanjut. Model-model ini sangat cocok untuk tugas-tugas seperti terjemahan bahasa, pembuatan teks, penyelesaian kalimat, disambiguasi pengertian kata, ringkasan, atau menjawab pertanyaan. Flan T5 L adalah 780 juta parameter model bahasa besar yang dilatih pada berbagai bahasa. [Anda dapat menemukan daftar bahasa yang didukung oleh Flan T5 L dalam detail model yang diambil dari pencarian Anda berdasarkan ID model di JumpStart tabel model.](https://sagemaker.readthedocs.io/en/stable/doc_utils/pretrainedmodels.html#built-in-algorithms-with-pre-trained-model-table) |
| huggingface-text2text-flan-t5-xl | FlanT5XL | Keluarga [https://huggingface.co/docs/transformers/model_doc/t5](https://huggingface.co/docs/transformers/model_doc/t5)model adalah seperangkat model bahasa besar yang disetel dengan baik pada banyak tugas dan dapat dilatih lebih lanjut. Model-model ini sangat cocok untuk tugas-tugas seperti terjemahan bahasa, pembuatan teks, penyelesaian kalimat, disambiguasi pengertian kata, ringkasan, atau menjawab pertanyaan. Flan T5 XL adalah model bahasa besar 3 miliar parameter yang dilatih pada berbagai bahasa. [Anda dapat menemukan daftar bahasa yang didukung oleh Flan T5 XL dalam detail model yang diambil dari pencarian Anda berdasarkan ID model di JumpStart tabel model.](https://sagemaker.readthedocs.io/en/stable/doc_utils/pretrainedmodels.html#built-in-algorithms-with-pre-trained-model-table) |
| huggingface-text2text-flan-t5-xxll | FlanT5XXL | Keluarga [https://huggingface.co/docs/transformers/model_doc/t5](https://huggingface.co/docs/transformers/model_doc/t5)model adalah seperangkat model bahasa besar yang disetel dengan baik pada banyak tugas dan dapat dilatih lebih lanjut. Model-model ini sangat cocok untuk tugas-tugas seperti terjemahan bahasa, pembuatan teks, penyelesaian kalimat, disambiguasi pengertian kata, ringkasan, atau menjawab pertanyaan. Flan T5 XXL adalah model parameter 11 miliar. [Anda dapat menemukan daftar bahasa yang didukung oleh Flan T5 XXL dalam detail model yang diambil dari pencarian Anda berdasarkan ID model di JumpStart tabel model.](https://sagemaker.readthedocs.io/en/stable/doc_utils/pretrainedmodels.html#built-in-algorithms-with-pre-trained-model-table) |
| meta-textgeneration-llama-2-7b | Llama2-7B | Llama 2 adalah kumpulan model teks generatif yang telah dilatih dan disetel dengan baik, mulai dari 7 miliar hingga 70 miliar parameter. Llama2-7B adalah model parameter 7 miliar yang ditujukan untuk penggunaan bahasa Inggris dan dapat disesuaikan untuk berbagai tugas pembuatan bahasa alami. |
| meta-textgeneration-llama-2-7b-f | Llama2-7BChat | Llama 2 adalah kumpulan model teks generatif yang telah dilatih dan disetel dengan baik, mulai dari 7 miliar hingga 70 miliar parameter. Llama2-7B adalah model obrolan parameter 7 miliar yang dioptimalkan untuk kasus penggunaan dialog. |
| meta-textgeneration-llama-2-13b | Llama2-13B | Llama 2 adalah kumpulan model teks generatif yang telah dilatih dan disetel dengan baik, mulai dari 7 miliar hingga 70 miliar parameter. Llama2-13B adalah model parameter 13 miliar yang ditujukan untuk penggunaan bahasa Inggris dan dapat disesuaikan untuk berbagai tugas pembuatan bahasa alami. |
| meta-textgeneration-llama-2-13b-f | Llama2-13BChat | Llama 2 adalah kumpulan model teks generatif yang telah dilatih dan disetel dengan baik, mulai dari 7 miliar hingga 70 miliar parameter. Llama2-13B adalah model obrolan parameter 13 miliar yang dioptimalkan untuk kasus penggunaan dialog. |
| huggingface-llm-mistral-7b | Mistral7B | Mistral 7B adalah kode tujuh miliar parameter dan model pembuatan teks bahasa Inggris tujuan umum. Ini dapat digunakan dalam berbagai kasus penggunaan termasuk ringkasan teks, klasifikasi, penyelesaian teks, atau penyelesaian kode. |
| huggingface-llm-mistral-7b-instruct | Mistral7BInstruct | Mistral 7B Instruct adalah versi Mistral 7B yang disetel dengan baik untuk kasus penggunaan percakapan. Itu khusus menggunakan berbagai kumpulan data percakapan yang tersedia untuk umum dalam bahasa Inggris. |
| huggingface-textgeneration1-mpt-7b-bf16 | MPT7B | MPT 7B adalah model bahasa besar transformator gaya decoder dengan 6,7 miliar parameter, pra-dilatih dari awal pada 1 triliun token teks dan kode bahasa Inggris. Ini disiapkan untuk menangani panjang konteks yang panjang. |
| huggingface-textgeneration1-mpt-7b-instruct-bf16 | MPT7BInstruct | MPT 7B Instruct adalah model untuk instruksi bentuk pendek berikut tugas-tugas. [Ini dibangun dengan menyempurnakan MPT 7B pada kumpulan data yang berasal dari dataset yang berasal dari dataset [databricks-dolly-15k dan Anthropic Helpful and Harmware (HH-RLHF](https://huggingface.co/datasets/databricks/databricks-dolly-15k)).](https://huggingface.co/datasets/Anthropic/hh-rlhf) |
# Jenis file dataset dan format data input
Penyetelan berbasis instruksi menggunakan kumpulan data berlabel untuk meningkatkan kinerja tugas pemrosesan bahasa alami (NLP) yang telah dilatih sebelumnya LLMs . Contoh berlabel diformat sebagai pasangan prompt respons dan diungkapkan sebagai instruksi.
Untuk mempelajari jenis file kumpulan data yang didukung, lihat[Jenis file dataset yang didukung](#autopilot-llms-finetuning-dataset-format).
Untuk mempelajari tentang format data input, lihat[Format data input untuk fine-tuning berbasis instruksi](#autopilot-llms-finetuning-input-format).
## Jenis file dataset yang didukung
Autopilot mendukung kumpulan data fine-tuning berbasis instruksi yang diformat sebagai file CSV (default) atau sebagai file Parket.
+ **CSV** (nilai dipisahkan koma) adalah format file berbasis baris yang menyimpan data dalam teks biasa yang dapat dibaca manusia, yang merupakan pilihan populer untuk pertukaran data karena didukung oleh berbagai aplikasi.
+ **Parket** adalah format file biner berbasis kolom di mana data disimpan dan diproses lebih efisien daripada dalam format file yang dapat dibaca manusia seperti CSV. Ini menjadikannya pilihan yang lebih baik untuk masalah data besar.
**catatan**
Dataset dapat terdiri dari beberapa file, yang masing-masing harus mematuhi template tertentu. Untuk informasi tentang cara memformat data input Anda, lihat[Format data input untuk fine-tuning berbasis instruksi](#autopilot-llms-finetuning-input-format).
## Format data input untuk fine-tuning berbasis instruksi
Setiap file dalam kumpulan data harus mematuhi format berikut:
+ Dataset harus berisi tepat dua kolom yang dipisahkan koma dan diberi nama, dan. `input` `output` Autopilot tidak mengizinkan kolom tambahan.
+ `input`Kolom berisi petunjuk, dan yang sesuai `output` berisi jawaban yang diharapkan. Keduanya `input` dan `output` dalam format string.
Contoh berikut menggambarkan format data input untuk fine-tuning berbasis instruksi di Autopilot.
```
input,output
"",""
```
**catatan**
Kami merekomendasikan penggunaan kumpulan data dengan minimal 1000 baris untuk memastikan pembelajaran dan kinerja model yang optimal.
Selain itu, Autopilot menetapkan batas maksimum jumlah baris dalam kumpulan data dan panjang konteks berdasarkan jenis model yang digunakan.
+ Batas jumlah baris dalam kumpulan data berlaku untuk jumlah kumulatif baris di semua file dalam kumpulan data, termasuk beberapa file. Jika ada dua [jenis saluran](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLChannel.html) yang ditentukan (satu untuk pelatihan dan satu untuk validasi), batas tersebut berlaku untuk jumlah total baris di semua kumpulan data dalam kedua saluran. Ketika jumlah baris melebihi ambang batas, pekerjaan gagal dengan kesalahan validasi.
+ Ketika panjang input atau output baris dalam kumpulan data melebihi batas yang ditetapkan pada konteks model bahasa, maka secara otomatis terpotong. Jika lebih dari 60% baris dalam kumpulan data terpotong, baik dalam input atau outputnya, Autopilot gagal dalam pekerjaan dengan kesalahan validasi.
Tabel berikut menyajikan batas-batas untuk setiap model.
| JumpStart ID Model | `BaseModelName`dalam permintaan API | Batas Baris | Batas Panjang Konteks |
| --- | --- | --- | --- |
| huggingface-textgeneration-dolly-v2-3b-bf16 | Dolly3B | 10.000 baris | 1024 token |
| huggingface-textgeneration-dolly-v2-7b-bf16 | Dolly7B | 10.000 baris | 1024 token |
| huggingface-textgeneration-dolly-v2-12b-bf16 | Dolly12B | 10.000 baris | 1024 token |
| huggingface-llm-falcon-7b-bf16 | Falcon7B | 1.000 baris | 1024 token |
| huggingface-llm-falcon-7b-instruct-bf16 | Falcon7BInstruct | 1.000 baris | 1024 token |
| huggingface-llm-falcon-40b-bf16 | Falcon40B | 10.000 baris | 1024 token |
| huggingface-llm-falcon-40b-instruct-bf16 | Falcon40BInstruct | 10.000 baris | 1024 token |
| huggingface-text2text-flan-t5-large | FlanT5L | 10.000 baris | 1024 token |
| huggingface-text2text-flan-t5-xl | FlanT5XL | 10.000 baris | 1024 token |
| huggingface-text2text-flan-t5-xxll | FlanT5XXL | 10.000 baris | 1024 token |
| meta-textgeneration-llama-2-7b | Llama2-7B | 10.000 baris | 2048 token |
| meta-textgeneration-llama-2-7b-f | Llama2-7BChat | 10.000 baris | 2048 token |
| meta-textgeneration-llama-2-13b | Llama2-13B | 7.000 baris | 2048 token |
| meta-textgeneration-llama-2-13b-f | Llama2-13BChat | 7.000 baris | 2048 token |
| huggingface-llm-mistral-7b | Mistral7B | 10.000 baris | 2048 token |
| huggingface-llm-mistral-7b-instruct | Mistral7BInstruct | 10.000 baris | 2048 token |
| huggingface-textgeneration1-mpt-7b-bf16 | MPT7B | 10.000 baris | 1024 token |
| huggingface-textgeneration1-mpt-7b-instruct-bf16 | MPT7BInstruct | 10.000 baris | 1024 token |
# Hyperparameters untuk mengoptimalkan proses pembelajaran model pembuatan teks Anda
Anda dapat mengoptimalkan proses pembelajaran model dasar Anda dengan menyesuaikan kombinasi apa pun dari hiperparameter berikut. Parameter ini tersedia untuk semua model.
+ **Hitungan Epoch**: `epochCount` Hyperparameter menentukan berapa kali model melewati seluruh kumpulan data pelatihan. Ini mempengaruhi durasi pelatihan dan dapat mencegah overfitting ketika diatur dengan tepat. Sejumlah besar epoch dapat meningkatkan runtime keseluruhan pekerjaan fine-tuning. Kami merekomendasikan pengaturan yang besar `MaxAutoMLJobRuntimeInSeconds` di dalam `CompletionCriteria` `[TextGenerationJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TextGenerationJobConfig.html)` untuk menghindari pekerjaan fine-tuning berhenti sebelum waktunya.
+ **Ukuran Batch**: `batchSize` Hyperparameter mendefinisikan jumlah sampel data yang digunakan dalam setiap iterasi pelatihan. Hal ini dapat mempengaruhi kecepatan konvergensi dan penggunaan memori. Dengan ukuran batch yang besar, risiko kesalahan out of memory (OOM) meningkat, yang mungkin muncul sebagai kesalahan server internal di Autopilot. Untuk memeriksa kesalahan tersebut, periksa grup `/aws/sagemaker/TrainingJobs` log untuk pekerjaan pelatihan yang diluncurkan oleh pekerjaan Autopilot Anda. Anda dapat mengakses log masuk tersebut CloudWatch dari konsol AWS manajemen. Pilih **Log**, lalu pilih **grup `/aws/sagemaker/TrainingJobs` log**. Untuk memperbaiki kesalahan OOM, kurangi ukuran batch.
Kami merekomendasikan memulai dengan ukuran batch 1, kemudian secara bertahap meningkatkannya sampai terjadi kesalahan di luar memori. Sebagai referensi, 10 epoch biasanya membutuhkan waktu hingga 72 jam untuk menyelesaikannya.
+ **Tingkat Pembelajaran**: `learningRate` Hyperparameter mengontrol ukuran langkah di mana parameter model diperbarui selama pelatihan. Ini menentukan seberapa cepat atau lambat parameter model diperbarui selama pelatihan. Tingkat pembelajaran yang tinggi berarti bahwa parameter diperbarui dengan ukuran langkah yang besar, yang dapat menyebabkan konvergensi lebih cepat tetapi juga dapat menyebabkan proses pengoptimalan melampaui solusi optimal dan menjadi tidak stabil. Tingkat pembelajaran yang rendah berarti bahwa parameter diperbarui dengan ukuran langkah kecil, yang dapat menyebabkan konvergensi yang lebih stabil tetapi dengan mengorbankan pembelajaran yang lebih lambat.
+ **Learning Rate Warmup Steps**: `learningRateWarmupSteps` Hyperparameter menentukan jumlah langkah pelatihan di mana tingkat pembelajaran meningkat secara bertahap sebelum mencapai target atau nilai maksimumnya. Ini membantu model bertemu lebih efektif dan menghindari masalah seperti divergensi atau konvergensi lambat yang dapat terjadi dengan tingkat pembelajaran yang awalnya tinggi.
Untuk mempelajari cara menyesuaikan hyperparameters untuk eksperimen fine-tuning Anda di Autopilot dan menemukan kemungkinan nilainya, lihat. [Cara mengatur hyperparameters untuk mengoptimalkan proses pembelajaran suatu model](autopilot-create-experiment-finetune-llms.md#autopilot-llms-finetuning-set-hyperparameters)
# Metrik untuk menyempurnakan model bahasa besar di Autopilot
Bagian berikut menjelaskan metrik yang dapat Anda gunakan untuk memahami model bahasa besar yang disetel dengan baik (). LLMs Dengan menggunakan kumpulan data Anda, Autopilot secara langsung menyempurnakan LLM target untuk meningkatkan metrik objektif default, kehilangan lintas entropi.
Kehilangan entropi silang adalah metrik yang banyak digunakan untuk menilai perbedaan antara distribusi probabilitas yang diprediksi dan distribusi kata yang sebenarnya dalam data pelatihan. Dengan meminimalkan kehilangan lintas entropi, model belajar untuk membuat prediksi yang lebih akurat dan relevan secara kontekstual, terutama dalam tugas-tugas yang berkaitan dengan pembuatan teks.
Setelah menyempurnakan LLM Anda dapat mengevaluasi kualitas teks yang dihasilkan menggunakan berbagai skor. ROUGE Selain itu, Anda dapat menganalisis kebingungan dan pelatihan lintas entropi dan kerugian validasi sebagai bagian dari proses evaluasi.
+ Kehilangan kebingungan mengukur seberapa baik model dapat memprediksi kata berikutnya dalam urutan teks, dengan nilai yang lebih rendah menunjukkan pemahaman yang lebih baik tentang bahasa dan konteks.
+ Recall-Oriented Understudy for Gisting Evaluation (ROUGE)adalah seperangkat metrik yang digunakan di bidang pemrosesan bahasa alami (NLP) dan pembelajaran mesin untuk mengevaluasi kualitas teks yang dihasilkan mesin, seperti ringkasan teks atau pembuatan teks. Ini terutama menilai kesamaan antara teks yang dihasilkan dan teks referensi kebenaran dasar (ditulis manusia) dari kumpulan data validasi. ROUGEukuran dirancang untuk menilai berbagai aspek kesamaan teks, termasuk presisi dan ingatan n-gram (urutan kata yang berdekatan) dalam teks yang dihasilkan sistem dan referensi. Tujuannya adalah untuk menilai seberapa baik model menangkap informasi yang ada dalam teks referensi.
Ada beberapa varian ROUGE metrik, tergantung pada jenis n-gram yang digunakan dan aspek spesifik dari kualitas teks yang dievaluasi.
Daftar berikut berisi nama dan deskripsi ROUGE metrik yang tersedia setelah penyempurnaan model bahasa besar di Autopilot.
**`ROUGE-1`, `ROUGE-2`**
ROUGE-N, ROUGE metrik primer, mengukur tumpang tindih n-gram antara teks yang dihasilkan sistem dan teks referensi. ROUGE-Ndapat disesuaikan dengan nilai yang berbeda dari `n` (di sini `1` atau`2`) untuk mengevaluasi seberapa baik teks yang dihasilkan sistem menangkap n-gram dari teks referensi.
**`ROUGE-L`**
ROUGE-L(ROUGE-LongestCommon Sequence) menghitung urutan umum terpanjang antara teks yang dihasilkan sistem dan teks referensi. Varian ini mempertimbangkan urutan kata selain konten tumpang tindih.
**`ROUGE-L-Sum`**
ROUGE-L-SUM(Urutan Umum Terpanjang untuk Ringkasan) dirancang untuk evaluasi sistem ringkasan teks. Ini berfokus pada pengukuran urutan umum terpanjang antara ringkasan yang dihasilkan mesin dan ringkasan referensi. ROUGE-L-SUMmemperhitungkan urutan kata dalam teks, yang penting dalam tugas ringkasan teks.
# Penyebaran dan prediksi model autopilot
Setelah menyempurnakan model bahasa besar (LLM), Anda dapat menerapkan model untuk pembuatan teks waktu nyata dengan menyiapkan titik akhir untuk mendapatkan prediksi interaktif.
**catatan**
Kami merekomendasikan menjalankan pekerjaan inferensi waktu nyata `ml.g5.12xlarge` untuk kinerja yang lebih baik. Atau, `ml.g5.8xlarge` instance cocok untuk tugas pembuatan teks Falcon-7B-Instruct dan MPT-7B-Instruct.
Anda dapat menemukan spesifikasi instans ini dalam kategori [Komputasi Akselerasi](https://aws.amazon.com/ec2/instance-types/) dalam pemilihan jenis instans yang disediakan oleh Amazon EC2.
## Pembuatan teks waktu nyata
Anda dapat menggunakan SageMaker APIs untuk menerapkan model fine-tuned Anda secara manual ke titik akhir [inferensi real-time Hosting SageMaker AI Hosting, lalu mulai membuat prediksi dengan memanggil titik akhir](https://docs.aws.amazon.com/sagemaker/latest/dg/realtime-endpoints.html) sebagai berikut.
**catatan**
Atau, Anda dapat memilih opsi penerapan otomatis saat membuat eksperimen fine-tuning Anda di Autopilot. Untuk informasi tentang pengaturan penerapan otomatis model, lihat[Cara mengaktifkan penyebaran otomatis](autopilot-create-experiment-finetune-llms.md#autopilot-llms-finetuning-auto-model-deployment).
Anda juga dapat menggunakan SageMaker Python SDK dan `JumpStartModel` kelas untuk melakukan inferensi dengan model yang disetel dengan baik oleh Autopilot. Ini dapat dilakukan dengan menentukan lokasi khusus untuk artefak model di Amazon S3. Untuk informasi tentang mendefinisikan model Anda sebagai model dan menerapkan JumpStart model Anda untuk inferensi, lihat [Penerapan kode rendah](https://sagemaker.readthedocs.io/en/stable/overview.html#deploy-a-pre-trained-model-directly-to-a-sagemaker-endpoint) dengan kelas. JumpStartModel
1. **Dapatkan definisi wadah inferensi kandidat**
Anda dapat menemukan bagian `InferenceContainerDefinitions` dalam `BestCandidate` objek yang diambil dari respons terhadap panggilan API [DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html#API_DescribeAutoMLJobV2_ResponseSyntax). Definisi kontainer untuk inferensi mengacu pada lingkungan kontainer yang dirancang untuk menerapkan dan menjalankan model terlatih Anda untuk membuat prediksi.
Contoh AWS CLI perintah berikut menggunakan [DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html) API untuk mendapatkan definisi kontainer yang direkomendasikan untuk nama pekerjaan Anda.
```
aws sagemaker describe-auto-ml-job-v2 --auto-ml-job-name job-name --region region
```
1. **Buat model SageMaker AI**
Gunakan definisi container dari langkah sebelumnya untuk membuat model SageMaker AI dengan menggunakan [CreateModel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html)API. Lihat AWS CLI perintah berikut sebagai contoh. Gunakan `CandidateName` untuk nama model Anda.
```
aws sagemaker create-model --model-name '' \
--primary-container '' --region '
```
1. **Buat konfigurasi titik akhir**
Contoh AWS CLI perintah berikut menggunakan [CreateEndpointConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpointConfig.html)API untuk membuat konfigurasi endpoint.
**catatan**
Untuk mencegah pembuatan titik akhir dari waktu kehabisan waktu karena unduhan model yang panjang, kami sarankan pengaturan `ModelDataDownloadTimeoutInSeconds = 3600` dan. `ContainerStartupHealthCheckTimeoutInSeconds = 3600`
```
aws sagemaker create-endpoint-config --endpoint-config-name '' \
--production-variants '' ModelDataDownloadTimeoutInSeconds=3600 ContainerStartupHealthCheckTimeoutInSeconds=3600 \
--region ''
```
1. **Buat titik akhir**
AWS CLI Contoh berikut menggunakan [CreateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpoint.html)API untuk membuat titik akhir.
```
aws sagemaker create-endpoint --endpoint-name '' \
--endpoint-config-name '' \
--region ''
```
Periksa kemajuan penerapan titik akhir Anda dengan menggunakan API. [DescribeEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeEndpoint.html) Lihat AWS CLI perintah berikut sebagai contoh.
```
aws sagemaker describe-endpoint —endpoint-name '' —region
```
Setelah `EndpointStatus` perubahan`InService`, titik akhir siap digunakan untuk inferensi waktu nyata.
1. **Memanggil titik akhir**
Perintah berikut memanggil titik akhir untuk inferensi real-time. Prompt Anda perlu dikodekan dalam byte.
**catatan**
Format prompt input Anda tergantung pada model bahasa. Untuk informasi selengkapnya tentang format prompt pembuatan teks, lihat[Format permintaan untuk model pembuatan teks inferensi waktu nyata](#autopilot-llms-finetuning-realtime-prompt-examples).
```
aws sagemaker invoke-endpoint --endpoint-name '' \
--region '' --body '' [--content-type] 'application/json'
```
## Format permintaan untuk model pembuatan teks inferensi waktu nyata
Model bahasa besar yang berbeda (LLMs) mungkin memiliki dependensi perangkat lunak tertentu, lingkungan runtime, dan persyaratan perangkat keras yang memengaruhi wadah yang direkomendasikan Autopilot untuk meng-host model untuk inferensi. Selain itu, setiap model menentukan format data input yang diperlukan dan format yang diharapkan untuk prediksi dan output.
Berikut adalah contoh input untuk beberapa model dan wadah yang direkomendasikan.
+ Untuk model Falcon dengan wadah `huggingface-pytorch-tgi-inference:2.0.1-tgi1.0.3-gpu-py39-cu118-ubuntu20.04` yang direkomendasikan:
```
payload = {
"inputs": "Large language model fine-tuning is defined as",
"parameters": {
"do_sample": false,
"top_p": 0.9,
"temperature": 0.1,
"max_new_tokens": 128,
"stop": ["<|endoftext|>", ""]
}
}
```
+ Untuk semua model lain dengan wadah yang direkomendasikan`djl-inference:0.22.1-fastertransformer5.3.0-cu118`:
```
payload= {
"text_inputs": "Large language model fine-tuning is defined as"
}
```
# Membuat eksperimen Autopilot Regresi atau Klasifikasi untuk data tabular menggunakan UI Studio Classic
**penting**
[Pada 30 November 2023, UI Autopilot bermigrasi ke Amazon [ SageMaker Canvas sebagai bagian dari pengalaman Amazon](https://docs.aws.amazon.com/sagemaker/latest/dg/canvas.html) Studio yang diperbarui. SageMaker ](studio-updated.md) SageMaker Canvas memberikan analis dan ilmuwan data warga kemampuan tanpa kode untuk tugas-tugas seperti persiapan data, rekayasa fitur, pemilihan algoritme, pelatihan dan penyetelan, inferensi, dan banyak lagi. Pengguna dapat memanfaatkan visualisasi bawaan dan analisis bagaimana-jika untuk mengeksplorasi data mereka dan skenario yang berbeda, dengan prediksi otomatis yang memungkinkan mereka untuk dengan mudah memproduksi model mereka. Canvas mendukung berbagai kasus penggunaan, termasuk visi komputer, peramalan permintaan, pencarian cerdas, dan AI generatif.
Pengguna [Amazon SageMaker Studio Classic](studio.md), pengalaman [Studio](studio-updated.md) sebelumnya, dapat terus menggunakan Autopilot UI di Studio Classic. Pengguna dengan pengalaman pengkodean dapat terus menggunakan semua [referensi API](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-reference.html) di SDK apa pun yang didukung untuk implementasi teknis.
Jika Anda telah menggunakan Autopilot di Studio Classic sampai sekarang dan ingin bermigrasi ke SageMaker Canvas, Anda mungkin harus memberikan izin tambahan ke profil pengguna atau peran IAM Anda sehingga Anda dapat membuat dan menggunakan aplikasi Canvas. SageMaker Untuk informasi selengkapnya, lihat [(Opsional) Migrasi dari Autopilot di Studio Classic ke Canvas SageMaker](studio-updated-migrate-ui.md#studio-updated-migrate-autopilot).
[Semua instruksi terkait UI dalam panduan ini berkaitan dengan fitur mandiri Autopilot sebelum bermigrasi ke Amazon Canvas. SageMaker ](https://docs.aws.amazon.com/sagemaker/latest/dg/canvas.html) Pengguna yang mengikuti petunjuk ini harus menggunakan [Studio Classic](studio.md).
Anda dapat menggunakan Amazon SageMaker Studio Classic UI untuk membuat eksperimen Autopilot untuk masalah klasifikasi atau regresi pada data tabular. UI membantu Anda menentukan nama eksperimen, menyediakan lokasi untuk data input dan output, dan menentukan data target mana yang akan diprediksi. Secara opsional, Anda juga dapat menentukan jenis masalah yang ingin Anda selesaikan (regresi, klasifikasi, klasifikasi multiclass), pilih strategi pemodelan Anda (*ansambel bertumpuk* atau *optimasi hiperparameter*), pilih daftar algoritma yang digunakan oleh pekerjaan Autopilot untuk melatih data, dan banyak lagi.
UI memiliki deskripsi, sakelar sakelar, menu tarik-turun, tombol radio, dan lainnya untuk membantu Anda menavigasi pembuatan kandidat model Anda. Setelah eksperimen berjalan, Anda dapat membandingkan uji coba dan mempelajari detail langkah pra-pemrosesan, algoritme, dan rentang hiperparameter dari setiap model. [Secara opsional, Anda dapat mengunduh laporan [penjelasan](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-explainability.html) dan kinerjanya.](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-model-insights.html) Gunakan [buku catatan](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-automate-model-development-notebook-output.html ) yang disediakan untuk melihat hasil eksplorasi data otomatis atau definisi model kandidat.
Atau, Anda dapat menggunakan Autopilot AutoML API di. [Membuat Pekerjaan Regresi atau Klasifikasi untuk Data Tabular Menggunakan AutoML API](autopilot-automate-model-development-create-experiment.md)
# Konfigurasikan parameter default eksperimen Autopilot (untuk administrator)
Autopilot mendukung pengaturan nilai default untuk menyederhanakan konfigurasi Amazon SageMaker Autopilot saat Anda membuat eksperimen Autopilot menggunakan UI Studio Classic. [Administrator dapat menggunakan [konfigurasi siklus hidup](studio-lcc.md) Studio Classic (LCC) untuk mengatur infrastruktur, jaringan, dan nilai keamanan dalam file konfigurasi dan mengisi pengaturan lanjutan pekerjaan.](autopilot-automate-model-development-create-experiment-ui.md#advanced-settings) `AutoML`
Dengan demikian, mereka dapat sepenuhnya mengontrol konektivitas jaringan dan izin akses untuk sumber daya yang terkait dengan Amazon SageMaker Studio Classic, termasuk instance SageMaker AI, sumber data, data keluaran, dan layanan terkait lainnya. Secara khusus, administrator dapat mengonfigurasi arsitektur jaringan yang diinginkan, seperti Amazon VPC, subnet, dan grup keamanan, untuk domain Studio Classic atau profil pengguna individu. Ilmuwan data dapat fokus pada parameter spesifik ilmu data saat membuat eksperimen Autopilot mereka menggunakan UI Studio Classic. Selanjutnya, administrator dapat mengelola enkripsi data pada instance di mana eksperimen Autopilot dijalankan dengan menetapkan kunci enkripsi default.
**catatan**
Fitur ini saat ini tidak tersedia di Wilayah keikutsertaan Asia Pasifik (Hong Kong) dan Timur Tengah (Bahrain).
Di bagian berikut, Anda dapat menemukan daftar lengkap parameter yang mendukung pengaturan default saat membuat eksperimen Autopilot menggunakan UI Studio Classic, dan mempelajari cara mengatur nilai default tersebut.
**Topics**
+ [
## Daftar parameter default yang didukung
](#autopilot-list-default-parameters-create-experiment)
+ [
## Tetapkan parameter eksperimen Autopilot default
](#autopilot-set-default-parameters-create-experiment-howto)
## Daftar parameter default yang didukung
Parameter berikut mendukung pengaturan nilai default dengan file konfigurasi untuk membuat eksperimen Autopilot menggunakan UI Studio Classic. Setelah disetel, nilai secara otomatis mengisi bidang yang sesuai di tab **Create Experiment** Autopilot di UI Studio Classic. Lihat [Pengaturan lanjutan (opsional)](autopilot-automate-model-development-create-experiment-ui.md#advanced-settings) untuk deskripsi lengkap dari setiap bidang.
+ **Keamanan:** Amazon VPC, subnet, dan grup keamanan.
+ **Akses: Peran** AWS ARNs IAM.
+ **Enkripsi:** AWS KMS kunci IDs.
+ **Tag:** Pasangan nilai kunci yang digunakan untuk memberi label dan mengatur sumber daya SageMaker AI.
## Tetapkan parameter eksperimen Autopilot default
Administrator dapat menetapkan nilai default dalam file konfigurasi, lalu menempatkan file secara manual di lokasi yang direkomendasikan dalam lingkungan Studio Classic pengguna tertentu, atau mereka dapat meneruskan file ke skrip konfigurasi siklus hidup (LCC) untuk mengotomatiskan penyesuaian lingkungan Studio Classic untuk domain atau profil pengguna tertentu.
+ Untuk mengatur file konfigurasi, mulailah dengan mengisi parameter defaultnya.
Untuk mengkonfigurasi salah satu atau semua nilai default yang tercantum dalam[Daftar parameter default yang didukung](#autopilot-list-default-parameters-create-experiment), administrator dapat membuat file konfigurasi bernama`config.yaml`, struktur yang harus mematuhi [file konfigurasi sampel](https://sagemaker.readthedocs.io/en/stable/overview.html#configuration-file-structure) ini. Cuplikan berikut menunjukkan contoh file konfigurasi dengan semua parameter yang didukung`AutoML`. Untuk informasi lebih lanjut tentang format file ini, lihat [skema lengkap](https://github.com/aws/sagemaker-python-sdk/blob/master/src/sagemaker/config/config_schema.py).
```
SchemaVersion: '1.0'
SageMaker:
AutoMLJob:
# https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html
AutoMLJobConfig:
SecurityConfig:
EnableInterContainerTrafficEncryption: true
VolumeKmsKeyId: 'kms-key-id'
VpcConfig:
SecurityGroupIds:
- 'security-group-id-1'
- 'security-group-id-2'
Subnets:
- 'subnet-1'
- 'subnet-2'
OutputDataConfig:
KmsKeyId: 'kms-key-id'
RoleArn: 'arn:aws:iam::111222333444:role/Admin'
Tags:
- Key: 'tag_key'
Value: 'tag_value'
```
+ Kemudian, tempatkan file konfigurasi di lokasi yang direkomendasikan dengan [menyalin file secara manual](#autopilot-intelligent-defaults-manual-setup) ke jalur yang direkomendasikan atau menggunakan [konfigurasi siklus hidup (LCC](#autopilot-intelligent-defaults-lcc-setup)).
File konfigurasi harus ada di setidaknya satu dari lokasi berikut di lingkungan Studio Classic pengguna. Secara default, SageMaker AI mencari file konfigurasi di dua lokasi:
+ Pertama, di`/etc/xdg/sagemaker/config.yaml`. Kami menyebut file ini sebagai *file konfigurasi administrator*.
+ Kemudian, di`/root/.config/sagemaker/config.yaml`. Kami menyebut file ini sebagai *file konfigurasi pengguna*.
Menggunakan file konfigurasi *administrator*, administrator dapat menentukan satu set nilai default. Secara opsional, mereka dapat menggunakan file konfigurasi *pengguna* untuk mengganti nilai yang ditetapkan dalam file konfigurasi *administrator*, atau menetapkan nilai parameter default tambahan.
Cuplikan berikut menunjukkan skrip contoh yang menulis file konfigurasi parameter default ke lokasi *administrator* di lingkungan Studio Classic pengguna. Anda dapat mengganti `/etc/xdg/sagemaker` dengan `/root/.config/sagemaker` untuk menulis file ke lokasi *pengguna*.
```
## Sample script with AutoML intelligent defaults
#!/bin/bash
sudo mkdir -p /etc/xdg/sagemaker
echo "SchemaVersion: '1.0'
CustomParameters:
AnyStringKey: 'AnyStringValue'
SageMaker:
AutoMLJob:
# https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html
AutoMLJobConfig:
SecurityConfig:
EnableInterContainerTrafficEncryption: true
VolumeKmsKeyId: 'kms-key-id'
VpcConfig:
SecurityGroupIds:
- 'security-group-id-1'
- 'security-group-id-2'
Subnets:
- 'subnet-1'
- 'subnet-2'
OutputDataConfig:
KmsKeyId: 'kms-key-id'
RoleArn: 'arn:aws:iam::111222333444:role/Admin'
Tags:
- Key: 'tag_key'
Value: 'tag_value'
" | sudo tee /etc/xdg/sagemaker/config.yaml
```
+ **Salin file secara manual** — Untuk menyalin file konfigurasi secara manual, jalankan [skrip](#autopilot-intelligent-defaults-manual-setup) yang dibuat pada langkah sebelumnya dari terminal Studio Classic. Dalam hal ini, profil pengguna yang mengeksekusi skrip dapat membuat eksperimen Autopilot dengan nilai default yang hanya berlaku untuk mereka.
+ **Buat konfigurasi siklus hidup SageMaker AI — Atau, Anda dapat menggunakan konfigurasi** [siklus hidup](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-lcc.html) (LCC) untuk mengotomatiskan penyesuaian lingkungan Studio Classic Anda. LCC adalah skrip shell yang dipicu oleh peristiwa siklus hidup Amazon SageMaker Studio Classic seperti memulai aplikasi Studio Classic. Kustomisasi ini termasuk menginstal paket khusus, mengonfigurasi ekstensi notebook, pra-pemuatan kumpulan data, menyiapkan repositori kode sumber, atau, dalam kasus kami, pra-mengisi parameter default. Administrator dapat melampirkan LCC ke domain Studio Classic untuk mengotomatiskan konfigurasi nilai default untuk setiap profil pengguna dalam domain tersebut.
Bagian berikut merinci cara membuat konfigurasi siklus hidup sehingga pengguna dapat memuat parameter default Autopilot secara otomatis saat meluncurkan Studio Classic. Anda dapat memilih untuk membuat LCC menggunakan Konsol SageMaker AI atau. AWS CLI
------
#### [ Create a LCC from the SageMaker AI Console ]
Gunakan langkah-langkah berikut untuk membuat LCC yang berisi parameter default Anda, lampirkan LCC ke domain atau profil pengguna, lalu luncurkan aplikasi Studio Classic yang telah diisi sebelumnya dengan parameter default yang ditetapkan oleh LCC menggunakan Konsol AI. SageMaker
+ **Untuk membuat konfigurasi siklus hidup yang menjalankan [skrip](#autopilot-intelligent-defaults-script) yang berisi nilai default Anda menggunakan Konsol AI SageMaker **
+ Buka konsol SageMaker AI di[https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/).
+ Di sisi kiri, arahkan ke **konfigurasi Admin, lalu konfigurasi** **Siklus Hidup**.
+ **Dari halaman **Konfigurasi Siklus Hidup**, navigasikan ke tab Studio Classic, lalu pilih Buat konfigurasi.**
+ Untuk **Nama**, ketikkan nama menggunakan karakter alfanumerik dan “-”, tetapi tidak ada spasi. Nama dapat memiliki maksimal 63 karakter.
+ Tempel [skrip](#autopilot-intelligent-defaults-script) Anda di bagian **Skrip**.
+ Pilih **Buat konfigurasi** untuk membuat konfigurasi siklus hidup. Ini menciptakan tipe `Kernel gateway app` LCC.
+ **Untuk melampirkan konfigurasi siklus hidup ke domain Studio Classic, spasi, atau profil pengguna**
Ikuti langkah-langkah di [Lampirkan konfigurasi siklus hidup ke domain Studio Classic atau profil pengguna](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-lcc-create-console.html#studio-lcc-create-console-step2) untuk melampirkan LCC Anda ke domain Studio Classic atau profil pengguna tertentu.
+ **Untuk meluncurkan aplikasi Studio Classic Anda dengan konfigurasi siklus hidup**
Setelah LCC dilampirkan ke domain atau profil pengguna, pengguna yang terkena dampak dapat memulai aplikasi Studio Classic dari halaman landing Studio Classic di Studio untuk mengambil default yang ditetapkan oleh LCC secara otomatis. Ini secara otomatis mengisi UI Studio Classic saat membuat eksperimen Autopilot.
------
#### [ Create a LCC from the AWS CLI ]
Gunakan cuplikan berikut untuk meluncurkan aplikasi Studio Classic yang menjalankan [skrip](#autopilot-intelligent-defaults-manual-setup) Anda menggunakan. AWS CLI Perhatikan bahwa `lifecycle_config.sh` adalah nama yang diberikan untuk skrip Anda dalam contoh ini.
Sebelum memulai:
+ Pastikan Anda telah memperbarui dan mengonfigurasi AWS CLI dengan menyelesaikan prasyarat yang dijelaskan dalam [Membuat konfigurasi siklus hidup dari](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-lcc-create-cli.html) konfigurasi. AWS CLI
+ Instal dokumentasi [OpenSSL](https://www.openssl.org/source/). AWS CLI Perintah ini menggunakan pustaka open source *OpenSSL* untuk menyandikan skrip Anda dalam format Base64. Persyaratan ini mencegah kesalahan yang terjadi dari spasi dan pengkodean jeda baris.
Anda sekarang dapat mengikuti tiga langkah ini:
+ **Buat konfigurasi siklus hidup baru yang mereferensikan skrip konfigurasi `lifecycle_config.sh`**
```
LCC_CONTENT=`openssl base64 -A -in lifecycle_config.sh`
## Create a new lifecycle config
aws sagemaker create-studio-lifecycle-config --region region \
--studio-lifecycle-config-name lcc-name \
--studio-lifecycle-config-content $LCC_CONTENT \
--studio-lifecycle-config-app-type default
```
Perhatikan ARN dari konfigurasi siklus hidup yang baru dibuat yang dikembalikan. ARN ini diperlukan untuk melampirkan konfigurasi siklus hidup ke aplikasi Anda.
+ **Lampirkan konfigurasi siklus hidup ke `JupyterServerApp`**
Contoh berikut menunjukkan cara membuat profil pengguna baru dengan konfigurasi siklus hidup terlampir. Untuk memperbarui profil pengguna yang ada, gunakan AWS CLI [update-user-profile](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/sagemaker/update-user-profile.html)perintah. [Untuk membuat atau memperbarui domain, lihat [create-domain dan update-domain](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/sagemaker/create-domain.html).](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/sagemaker/update-domain.html) Tambahkan ARN konfigurasi siklus hidup dari langkah sebelumnya ke pengaturan jenis aplikasi. `JupyterServerAppSettings` Anda dapat menambahkan beberapa konfigurasi siklus hidup secara bersamaan dengan menggunakan daftar konfigurasi siklus hidup.
```
# Create a new UserProfile
aws sagemaker create-user-profile --domain-id domain-id \
--user-profile-name user-profile-name \
--region region \
--user-settings '{
"JupyterServerAppSettings": {
"LifecycleConfigArns":
["lifecycle-configuration-arn"]
}
}'
```
Setelah LCC dilampirkan ke domain atau profil pengguna, pengguna yang terkena dampak dapat mematikan dan memperbarui aplikasi Studio Classic yang ada dengan mengikuti langkah-langkah di [Matikan dan Perbarui Amazon SageMaker Studio Classic](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-tasks-update-studio.html), atau memulai aplikasi Studio Classic baru dari AWS Konsol untuk mengambil default yang ditetapkan oleh LCC secara otomatis. Ini secara otomatis mengisi UI Studio Classic saat membuat eksperimen Autopilot. Atau, mereka dapat meluncurkan aplikasi Studio Classic baru menggunakan AWS CLI sebagai berikut.
+ **Luncurkan aplikasi Studio Classic Anda dengan konfigurasi siklus hidup menggunakan AWS CLI**
```
# Create a Jupyter Server application
aws sagemaker create-app --domain-id domain-id \
--user-profile-name user-profile-name \
--region region \
--app-type JupyterServer \
--resource-spec LifecycleConfigArn=lifecycle-configuration-arn \
--app-name default
```
Untuk informasi selengkapnya tentang membuat konfigurasi siklus hidup menggunakan AWS CLI, lihat [Membuat Konfigurasi Siklus Hidup](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-lcc-create-cli.html) dari konfigurasi. AWS CLI
------
**Untuk membuat eksperimen Autopilot menggunakan Studio Classic UI**
1. Masuk di [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/), pilih **Studio** dari panel navigasi kiri, pilih Domain dan profil pengguna Anda, lalu **Buka Studio**.
1. Di Studio, pilih ikon Studio Classic di panel navigasi kiri atas. Ini membuka aplikasi Studio Classic.
1. Jalankan atau buka aplikasi Studio Classic dari ruang pilihan Anda, atau **Buat ruang Studio Classic.** . Pada tab **Beranda**, pilih kartu **AutoML**. Ini membuka tab **AutoML** baru.
1. Pilih **Buat eksperimen AutoML**. Ini membuka tab **Buat eksperimen** baru.
1. Di bagian **Eksperimen dan detail data**, masukkan informasi berikut:
1. **Nama percobaan** — Harus unik untuk akun Anda saat ini Wilayah AWS dan berisi maksimal 63 karakter alfanumerik. Dapat menyertakan tanda hubung (-) tetapi bukan spasi.
1. **Input data** — Menyediakan lokasi bucket Amazon Simple Storage Service (Amazon S3) untuk data masukan Anda. Bucket S3 ini harus ada di ember Anda saat ini Wilayah AWS. URL harus dalam `s3://` format di mana Amazon SageMaker AI memiliki izin menulis. File harus dalam format CSV atau Parket dan berisi setidaknya 500 baris. Pilih **Jelajahi** untuk menggulir jalur yang tersedia dan **Pratinjau** untuk melihat sampel data masukan Anda.
1. **Apakah input S3 Anda file manifes?** — File manifes menyertakan metadata dengan data masukan Anda. Metadata menentukan lokasi data Anda di Amazon S3. Ini juga menentukan bagaimana data diformat dan atribut mana dari kumpulan data yang akan digunakan saat melatih model Anda. Anda dapat menggunakan file manifes sebagai alternatif untuk pra-pemrosesan saat data berlabel sedang dialirkan dalam mode. `Pipe`
1. **Pisahkan data secara otomatis?** Autopilot dapat membagi data Anda menjadi 80-20% untuk data pelatihan dan validasi. Jika Anda lebih suka pemisahan khusus, Anda dapat memilih **Tentukan rasio pemisahan**. Untuk menggunakan kumpulan data kustom untuk validasi, pilih **Menyediakan kumpulan validasi**.
1. **Lokasi data keluaran (bucket S3)** - Nama lokasi bucket S3 tempat Anda ingin menyimpan data keluaran. URL untuk bucket ini harus dalam format Amazon S3 di mana Amazon SageMaker AI memiliki izin menulis. Bucket S3 harus dalam arus Wilayah AWS. Autopilot juga dapat membuat ini untuk Anda di lokasi yang sama dengan data input Anda.
1. Pilih **Berikutnya: Target dan fitur**. Tab **Target dan fitur** terbuka.
1. Di bagian **Target dan fitur**:
+ Pilih kolom untuk ditetapkan sebagai target untuk prediksi model.
+ Secara opsional, Anda dapat meneruskan nama kolom bobot sampel di bagian **Bobot sampel** untuk meminta baris kumpulan data Anda diberi bobot selama pelatihan dan evaluasi. Untuk informasi selengkapnya tentang metrik objektif yang tersedia, lihat[Metrik tertimbang autopilot](autopilot-metrics-validation.md#autopilot-weighted-metrics).
**catatan**
Support untuk bobot sampel hanya tersedia dalam mode [ensembling](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-model-support-validation.html#autopilot-training-mode).
+ Anda juga dapat memilih fitur untuk pelatihan dan mengubah tipe datanya. Tipe data berikut tersedia:`Text`,`Numerical`,`Categorical`,`Datetime`,`Sequence`, dan`Auto`. Semua fitur dipilih secara default.
1. Pilih **Berikutnya: Metode pelatihan**. Tab **Metode pelatihan** terbuka.
1. Di bagian **Metode pelatihan**, pilih opsi pelatihan Anda: **Ensembling**, **Hyperparameter optimization (HPO)**, atau **Auto** untuk membiarkan Autopilot memilih metode pelatihan secara otomatis berdasarkan ukuran dataset. Setiap mode pelatihan menjalankan serangkaian algoritme yang telah ditentukan sebelumnya pada kumpulan data Anda untuk melatih kandidat model. Secara default, Autopilot pra-memilih semua algoritma yang tersedia untuk mode pelatihan yang diberikan. Anda dapat menjalankan eksperimen pelatihan Autopilot dengan semua algoritme atau memilih subset Anda sendiri.
[Untuk informasi lebih lanjut tentang mode pelatihan dan algoritme yang tersedia, lihat bagian **Mode pelatihan Autopilot di halaman Mode pelatihan** dan algoritme.](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-model-support-validation.html)
1. Pilih **Berikutnya: Deployment dan pengaturan lanjutan** untuk membuka tab **Deployment dan advanced settings**. Pengaturan mencakup nama titik akhir tampilan otomatis, jenis masalah pembelajaran mesin, dan pilihan tambahan untuk menjalankan eksperimen Anda.
1. **Pengaturan penyebaran** — Autopilot dapat secara otomatis membuat titik akhir dan menerapkan model Anda untuk Anda.
****Untuk menerapkan otomatis ke titik akhir yang dibuat secara otomatis, atau untuk memberikan nama titik akhir untuk penerapan khusus, setel sakelar ke Ya di bawah Penerapan otomatis?**** Jika Anda mengimpor data dari Amazon SageMaker Data Wrangler, Anda memiliki opsi tambahan untuk menerapkan model terbaik secara otomatis dengan atau tanpa transformasi dari Data Wrangler.
**catatan**
Jika alur Data Wrangler berisi operasi multi-baris seperti`groupby`,, atau `join``concatenate`, Anda tidak dapat menerapkan otomatis dengan transformasi ini. Untuk informasi selengkapnya, lihat [Melatih Model Secara Otomatis pada Alur Data Anda](https://docs.aws.amazon.com/sagemaker/latest/dg/data-wrangler-autopilot.html).
1. **Pengaturan lanjutan (opsional)** - Autopilot menyediakan kontrol tambahan untuk mengatur parameter eksperimental secara manual seperti menentukan jenis masalah Anda, batasan waktu pada pekerjaan dan uji coba Autopilot Anda, keamanan, dan pengaturan enkripsi.
**catatan**
Autopilot mendukung pengaturan nilai default untuk menyederhanakan konfigurasi eksperimen Autopilot menggunakan Studio Classic UI. *Administrator dapat menggunakan [konfigurasi siklus hidup](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-lcc.html) Studio Classic (LCC) untuk mengatur infrastruktur, jaringan, dan nilai keamanan dalam file konfigurasi dan mengisi pengaturan lanjutan pekerjaan.* `AutoML`
Untuk mempelajari tentang bagaimana administrator dapat mengotomatiskan kustomisasi eksperimen Autopilot, lihat. [Konfigurasikan parameter default eksperimen Autopilot (untuk administrator)](autopilot-set-default-parameters-create-experiment.md)
1. **Jenis masalah pembelajaran mesin** — Autopilot dapat secara otomatis menyimpulkan jenis masalah pembelajaran yang diawasi dari kumpulan data Anda. Jika Anda lebih suka memilihnya secara manual, Anda dapat menggunakan menu tarik-turun **Pilih jenis masalah pembelajaran mesin**. **Perhatikan bahwa defaultnya ke Auto.** Dalam beberapa kasus, SageMaker AI tidak dapat menyimpulkan secara akurat. Ketika itu terjadi, Anda harus memberikan nilai agar pekerjaan berhasil. Secara khusus, Anda dapat memilih dari jenis berikut:
+ **Klasifikasi biner** — Klasifikasi biner memberikan data input ke salah satu dari dua kelas yang telah ditentukan dan saling eksklusif, berdasarkan atributnya, seperti diagnosis medis berdasarkan hasil tes diagnostik yang menentukan apakah seseorang memiliki penyakit.
+ **Regresi** menetapkan hubungan antara variabel input (juga dikenal sebagai variabel independen atau fitur) dan variabel target (juga dikenal sebagai variabel dependen). Hubungan ini ditangkap melalui fungsi matematika atau model yang memetakan variabel input ke output kontinu. Ini biasanya digunakan untuk tugas-tugas seperti memprediksi harga rumah berdasarkan fitur seperti luas persegi dan jumlah kamar mandi, tren pasar saham, atau memperkirakan angka penjualan.
+ **Klasifikasi multiclass — Klasifikasi** multiclass memberikan data input ke salah satu dari beberapa kelas berdasarkan atributnya, seperti prediksi topik yang paling relevan dengan dokumen teks, seperti politik, keuangan, atau filsafat.
1. **Runtime** — Anda dapat menentukan batas waktu maksimum. Setelah mencapai batas waktu, uji coba dan pekerjaan yang melebihi batasan waktu secara otomatis berhenti.
1. **Akses** - Anda dapat memilih peran yang diasumsikan Amazon SageMaker Studio Classic untuk mendapatkan akses sementara Layanan AWS (khususnya, SageMaker AI dan Amazon S3) atas nama Anda. Jika tidak ada peran yang didefinisikan secara eksplisit, Studio Classic secara otomatis menggunakan peran eksekusi SageMaker AI default yang dilampirkan ke profil pengguna Anda.
1. **Enkripsi** — Untuk meningkatkan keamanan data Anda saat istirahat dan melindunginya dari akses yang tidak sah, Anda dapat menentukan kunci enkripsi untuk mengenkripsi data di bucket Amazon S3 dan di volume Amazon Elastic Block Store (Amazon EBS) yang dilampirkan ke domain Studio Classic Anda.
1. **Keamanan** — Anda dapat memilih cloud pribadi virtual (Amazon VPC) tempat pekerjaan SageMaker AI Anda berjalan. Pastikan Amazon VPC memiliki akses ke bucket Amazon S3 input dan output Anda.
1. **Proyek** — Tentukan nama proyek SageMaker AI untuk dikaitkan dengan eksperimen Autopilot dan keluaran model ini. Saat Anda menentukan proyek, Autopilot menandai proyek tersebut ke eksperimen. Ini memungkinkan Anda mengetahui keluaran model mana yang terkait dengan proyek ini.
1. **Tag** — Tag adalah array pasangan kunci-nilai. Gunakan tag untuk mengkategorikan sumber daya Anda Layanan AWS, seperti tujuan, pemilik, atau lingkungannya.
1. Pilih **Berikutnya: Tinjau dan buat** untuk mendapatkan ringkasan eksperimen Autopilot Anda sebelum Anda membuatnya.
1. Pilih **Buat eksperimen.Pembuatan** eksperimen memulai pekerjaan Autopilot di AI. SageMaker Autopilot memberikan status eksperimen, informasi tentang proses eksplorasi data dan kandidat model di notebook, daftar model yang dihasilkan dan laporannya, dan profil pekerjaan yang digunakan untuk membuatnya.
Untuk informasi tentang buku catatan yang dihasilkan oleh pekerjaan Autopilot, lihat. [Notebook autopilot dihasilkan untuk mengelola tugas AutoML](autopilot-automate-model-development-notebook-output.md) Untuk informasi tentang detail masing-masing kandidat model dan laporannya, lihat [Lihat detail model](autopilot-models-details.md) dan[Lihat laporan kinerja model Autopilot](autopilot-model-insights.md).
**catatan**
Untuk menghindari biaya yang tidak perlu: Jika Anda menerapkan model yang tidak lagi diperlukan, hapus titik akhir dan sumber daya yang dibuat selama penerapan tersebut. Informasi tentang instans harga menurut Wilayah tersedia di [Amazon SageMaker Pricing](https://aws.amazon.com/sagemaker/pricing/).
# Notebook SageMaker contoh Amazon Autopilot
Notebook berikut berfungsi sebagai contoh praktis dan langsung yang membahas berbagai kasus penggunaan Autopilot.
Anda dapat menemukan semua notebook Autopilot di [https://github.com/aws/amazon-sagemaker-examples/tree/main/autopilot](https://github.com/aws/amazon-sagemaker-examples/tree/main/autopilot)direktori repositori contoh AI. SageMaker GitHub
Kami merekomendasikan kloning repositori Git lengkap dalam Studio Classic untuk mengakses dan menjalankan notebook secara langsung. Untuk informasi tentang cara mengkloning repositori Git di Studio Classic, lihat. [Mengkloning Repositori Git di Amazon Studio Classic SageMaker](studio-tasks-git.md)
| **Kasus penggunaan** | **Deskripsi** |
| --- | --- |
| [Inferensi tanpa server](https://github.com/aws/amazon-sagemaker-examples/tree/main/autopilot/autopilot-serverless-inference) | Secara default, Autopilot memungkinkan penerapan model yang dihasilkan ke titik akhir inferensi waktu nyata. Dalam repositori ini, notebook mengilustrasikan cara menerapkan model Autopilot yang dilatih dan mode ke titik akhir tanpa server. `ENSEMBLING` `HYPERPARAMETER OPTIMIZATION (HPO)` Titik akhir tanpa server secara otomatis meluncurkan sumber daya komputasi dan menskalakannya masuk dan keluar tergantung pada lalu lintas, sehingga tidak perlu memilih jenis instance atau mengelola kebijakan penskalaan. |
| [Pemilihan fitur kustom](https://github.com/aws/amazon-sagemaker-examples/tree/main/autopilot/custom-feature-selection) | Autopilot memeriksa kumpulan data Anda, dan menjalankan sejumlah kandidat untuk mengetahui kombinasi optimal dari langkah-langkah pra-pemrosesan data, algoritme pembelajaran mesin, dan hiperparameter. Anda dapat dengan mudah menerapkan baik pada titik akhir real-time atau untuk pemrosesan batch. Dalam beberapa kasus, Anda mungkin ingin memiliki fleksibilitas untuk membawa kode pemrosesan data khusus ke Autopilot. Misalnya, kumpulan data Anda mungkin berisi sejumlah besar variabel independen, dan Anda mungkin ingin memasukkan langkah pemilihan fitur khusus untuk menghapus variabel yang tidak relevan terlebih dahulu. Dataset yang lebih kecil yang dihasilkan kemudian dapat digunakan untuk meluncurkan pekerjaan Autopilot. Pada akhirnya, Anda juga ingin menyertakan kode pemrosesan khusus dan model dari Autopilot untuk pemrosesan real-time atau batch. |
| [Contoh pipa](https://github.com/aws/amazon-sagemaker-examples/tree/main/autopilot/sagemaker-autopilot-pipelines) | Sementara Autopilot merampingkan proses pembuatan model ML, MLOps para insinyur masih bertanggung jawab untuk membuat, mengotomatisasi, dan mengelola end-to-end alur kerja ML dalam produksi. SageMaker Pipelines dapat membantu mengotomatisasi berbagai langkah siklus hidup ML, seperti prapemrosesan data, pelatihan model, penyetelan hiperparameter, evaluasi model, dan penerapan. Notebook ini berfungsi sebagai demonstrasi bagaimana menggabungkan Autopilot ke dalam alur kerja pelatihan AutoML Pipelines SageMaker . end-to-end [https://docs.aws.amazon.com/sagemaker/latest/dg/build-and-manage-steps.html#step-type-lambda](https://docs.aws.amazon.com/sagemaker/latest/dg/build-and-manage-steps.html#step-type-lambda) Untuk informasi selengkapnya, lihat [Pindahkan model Amazon SageMaker Autopilot MLdari eksperimen ke produksi menggunakan](https://aws.amazon.com/blogs/machine-learning/move-amazon-sagemaker-autopilot-ml-models-from-experimentation-to-production-using-amazon-sagemaker-pipelines/) Amazon Pipelines. SageMaker [Atau, saat menggunakan Autopilot dalam [mode Ensembling](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-model-support-validation.html), Anda dapat merujuk ke contoh notebook yang menunjukkan cara menggunakan langkah AutoML asli dalam langkah AutoML asli Pipeline. SageMaker ](https://github.com/aws/amazon-sagemaker-examples/blob/main/autopilot/sagemaker-autopilot-pipelines/autopilot_pipelines_demo_notebook.ipynb) Dengan Autopilot didukung sebagai langkah asli dalam Pipelines, Anda sekarang dapat menambahkan langkah pelatihan otomatis ([Otomatis MLStep](https://docs.aws.amazon.com/sagemaker/latest/dg/build-and-manage-steps.html#step-type-automl)) ke Pipelines Anda dan menjalankan eksperimen Autopilot dalam mode Ensembling. |
| [Pemasaran langsung dengan Amazon SageMaker Autopilot](https://sagemaker-examples.readthedocs.io/en/latest/autopilot/sagemaker_autopilot_direct_marketing.html) | Notebook ini menunjukkan bagaimana menggunakan [Kumpulan Data Pemasaran Bank](https://archive.ics.uci.edu/ml/datasets/bank+marketing) untuk memprediksi apakah pelanggan akan mendaftar untuk deposito berjangka di bank. Anda dapat menggunakan Autopilot pada kumpulan data ini untuk mendapatkan pipeline ML paling akurat dengan menjelajahi opsi yang terdapat dalam berbagai jalur pipa kandidat. Autopilot menghasilkan setiap kandidat dalam prosedur dua langkah. Langkah pertama melakukan rekayasa fitur otomatis pada kumpulan data. Langkah kedua melatih dan menyetel algoritma untuk menghasilkan model. Notebook berisi instruksi tentang cara melatih model dan cara menerapkan model untuk melakukan inferensi batch menggunakan kandidat terbaik. |
| [Prediksi Churn Pelanggan dengan Amazon Autopilot SageMaker ](https://sagemaker-examples.readthedocs.io/en/latest/autopilot/autopilot_customer_churn.html) | Notebook ini menjelaskan penggunaan pembelajaran mesin untuk identifikasi otomatis pelanggan yang tidak bahagia, juga dikenal sebagai prediksi churn pelanggan. Contoh menunjukkan bagaimana menganalisis dataset yang tersedia untuk umum dan melakukan rekayasa fitur di atasnya. Selanjutnya ini menunjukkan cara menyetel model dengan memilih pipeline berkinerja terbaik bersama dengan hyperparameters optimal untuk algoritma pelatihan. Akhirnya, ini menunjukkan bagaimana menerapkan model ke titik akhir yang dihosting dan bagaimana mengevaluasi prediksinya terhadap kebenaran dasar. Namun, model ML jarang memberikan prediksi yang sempurna. Itu sebabnya notebook ini juga menunjukkan bagaimana menggabungkan biaya relatif kesalahan prediksi saat menentukan hasil keuangan menggunakan ML. |
| [Prediksi Churn Pelanggan Kandidat Teratas dengan Amazon SageMaker Autopilot dan Batch Transform (Python SDK)](https://sagemaker-examples.readthedocs.io/en/latest/autopilot/autopilot_customer_churn_high_level_with_evaluation.html) | Notebook ini juga menjelaskan penggunaan pembelajaran mesin untuk identifikasi otomatis pelanggan yang tidak bahagia, juga dikenal sebagai prediksi churn pelanggan. Notebook ini mendemonstrasikan cara mengonfigurasi model untuk mendapatkan probabilitas inferensi, memilih model N teratas, dan membuat Batch Transform pada set pengujian penahanan untuk evaluasi. Notebook ini bekerja dengan SageMaker Python SDK >= 1.65.1 dirilis pada 6/19/2020. |
| [Membawa kode pemrosesan data Anda sendiri ke Amazon SageMaker Autopilot](https://sagemaker-examples.readthedocs.io/en/latest/autopilot/custom-feature-selection/Feature_selection_autopilot.html) | Notebook ini menunjukkan cara menggabungkan dan menerapkan kode pemrosesan data kustom saat menggunakan Amazon SageMaker Autopilot. Ini menambahkan langkah pemilihan fitur khusus untuk menghapus variabel yang tidak relevan ke pekerjaan Autopilot. Ini kemudian menunjukkan bagaimana menerapkan kode pemrosesan khusus dan model yang dihasilkan oleh Autopilot pada titik akhir waktu nyata dan, sebagai alternatif, untuk pemrosesan batch. |
| Lebih banyak notebook | Anda dapat menemukan lebih banyak buku catatan yang menggambarkan kasus penggunaan lain seperti [transformasi batch](https://github.com/aws/amazon-sagemaker-examples/blob/main/autopilot/ap-batch-transform.ipynb), [peramalan deret waktu](https://github.com/aws/amazon-sagemaker-examples/blob/main/autopilot/autopilot_time_series.ipynb), dan lainnya di direktori root. |
# Video: Gunakan Autopilot untuk mengotomatisasi dan menjelajahi proses pembelajaran mesin
Berikut adalah seri video yang menyediakan tur kemampuan Amazon SageMaker Autopilot menggunakan Studio Classic. Mereka menunjukkan bagaimana memulai pekerjaan AutoML, menganalisis dan memproses data sebelumnya, bagaimana melakukan rekayasa fitur dan optimasi hyperparameter pada model kandidat, dan bagaimana memvisualisasikan dan membandingkan metrik model yang dihasilkan.
**Topics**
+ [
## Memulai pekerjaan AutoML dengan Amazon Autopilot SageMaker
](#autopilot-video-start-automl-job)
+ [
## Tinjau eksplorasi data dan rekayasa fitur otomatis di Autopilot.
](#autopilot-video-generated-notebooks)
+ [
## Tune model untuk mengoptimalkan kinerja
](#autopilot-video-optimizing-model-performance)
+ [
## Pilih dan gunakan model terbaik
](#autopilot-video-choose-and-deploy-the-best-model)
+ [
## Amazon SageMaker Autopilot tutorial
](#autopilot-walkthrough)
## Memulai pekerjaan AutoML dengan Amazon Autopilot SageMaker
Video ini menunjukkan kepada Anda cara memulai pekerjaan AutoML dengan Autopilot. (Panjangnya: 8:41)
[](http://www.youtube.com/watch?v=https://www.youtube.com/embed/qMEtqJPhqpA)
## Tinjau eksplorasi data dan rekayasa fitur otomatis di Autopilot.
Video ini menunjukkan kepada Anda cara meninjau eksplorasi data dan notebook definisi kandidat yang dihasilkan oleh Amazon SageMaker Autopilot. (Panjangnya: 10:04)
[](http://www.youtube.com/watch?v=https://www.youtube.com/embed/WsfRAeGzgm8)
## Tune model untuk mengoptimalkan kinerja
Video ini menunjukkan kepada Anda cara mengoptimalkan kinerja model selama pelatihan menggunakan penyetelan hyperparameter. (Panjangnya: 4:59)
[](http://www.youtube.com/watch?v=https://www.youtube.com/embed/KZSTsWrDGXs)
## Pilih dan gunakan model terbaik
Video ini menunjukkan kepada Anda cara menggunakan metrik pekerjaan untuk memilih model terbaik dan kemudian cara menerapkannya. (Panjangnya: 5:20)
[](http://www.youtube.com/watch?v=https://www.youtube.com/embed/vRHyX3kDstI)
## Amazon SageMaker Autopilot tutorial
Video ini memandu Anda melalui demo ujung ke ujung di mana kami pertama kali membangun model klasifikasi biner secara otomatis dengan Amazon SageMaker Autopilot. Kami melihat bagaimana model kandidat telah dibangun dan dioptimalkan menggunakan notebook yang dibuat secara otomatis. Kami juga melihat kandidat teratas dengan SageMaker Eksperimen Amazon. Akhirnya, kami menerapkan kandidat teratas (berdasarkan XGBoost), dan mengonfigurasi pengambilan data dengan SageMaker Model Monitor.
[](http://www.youtube.com/watch?v=https://www.youtube.com/embed/DRjOOaR2prQ)
# Kuota autopilot
Ada kuota yang membatasi sumber daya yang tersedia untuk Anda saat menggunakan Amazon SageMaker Autopilot. Beberapa dari batasan ini dapat ditingkatkan dan beberapa tidak.
**catatan**
Kuota sumber daya yang didokumentasikan di bagian berikut berlaku untuk versi Amazon SageMaker Studio Classic 3.22.2 dan yang lebih tinggi. Untuk informasi tentang memperbarui versi SageMaker Studio Classic, lihat[Matikan dan Perbarui Amazon SageMaker Studio Classic dan Aplikasi](studio-tasks-update.md).
**Topics**
+ [
## Kuota yang dapat Anda tingkatkan
](#autopilot-quotas-limits-increasable)
+ [
## Kuota sumber daya
](#autopilot-quotas-resource-limits)
## Kuota yang dapat Anda tingkatkan
Tabel berikut berisi batas sumber daya untuk kuota yang dapat Anda tingkatkan:
| Sumber Daya | Wilayah | Batas default | Dapat ditingkatkan hingga |
| --- | --- | --- | --- |
| Ukuran dataset masukan | Semua | 100 GB | Ratusan GBs |
| Ukuran file Parket tunggal\$1 | Semua | 2 GB | N/A |
| Ukuran set data target untuk subsampling\$1\$1 | Semua | 5 GB | Ratusan GBs |
| Jumlah pekerjaan Autopilot bersamaan | us-east-1, us-east-2, us-barat-2, ap-northeast-1, eu-west-1, eu-west-1, eu-central-1 | 4 | Ratusan |
| Jumlah pekerjaan Autopilot bersamaan | ap-northeast-2, ap-southeast-2, eu-barat-2, ap-southeast-1 | 2 | Ratusan |
| Jumlah pekerjaan Autopilot bersamaan | Wilayah Lainnya | 1 | Puluhan |
**catatan**
\$1 Batas ukuran 2 GB ini untuk satu file Parket terkompresi. Anda dapat menyediakan kumpulan data Parket yang mencakup beberapa file Parket terkompresi hingga ukuran maksimum kumpulan data input. Setelah file didekompresi, masing-masing dapat diperluas ke ukuran yang lebih besar.
\$1\$1 Autopilot secara otomatis mensubsampel kumpulan data input yang lebih besar dari ukuran set data target sambil memperhitungkan ketidakseimbangan kelas dan mempertahankan label kelas langka.
**Untuk meminta peningkatan kuota:**
1. Buka konsol [Service Quotas](https://console.aws.amazon.com/servicequotas/home/services/sagemaker/quotas).
1. Pilih peningkatan kuota Anda, lalu pilih **Permintaan kenaikan di tingkat akun**.
1. Dalam **nilai kuota Naikkan**, masukkan nilai limit baru yang Anda minta.
1. Pilih **Minta**.
## Kuota sumber daya
Tabel berikut berisi batas sumber daya runtime untuk pekerjaan Amazon SageMaker Autopilot di file. Wilayah AWS
| Sumber Daya | Batas per pekerjaan Autopilot |
| --- | --- |
| Runtime maksimum untuk pekerjaan Autopilot | 30 hari |
# Panduan Referensi API untuk Autopilot
Bagian ini menyediakan subset dari REST layanan HTTP APIs untuk membuat dan mengelola SageMaker sumber daya Amazon Autopilot (pekerjaan AutoML) secara terprogram.
Jika bahasa pilihan Anda adalah Python, Anda dapat merujuk ke [AWS SDK untuk Python (Boto3)](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html)atau [MLV2 objek Auto](https://sagemaker.readthedocs.io/en/stable/api/training/automlv2.html#sagemaker.automl.automlv2.AutoMLV2) dari Amazon SageMaker Python SDK secara langsung.
## Tindakan API AutoML
Daftar ini merinci operasi yang tersedia di API Referensi untuk mengelola pekerjaan AutoML secara terprogram.
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJob.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJob.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ListAutoMLJobs.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ListAutoMLJobs.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ListCandidatesForAutoMLJob.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ListCandidatesForAutoMLJob.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_StopAutoMLJob.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_StopAutoMLJob.html)
**catatan**
[CreateAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html) dan [DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html) adalah versi baru [CreateAutoMLJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html)dan [DescribeAutoMLJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJob.html)yang menawarkan kompatibilitas mundur.
Kami merekomendasikan menggunakan`CreateAutoMLJobV2`. `CreateAutoMLJobV2`dapat mengelola jenis masalah tabular yang identik dengan versi sebelumnya`CreateAutoMLJob`, serta jenis masalah non-tabular seperti klasifikasi gambar atau teks, atau peramalan deret waktu.
Temukan panduan tentang cara memigrasikan `CreateAutoMLJob` ke `CreateAutoMLJobV2` dalam [Migrasi CreateAuto MLJob ke CreateAuto MLJob V2](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-automate-model-development-create-experiment.html#autopilot-create-experiment-api-migrate-v1-v2).
## Tipe Data API AutoML
Daftar ini merinci objek API AutoML yang digunakan oleh tindakan di atas sebagai permintaan masuk atau respons keluar.
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLAlgorithmConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLAlgorithmConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidate.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidate.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidateGenerationConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidateGenerationConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidateStep.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidateStep.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLChannel.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLChannel.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLContainerDefinition.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLContainerDefinition.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSource.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSource.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSplitConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSplitConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLInferenceContainerDefinitions.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLInferenceContainerDefinitions.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobArtifacts.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobArtifacts.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobCompletionCriteria.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobCompletionCriteria.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobInputDataConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobInputDataConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobObjective.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobObjective.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobStepMetadata.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobStepMetadata.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobSummary.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobSummary.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLOutputDataConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLOutputDataConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLProblemTypeConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLProblemTypeConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobCompletionCriteria.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobCompletionCriteria.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobSummary.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobSummary.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLOutputDataConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLOutputDataConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLPartialFailureReason.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLPartialFailureReason.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLProblemTypeConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLProblemTypeConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLProblemTypeResolvedAttributes.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLProblemTypeResolvedAttributes.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLResolvedAttributes.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLResolvedAttributes.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLSecurityConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLSecurityConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLS3DataSource.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLS3DataSource.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateArtifactLocations.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateArtifactLocations.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateGenerationConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateGenerationConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateProperties.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateProperties.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_FinalAutoMLJobObjectiveMetric.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_FinalAutoMLJobObjectiveMetric.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_HolidayConfigAttributes.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_HolidayConfigAttributes.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ImageClassificationJobConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ImageClassificationJobConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_MetricDatum.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_MetricDatum.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployResult.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployResult.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ResolvedAttributes.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ResolvedAttributes.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TabularJobConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TabularJobConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TabularResolvedAttributes.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TabularResolvedAttributes.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TextGenerationJobConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TextGenerationJobConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TextGenerationResolvedAttribute.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TextGenerationResolvedAttribute.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TimeSeriesConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TimeSeriesConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TimeSeriesForecastingJobConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TimeSeriesForecastingJobConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TimeSeriesTransformations.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TimeSeriesTransformations.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TuningJobCompletionCriteria.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TuningJobCompletionCriteria.html)