Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
# Buat pekerjaan AutoML untuk menyempurnakan model pembuatan teks menggunakan API
Model bahasa besar (LLMs) unggul dalam beberapa tugas generatif, termasuk pembuatan teks, ringkasan, penyelesaian, menjawab pertanyaan, dan banyak lagi. Kinerja mereka dapat dikaitkan dengan ukuran signifikan dan pelatihan ekstensif pada kumpulan data yang beragam dan berbagai tugas. Namun, domain tertentu, seperti layanan kesehatan dan keuangan, mungkin memerlukan penyesuaian khusus untuk beradaptasi dengan data unik dan kasus penggunaan. Dengan menyesuaikan pelatihan mereka dengan domain khusus mereka, LLMs dapat meningkatkan kinerja mereka dan memberikan output yang lebih akurat untuk aplikasi yang ditargetkan.
Autopilot menawarkan kemampuan untuk menyempurnakan pilihan model teks generatif yang telah dilatih sebelumnya. Secara khusus, Autopilot mendukung **fine tuning berbasis instruksi** dari pilihan model bahasa besar () tujuan umum yang didukung oleh. LLMs JumpStart
**catatan**
Model pembuatan teks yang mendukung fine-tuning di Autopilot saat ini dapat diakses secara eksklusif di Wilayah yang didukung oleh Canvas. SageMaker Lihat dokumentasi SageMaker Canvas untuk [daftar lengkap Wilayah yang didukung](https://docs.aws.amazon.com/sagemaker/latest/dg/canvas.html).
Penyetelan model yang telah dilatih sebelumnya memerlukan kumpulan data spesifik dari instruksi yang jelas yang memandu model tentang cara menghasilkan output atau berperilaku untuk tugas itu. Model belajar dari kumpulan data, menyesuaikan parameternya agar sesuai dengan instruksi yang diberikan. Penyetelan berbasis instruksi melibatkan penggunaan contoh berlabel yang diformat sebagai pasangan respons prompt dan diungkapkan sebagai instruksi. Untuk informasi selengkapnya tentang fine-tuning, lihat Menyempurnakan [model](https://docs.aws.amazon.com/sagemaker/latest/dg/jumpstart-foundation-models-fine-tuning.html) foundation.
[Pedoman berikut menguraikan proses pembuatan pekerjaan Amazon SageMaker Autopilot sebagai percobaan percontohan untuk menyempurnakan pembuatan teks menggunakan Referensi API. LLMs SageMaker ](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-reference.html)
**catatan**
[Tugas seperti klasifikasi teks dan gambar, peramalan deret waktu, dan fine-tuning model bahasa besar tersedia secara eksklusif melalui API REST AutoML versi 2.](autopilot-reference.md) Jika bahasa pilihan Anda adalah Python, Anda dapat merujuk ke [AWS SDK untuk Python (Boto3)](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker/client/create_auto_ml_job_v2.html)atau [MLV2 objek Auto](https://sagemaker.readthedocs.io/en/stable/api/training/automlv2.html#sagemaker.automl.automlv2.AutoMLV2) dari Amazon SageMaker Python SDK secara langsung.
Pengguna yang lebih menyukai kenyamanan antarmuka pengguna dapat menggunakan [Amazon SageMaker Canvas](https://docs.aws.amazon.com/sagemaker/latest/dg/canvas-getting-started.html) untuk mengakses model pra-terlatih dan model dasar AI generatif, atau membuat model khusus yang disesuaikan untuk teks tertentu, klasifikasi gambar, kebutuhan peramalan, atau AI generatif.
Untuk membuat eksperimen Autopilot secara terprogram untuk menyempurnakan LLM, Anda dapat memanggil API [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html)dalam bahasa apa pun yang didukung oleh Amazon Autopilot atau. SageMaker AWS CLI
Untuk informasi tentang cara tindakan API ini diterjemahkan ke dalam fungsi dalam bahasa pilihan Anda, lihat bagian [Lihat Juga](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#API_CreateAutoMLJobV2_SeeAlso) `CreateAutoMLJobV2` dan pilih SDK. Sebagai contoh, untuk pengguna Python, lihat sintaks permintaan lengkap dari in. `[create\$1auto\$1ml\$1job\$1v2](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html#SageMaker.Client.create_auto_ml_job_v2)` AWS SDK untuk Python (Boto3)
**catatan**
Autopilot menyempurnakan model bahasa besar tanpa memerlukan banyak kandidat untuk dilatih dan dievaluasi. Alih-alih, menggunakan kumpulan data Anda, Autopilot secara langsung menyempurnakan model target Anda untuk meningkatkan metrik objektif default, kehilangan lintas entropi. Model bahasa fine-tuning di Autopilot tidak memerlukan pengaturan bidang. `AutoMLJobObjective`
Setelah LLM Anda disetel dengan baik, Anda dapat mengevaluasi kinerjanya dengan mengakses berbagai ROUGE skor melalui `[BestCandidate](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateProperties.html#sagemaker-Type-CandidateProperties-CandidateMetrics)` saat melakukan panggilan API. `[DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html)` Model ini juga memberikan informasi tentang pelatihan dan kehilangan validasi serta kebingungannya. Untuk daftar lengkap metrik untuk mengevaluasi kualitas teks yang dihasilkan oleh model yang disetel dengan baik, lihat. [Metrik untuk menyempurnakan model bahasa besar di Autopilot](autopilot-llms-finetuning-metrics.md)
## Prasyarat
Sebelum menggunakan Autopilot untuk membuat eksperimen fine-tuning di SageMaker AI, pastikan untuk mengambil langkah-langkah berikut:
+ (Opsional) Pilih model pra-terlatih yang ingin Anda sesuaikan.
Untuk daftar model pra-terlatih yang tersedia untuk fine-tuning di SageMaker Amazon Autopilot, lihat. [Model bahasa besar yang didukung untuk fine-tuning](autopilot-llms-finetuning-models.md) *Pemilihan model tidak wajib; jika tidak ada model yang ditentukan, Autopilot secara otomatis default ke model Falcon7. BInstruct*
+ Buat kumpulan data instruksi. Lihat [Jenis file dataset dan format data input](autopilot-llms-finetuning-data-format.md) untuk mempelajari tentang persyaratan format untuk kumpulan data berbasis instruksi Anda.
+ Tempatkan kumpulan data Anda di bucket Amazon S3.
+ Berikan akses penuh ke bucket Amazon S3 yang berisi data input Anda untuk peran eksekusi SageMaker AI yang digunakan untuk menjalankan eksperimen Anda.
+ Untuk informasi tentang mengambil peran eksekusi SageMaker AI Anda, lihat[Dapatkan peran eksekusi Anda](sagemaker-roles.md#sagemaker-roles-get-execution-role).
+ Untuk informasi tentang pemberian izin peran eksekusi SageMaker AI untuk mengakses satu atau beberapa bucket spesifik di Amazon S3, lihat Menambahkan Izin Amazon S3 Tambahan ke *Peran* Eksekusi AI di. SageMaker [Buat peran eksekusi](sagemaker-roles.md#sagemaker-roles-create-execution-role)
+ Selain itu, Anda harus memberi peran eksekusi izin yang diperlukan untuk mengakses bucket Amazon S3 penyimpanan default yang digunakan oleh. JumpStart Akses ini diperlukan untuk menyimpan dan mengambil artefak model pra-terlatih di. JumpStart Untuk memberikan akses ke bucket Amazon S3 ini, Anda harus membuat kebijakan kustom inline baru pada peran eksekusi Anda.
Berikut adalah contoh kebijakan yang dapat Anda gunakan di editor JSON Anda saat mengonfigurasi pekerjaan fine-tuning AutoML di: `us-west-2`
*JumpStartnama bucket mengikuti pola yang telah ditentukan yang bergantung pada. Wilayah AWS Anda harus menyesuaikan nama ember yang sesuai.*
```
{
"Sid": "Statement1",
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:PutObject",
"s3:ListBucket"
],
"Resource": [
"arn:aws:s3:::jumpstart-cache-prod-us-west-2",
"arn:aws:s3:::jumpstart-cache-prod-us-west-2/*"
]
}
```
Setelah ini selesai, Anda dapat menggunakan ARN dari peran eksekusi ini dalam permintaan API Autopilot.
## Parameter yang diperlukan
Saat menelepon `[CreateAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html)` untuk membuat eksperimen Autopilot untuk fine-tuning LLM, Anda harus memberikan nilai berikut:
+ An `[AutoMLJobName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#API_CreateAutoMLJobV2_RequestSyntax)` untuk menentukan nama pekerjaan Anda. Nama harus bertipe`string`, dan harus memiliki panjang minimal 1 karakter dan panjang maksimum 32.
+ Setidaknya `[AutoMLJobChannel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html)` salah satu `training` tipe di dalam`[AutoMLJobInputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLJobInputDataConfig)`. Saluran ini menentukan nama bucket Amazon S3 tempat dataset fine-tuning Anda berada. Anda memiliki opsi untuk menentukan `validation` saluran. Jika tidak ada saluran validasi yang disediakan, dan a `ValidationFraction` dikonfigurasi di [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSplitConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSplitConfig.html), fraksi ini digunakan untuk membagi kumpulan data pelatihan secara acak menjadi set pelatihan dan validasi. Selain itu, Anda dapat menentukan jenis konten (file CSV atau Parket) untuk kumpulan data.
+ `[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)`Jenis `[TextGenerationJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TextGenerationJobConfig.html)` untuk mengonfigurasi pengaturan pekerjaan pelatihan Anda.
Secara khusus, Anda dapat menentukan nama model dasar untuk menyempurnakan bidang. `BaseModelName` Untuk daftar model pra-terlatih yang tersedia untuk fine-tuning di SageMaker Amazon Autopilot, lihat. [Model bahasa besar yang didukung untuk fine-tuning](autopilot-llms-finetuning-models.md)
+ `[OutputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLOutputDataConfig.html)`Untuk menentukan jalur keluaran Amazon S3 untuk menyimpan artefak pekerjaan AutoML Anda.
+ A `[RoleArn](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html#sagemaker-CreateAutoMLJob-request-RoleArn)` untuk menentukan ARN dari peran yang digunakan untuk mengakses data Anda.
Berikut ini adalah contoh format permintaan lengkap yang digunakan saat membuat panggilan API `CreateAutoMLJobV2` untuk menyempurnakan model ()`Falcon7BInstruct`.
```
{
"AutoMLJobName": "",
"AutoMLJobInputDataConfig": [
{
"ChannelType": "training",
"CompressionType": "None",
"ContentType": "text/csv",
"DataSource": {
"S3DataSource": {
"S3DataType": "S3Prefix",
"S3Uri": "s3:///.csv"
}
}
}
],
"OutputDataConfig": {
"S3OutputPath": "s3:///output",
"KmsKeyId": "arn:aws:kms:::key/"
},
"RoleArn":"arn:aws:iam:::role/",
"AutoMLProblemTypeConfig": {
"TextGenerationJobConfig": {
"BaseModelName": "Falcon7BInstruct"
}
}
}
```
Semua parameter lainnya adalah opsional.
## Parameter opsional
Bagian berikut memberikan rincian beberapa parameter opsional yang dapat Anda berikan ke pekerjaan AutoML fine-tuning Anda.
### Cara menentukan kumpulan data pelatihan dan validasi pekerjaan AutoML
Anda dapat memberikan kumpulan data validasi dan rasio pemisahan data khusus Anda sendiri, atau membiarkan Autopilot membagi kumpulan data secara otomatis.
Setiap [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html)objek (lihat parameter yang diperlukan [Auto MLJob InputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLJobInputDataConfig)) memiliki`ChannelType`, yang dapat diatur ke salah satu `training` atau `validation` nilai yang menentukan bagaimana data akan digunakan saat membangun model pembelajaran mesin.
Setidaknya satu sumber data harus disediakan dan maksimal dua sumber data diperbolehkan: satu untuk data pelatihan dan satu untuk data validasi. Bagaimana Anda membagi data menjadi kumpulan data pelatihan dan validasi tergantung pada apakah Anda memiliki satu atau dua sumber data.
+ Jika Anda hanya memiliki **satu sumber data**, `ChannelType` diatur ke secara `training` default dan harus memiliki nilai ini.
+ Jika `ValidationFraction` nilai dalam tidak [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSplitConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSplitConfig.html)disetel, 0.2 (20%) data dari sumber ini digunakan untuk validasi secara default.
+ Jika `ValidationFraction` diatur ke nilai antara 0 dan 1, dataset dibagi berdasarkan nilai yang ditentukan, di mana nilai menentukan fraksi dari dataset yang digunakan untuk validasi.
+ Jika Anda memiliki **dua sumber data**, `ChannelType` salah satu `AutoMLJobChannel` objek harus diatur ke`training`, nilai default. Sumber data lainnya harus diatur ke`validation`. `ChannelType` Kedua sumber data harus memiliki format yang sama, baik CSV atau Parket, dan skema yang sama. Anda tidak boleh menetapkan nilai untuk `ValidationFraction` dalam kasus ini karena semua data dari setiap sumber digunakan untuk pelatihan atau validasi. Menyetel nilai ini menyebabkan kesalahan.
### Cara mengaktifkan penyebaran otomatis
Dengan Autopilot, Anda dapat secara otomatis menerapkan model fine-tuned Anda ke titik akhir. Untuk mengaktifkan penerapan otomatis untuk model yang disetel dengan baik, sertakan a dalam permintaan pekerjaan `[ModelDeployConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-ModelDeployConfig)` AutoML. Ini memungkinkan penerapan model yang disetel dengan baik ke titik akhir AI. SageMaker Di bawah ini adalah konfigurasi yang tersedia untuk kustomisasi.
+ Untuk membiarkan Autopilot menghasilkan nama titik akhir, setel ke. `[AutoGenerateEndpointName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployConfig.html#API_ModelDeployConfig_Contents)` `True`
+ Untuk memberikan nama Anda sendiri untuk titik akhir, atur`[AutoGenerateEndpointName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployConfig.html#API_ModelDeployConfig_Contents) to False and provide a name of your choice in [EndpointName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployConfig.html#API_ModelDeployConfig_Contents)`.
### Cara mengatur penerimaan EULA saat menyempurnakan model menggunakan AutoML API
Untuk model yang memerlukan penerimaan perjanjian lisensi pengguna akhir sebelum fine-tuning, Anda dapat menerima EULA dengan menyetel `AcceptEula` atribut to in saat mengonfigurasi. `[ModelAccessConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelAccessConfig.html)` `True` `[TextGenerationJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TextGenerationJobConfig.html)` `[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)`
### Cara mengatur hyperparameters untuk mengoptimalkan proses pembelajaran suatu model
Anda dapat mengoptimalkan proses pembelajaran model pembuatan teks Anda dengan menyetel nilai hyperparameter dalam `TextGenerationHyperParameters` atribut `[TextGenerationJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TextGenerationJobConfig.html)` saat mengonfigurasi. `[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)`
Autopilot memungkinkan pengaturan empat hiperparameter umum di semua model.
+ `epochCount`: Nilainya harus berupa string yang berisi nilai integer dalam kisaran `1` to`10`.
+ `batchSize`: Nilainya harus berupa string yang berisi nilai integer dalam kisaran `1` to`64`.
+ `learningRate`: Nilainya harus berupa string yang berisi nilai floating-point dalam kisaran to. `0` `1`
+ `learningRateWarmupSteps`: Nilainya harus berupa string yang berisi nilai integer dalam kisaran `0` to`250`.
Untuk detail lebih lanjut tentang setiap hyperparameter, lihat[Hyperparameters untuk mengoptimalkan proses pembelajaran model pembuatan teks Anda](autopilot-llms-finetuning-hyperparameters.md).
Contoh JSON berikut menunjukkan `TextGenerationHyperParameters` bidang yang diteruskan ke TextGenerationJobConfig tempat keempat hyperparameters dikonfigurasi.
```
"AutoMLProblemTypeConfig": {
"TextGenerationJobConfig": {
"BaseModelName": "Falcon7B",
"TextGenerationHyperParameters": {"epochCount":"5", "learningRate":"0.000001", "batchSize": "32", "learningRateWarmupSteps": "10"}
}
}
```
# Model bahasa besar yang didukung untuk fine-tuning
Menggunakan Autopilot API, pengguna dapat menyempurnakan model bahasa besar (LLMs) yang didukung oleh Amazon. SageMaker JumpStart
**catatan**
Untuk model fine-tuning yang memerlukan penerimaan perjanjian lisensi pengguna akhir, Anda harus secara eksplisit menyatakan penerimaan EULA saat membuat pekerjaan AutoML Anda. Perhatikan bahwa setelah menyempurnakan model yang telah dilatih sebelumnya, bobot model asli diubah, sehingga Anda tidak perlu menerima EULA nanti saat menerapkan model yang disetel dengan baik.
Untuk informasi tentang cara menerima EULA saat membuat pekerjaan fine-tuning menggunakan AutoML API, lihat. [Cara mengatur penerimaan EULA saat menyempurnakan model menggunakan AutoML API](autopilot-create-experiment-finetune-llms.md#autopilot-llms-finetuning-set-eula)
Anda dapat menemukan detail lengkap setiap model dengan mencari **ID JumpStart Model** Anda di [tabel model](https://sagemaker.readthedocs.io/en/stable/doc_utils/pretrainedmodels.html#built-in-algorithms-with-pre-trained-model-table) berikut, lalu mengikuti tautan di kolom **Sumber**. Detail ini mungkin termasuk bahasa yang didukung oleh model, bias yang mungkin ditunjukkannya, kumpulan data yang digunakan untuk fine-tuning, dan banyak lagi.
Tabel berikut mencantumkan JumpStart model yang didukung yang dapat Anda sesuaikan dengan pekerjaan AutoML.
| JumpStart ID Model | `BaseModelName`dalam permintaan API | Deskripsi |
| --- | --- | --- |
| huggingface-textgeneration-dolly-v2-3b-bf16 | Dolly3B | [Dolly 3B adalah 2,8 miliar parameter instruksi mengikuti model bahasa besar berdasarkan pythia-2.8b.](https://huggingface.co/EleutherAI/pythia-2.8b#pythia-28b) Ini dilatih pada dataset instruction/response fine tuning [databricks-dolly-15k](https://huggingface.co/datasets/databricks/databricks-dolly-15k) dan dapat melakukan tugas-tugas termasuk brainstorming, klasifikasi, pertanyaan dan jawaban, pembuatan teks, ekstraksi informasi, dan peringkasan. |
| huggingface-textgeneration-dolly-v2-7b-bf16 | Dolly7B | [Dolly 7B adalah model bahasa besar mengikuti instruksi parameter 6,9 miliar berdasarkan pythia-6.9b.](https://huggingface.co/EleutherAI/pythia-6.9b) Ini dilatih pada dataset instruction/response fine tuning [databricks-dolly-15k](https://huggingface.co/datasets/databricks/databricks-dolly-15k) dan dapat melakukan tugas-tugas termasuk brainstorming, klasifikasi, pertanyaan dan jawaban, pembuatan teks, ekstraksi informasi, dan peringkasan. |
| huggingface-textgeneration-dolly-v2-12b-bf16 | Dolly12B | [Dolly 12B adalah 12 miliar parameter instruksi mengikuti model bahasa besar berdasarkan pythia-12b.](https://huggingface.co/EleutherAI/pythia-12b) Ini dilatih pada dataset instruction/response fine tuning [databricks-dolly-15k](https://huggingface.co/datasets/databricks/databricks-dolly-15k) dan dapat melakukan tugas-tugas termasuk brainstorming, klasifikasi, pertanyaan dan jawaban, pembuatan teks, ekstraksi informasi, dan peringkasan. |
| huggingface-llm-falcon-7b-bf16 | Falcon7B | Falcon 7B adalah model bahasa besar kausal parameter 7 miliar yang dilatih pada 1.500 miliar token yang ditingkatkan dengan corpora yang dikuratori. Falcon-7B dilatih hanya pada data bahasa Inggris dan Prancis, dan tidak menggeneralisasi dengan tepat ke bahasa lain. Karena model ini dilatih pada sejumlah besar data web, ia membawa stereotip dan bias yang biasa ditemukan secara online. |
| huggingface-llm-falcon-7b-instruct-bf16 | Falcon7BInstruct | Falcon 7B Instruct adalah model bahasa besar kausal parameter 7 miliar yang dibangun di atas Falcon 7B dan disetel dengan baik pada campuran kumpulan data 250 juta token. chat/instruct Falcon 7B Instruct sebagian besar dilatih pada data bahasa Inggris, dan tidak menggeneralisasi dengan tepat ke bahasa lain. Selain itu, karena dilatih pada perwakilan korpora skala besar dari web, ia membawa stereotip dan bias yang biasa ditemui secara online. |
| huggingface-llm-falcon-40b-bf16 | Falcon40B | Falcon 40B adalah model bahasa besar kausal parameter 40 miliar yang dilatih pada 1.000 miliar token yang ditingkatkan dengan corpora yang dikuratori. Ini dilatih sebagian besar dalam bahasa Inggris, Jerman, Spanyol, dan Prancis, dengan kemampuan terbatas dalam bahasa Italia, Portugis, Polandia, Belanda, Rumania, Ceko, dan Swedia. Itu tidak menggeneralisasi dengan tepat ke bahasa lain. Selain itu, karena dilatih pada perwakilan korpora skala besar dari web, ia membawa stereotip dan bias yang biasa ditemui secara online. |
| huggingface-llm-falcon-40b-instruct-bf16 | Falcon40BInstruct | Falcon 40B Instruct adalah model bahasa besar kausal parameter 40 miliar yang dibangun di atas Falcon40B dan disetel dengan baik pada campuran Baize. Ini sebagian besar dilatih pada data bahasa Inggris dan Prancis, dan tidak menggeneralisasi dengan tepat ke bahasa lain. Selain itu, karena dilatih pada perwakilan korpora skala besar dari web, ia membawa stereotip dan bias yang biasa ditemui secara online. |
| huggingface-text2text-flan-t5-large | FlanT5L | Keluarga [https://huggingface.co/docs/transformers/model_doc/t5](https://huggingface.co/docs/transformers/model_doc/t5)model adalah seperangkat model bahasa besar yang disetel dengan baik pada banyak tugas dan dapat dilatih lebih lanjut. Model-model ini sangat cocok untuk tugas-tugas seperti terjemahan bahasa, pembuatan teks, penyelesaian kalimat, disambiguasi pengertian kata, ringkasan, atau menjawab pertanyaan. Flan T5 L adalah 780 juta parameter model bahasa besar yang dilatih pada berbagai bahasa. [Anda dapat menemukan daftar bahasa yang didukung oleh Flan T5 L dalam detail model yang diambil dari pencarian Anda berdasarkan ID model di JumpStart tabel model.](https://sagemaker.readthedocs.io/en/stable/doc_utils/pretrainedmodels.html#built-in-algorithms-with-pre-trained-model-table) |
| huggingface-text2text-flan-t5-xl | FlanT5XL | Keluarga [https://huggingface.co/docs/transformers/model_doc/t5](https://huggingface.co/docs/transformers/model_doc/t5)model adalah seperangkat model bahasa besar yang disetel dengan baik pada banyak tugas dan dapat dilatih lebih lanjut. Model-model ini sangat cocok untuk tugas-tugas seperti terjemahan bahasa, pembuatan teks, penyelesaian kalimat, disambiguasi pengertian kata, ringkasan, atau menjawab pertanyaan. Flan T5 XL adalah model bahasa besar 3 miliar parameter yang dilatih pada berbagai bahasa. [Anda dapat menemukan daftar bahasa yang didukung oleh Flan T5 XL dalam detail model yang diambil dari pencarian Anda berdasarkan ID model di JumpStart tabel model.](https://sagemaker.readthedocs.io/en/stable/doc_utils/pretrainedmodels.html#built-in-algorithms-with-pre-trained-model-table) |
| huggingface-text2text-flan-t5-xxll | FlanT5XXL | Keluarga [https://huggingface.co/docs/transformers/model_doc/t5](https://huggingface.co/docs/transformers/model_doc/t5)model adalah seperangkat model bahasa besar yang disetel dengan baik pada banyak tugas dan dapat dilatih lebih lanjut. Model-model ini sangat cocok untuk tugas-tugas seperti terjemahan bahasa, pembuatan teks, penyelesaian kalimat, disambiguasi pengertian kata, ringkasan, atau menjawab pertanyaan. Flan T5 XXL adalah model parameter 11 miliar. [Anda dapat menemukan daftar bahasa yang didukung oleh Flan T5 XXL dalam detail model yang diambil dari pencarian Anda berdasarkan ID model di JumpStart tabel model.](https://sagemaker.readthedocs.io/en/stable/doc_utils/pretrainedmodels.html#built-in-algorithms-with-pre-trained-model-table) |
| meta-textgeneration-llama-2-7b | Llama2-7B | Llama 2 adalah kumpulan model teks generatif yang telah dilatih dan disetel dengan baik, mulai dari 7 miliar hingga 70 miliar parameter. Llama2-7B adalah model parameter 7 miliar yang ditujukan untuk penggunaan bahasa Inggris dan dapat disesuaikan untuk berbagai tugas pembuatan bahasa alami. |
| meta-textgeneration-llama-2-7b-f | Llama2-7BChat | Llama 2 adalah kumpulan model teks generatif yang telah dilatih dan disetel dengan baik, mulai dari 7 miliar hingga 70 miliar parameter. Llama2-7B adalah model obrolan parameter 7 miliar yang dioptimalkan untuk kasus penggunaan dialog. |
| meta-textgeneration-llama-2-13b | Llama2-13B | Llama 2 adalah kumpulan model teks generatif yang telah dilatih dan disetel dengan baik, mulai dari 7 miliar hingga 70 miliar parameter. Llama2-13B adalah model parameter 13 miliar yang ditujukan untuk penggunaan bahasa Inggris dan dapat disesuaikan untuk berbagai tugas pembuatan bahasa alami. |
| meta-textgeneration-llama-2-13b-f | Llama2-13BChat | Llama 2 adalah kumpulan model teks generatif yang telah dilatih dan disetel dengan baik, mulai dari 7 miliar hingga 70 miliar parameter. Llama2-13B adalah model obrolan parameter 13 miliar yang dioptimalkan untuk kasus penggunaan dialog. |
| huggingface-llm-mistral-7b | Mistral7B | Mistral 7B adalah kode tujuh miliar parameter dan model pembuatan teks bahasa Inggris tujuan umum. Ini dapat digunakan dalam berbagai kasus penggunaan termasuk ringkasan teks, klasifikasi, penyelesaian teks, atau penyelesaian kode. |
| huggingface-llm-mistral-7b-instruct | Mistral7BInstruct | Mistral 7B Instruct adalah versi Mistral 7B yang disetel dengan baik untuk kasus penggunaan percakapan. Itu khusus menggunakan berbagai kumpulan data percakapan yang tersedia untuk umum dalam bahasa Inggris. |
| huggingface-textgeneration1-mpt-7b-bf16 | MPT7B | MPT 7B adalah model bahasa besar transformator gaya decoder dengan 6,7 miliar parameter, pra-dilatih dari awal pada 1 triliun token teks dan kode bahasa Inggris. Ini disiapkan untuk menangani panjang konteks yang panjang. |
| huggingface-textgeneration1-mpt-7b-instruct-bf16 | MPT7BInstruct | MPT 7B Instruct adalah model untuk instruksi bentuk pendek berikut tugas-tugas. [Ini dibangun dengan menyempurnakan MPT 7B pada kumpulan data yang berasal dari dataset yang berasal dari dataset [databricks-dolly-15k dan Anthropic Helpful and Harmware (HH-RLHF](https://huggingface.co/datasets/databricks/databricks-dolly-15k)).](https://huggingface.co/datasets/Anthropic/hh-rlhf) |
# Jenis file dataset dan format data input
Penyetelan berbasis instruksi menggunakan kumpulan data berlabel untuk meningkatkan kinerja tugas pemrosesan bahasa alami (NLP) yang telah dilatih sebelumnya LLMs . Contoh berlabel diformat sebagai pasangan prompt respons dan diungkapkan sebagai instruksi.
Untuk mempelajari jenis file kumpulan data yang didukung, lihat[Jenis file dataset yang didukung](#autopilot-llms-finetuning-dataset-format).
Untuk mempelajari tentang format data input, lihat[Format data input untuk fine-tuning berbasis instruksi](#autopilot-llms-finetuning-input-format).
## Jenis file dataset yang didukung
Autopilot mendukung kumpulan data fine-tuning berbasis instruksi yang diformat sebagai file CSV (default) atau sebagai file Parket.
+ **CSV** (nilai dipisahkan koma) adalah format file berbasis baris yang menyimpan data dalam teks biasa yang dapat dibaca manusia, yang merupakan pilihan populer untuk pertukaran data karena didukung oleh berbagai aplikasi.
+ **Parket** adalah format file biner berbasis kolom di mana data disimpan dan diproses lebih efisien daripada dalam format file yang dapat dibaca manusia seperti CSV. Ini menjadikannya pilihan yang lebih baik untuk masalah data besar.
**catatan**
Dataset dapat terdiri dari beberapa file, yang masing-masing harus mematuhi template tertentu. Untuk informasi tentang cara memformat data input Anda, lihat[Format data input untuk fine-tuning berbasis instruksi](#autopilot-llms-finetuning-input-format).
## Format data input untuk fine-tuning berbasis instruksi
Setiap file dalam kumpulan data harus mematuhi format berikut:
+ Dataset harus berisi tepat dua kolom yang dipisahkan koma dan diberi nama, dan. `input` `output` Autopilot tidak mengizinkan kolom tambahan.
+ `input`Kolom berisi petunjuk, dan yang sesuai `output` berisi jawaban yang diharapkan. Keduanya `input` dan `output` dalam format string.
Contoh berikut menggambarkan format data input untuk fine-tuning berbasis instruksi di Autopilot.
```
input,output
"",""
```
**catatan**
Kami merekomendasikan penggunaan kumpulan data dengan minimal 1000 baris untuk memastikan pembelajaran dan kinerja model yang optimal.
Selain itu, Autopilot menetapkan batas maksimum jumlah baris dalam kumpulan data dan panjang konteks berdasarkan jenis model yang digunakan.
+ Batas jumlah baris dalam kumpulan data berlaku untuk jumlah kumulatif baris di semua file dalam kumpulan data, termasuk beberapa file. Jika ada dua [jenis saluran](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLChannel.html) yang ditentukan (satu untuk pelatihan dan satu untuk validasi), batas tersebut berlaku untuk jumlah total baris di semua kumpulan data dalam kedua saluran. Ketika jumlah baris melebihi ambang batas, pekerjaan gagal dengan kesalahan validasi.
+ Ketika panjang input atau output baris dalam kumpulan data melebihi batas yang ditetapkan pada konteks model bahasa, maka secara otomatis terpotong. Jika lebih dari 60% baris dalam kumpulan data terpotong, baik dalam input atau outputnya, Autopilot gagal dalam pekerjaan dengan kesalahan validasi.
Tabel berikut menyajikan batas-batas untuk setiap model.
| JumpStart ID Model | `BaseModelName`dalam permintaan API | Batas Baris | Batas Panjang Konteks |
| --- | --- | --- | --- |
| huggingface-textgeneration-dolly-v2-3b-bf16 | Dolly3B | 10.000 baris | 1024 token |
| huggingface-textgeneration-dolly-v2-7b-bf16 | Dolly7B | 10.000 baris | 1024 token |
| huggingface-textgeneration-dolly-v2-12b-bf16 | Dolly12B | 10.000 baris | 1024 token |
| huggingface-llm-falcon-7b-bf16 | Falcon7B | 1.000 baris | 1024 token |
| huggingface-llm-falcon-7b-instruct-bf16 | Falcon7BInstruct | 1.000 baris | 1024 token |
| huggingface-llm-falcon-40b-bf16 | Falcon40B | 10.000 baris | 1024 token |
| huggingface-llm-falcon-40b-instruct-bf16 | Falcon40BInstruct | 10.000 baris | 1024 token |
| huggingface-text2text-flan-t5-large | FlanT5L | 10.000 baris | 1024 token |
| huggingface-text2text-flan-t5-xl | FlanT5XL | 10.000 baris | 1024 token |
| huggingface-text2text-flan-t5-xxll | FlanT5XXL | 10.000 baris | 1024 token |
| meta-textgeneration-llama-2-7b | Llama2-7B | 10.000 baris | 2048 token |
| meta-textgeneration-llama-2-7b-f | Llama2-7BChat | 10.000 baris | 2048 token |
| meta-textgeneration-llama-2-13b | Llama2-13B | 7.000 baris | 2048 token |
| meta-textgeneration-llama-2-13b-f | Llama2-13BChat | 7.000 baris | 2048 token |
| huggingface-llm-mistral-7b | Mistral7B | 10.000 baris | 2048 token |
| huggingface-llm-mistral-7b-instruct | Mistral7BInstruct | 10.000 baris | 2048 token |
| huggingface-textgeneration1-mpt-7b-bf16 | MPT7B | 10.000 baris | 1024 token |
| huggingface-textgeneration1-mpt-7b-instruct-bf16 | MPT7BInstruct | 10.000 baris | 1024 token |
# Hyperparameters untuk mengoptimalkan proses pembelajaran model pembuatan teks Anda
Anda dapat mengoptimalkan proses pembelajaran model dasar Anda dengan menyesuaikan kombinasi apa pun dari hiperparameter berikut. Parameter ini tersedia untuk semua model.
+ **Hitungan Epoch**: `epochCount` Hyperparameter menentukan berapa kali model melewati seluruh kumpulan data pelatihan. Ini mempengaruhi durasi pelatihan dan dapat mencegah overfitting ketika diatur dengan tepat. Sejumlah besar epoch dapat meningkatkan runtime keseluruhan pekerjaan fine-tuning. Kami merekomendasikan pengaturan yang besar `MaxAutoMLJobRuntimeInSeconds` di dalam `CompletionCriteria` `[TextGenerationJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TextGenerationJobConfig.html)` untuk menghindari pekerjaan fine-tuning berhenti sebelum waktunya.
+ **Ukuran Batch**: `batchSize` Hyperparameter mendefinisikan jumlah sampel data yang digunakan dalam setiap iterasi pelatihan. Hal ini dapat mempengaruhi kecepatan konvergensi dan penggunaan memori. Dengan ukuran batch yang besar, risiko kesalahan out of memory (OOM) meningkat, yang mungkin muncul sebagai kesalahan server internal di Autopilot. Untuk memeriksa kesalahan tersebut, periksa grup `/aws/sagemaker/TrainingJobs` log untuk pekerjaan pelatihan yang diluncurkan oleh pekerjaan Autopilot Anda. Anda dapat mengakses log masuk tersebut CloudWatch dari konsol AWS manajemen. Pilih **Log**, lalu pilih **grup `/aws/sagemaker/TrainingJobs` log**. Untuk memperbaiki kesalahan OOM, kurangi ukuran batch.
Kami merekomendasikan memulai dengan ukuran batch 1, kemudian secara bertahap meningkatkannya sampai terjadi kesalahan di luar memori. Sebagai referensi, 10 epoch biasanya membutuhkan waktu hingga 72 jam untuk menyelesaikannya.
+ **Tingkat Pembelajaran**: `learningRate` Hyperparameter mengontrol ukuran langkah di mana parameter model diperbarui selama pelatihan. Ini menentukan seberapa cepat atau lambat parameter model diperbarui selama pelatihan. Tingkat pembelajaran yang tinggi berarti bahwa parameter diperbarui dengan ukuran langkah yang besar, yang dapat menyebabkan konvergensi lebih cepat tetapi juga dapat menyebabkan proses pengoptimalan melampaui solusi optimal dan menjadi tidak stabil. Tingkat pembelajaran yang rendah berarti bahwa parameter diperbarui dengan ukuran langkah kecil, yang dapat menyebabkan konvergensi yang lebih stabil tetapi dengan mengorbankan pembelajaran yang lebih lambat.
+ **Learning Rate Warmup Steps**: `learningRateWarmupSteps` Hyperparameter menentukan jumlah langkah pelatihan di mana tingkat pembelajaran meningkat secara bertahap sebelum mencapai target atau nilai maksimumnya. Ini membantu model bertemu lebih efektif dan menghindari masalah seperti divergensi atau konvergensi lambat yang dapat terjadi dengan tingkat pembelajaran yang awalnya tinggi.
Untuk mempelajari cara menyesuaikan hyperparameters untuk eksperimen fine-tuning Anda di Autopilot dan menemukan kemungkinan nilainya, lihat. [Cara mengatur hyperparameters untuk mengoptimalkan proses pembelajaran suatu model](autopilot-create-experiment-finetune-llms.md#autopilot-llms-finetuning-set-hyperparameters)
# Metrik untuk menyempurnakan model bahasa besar di Autopilot
Bagian berikut menjelaskan metrik yang dapat Anda gunakan untuk memahami model bahasa besar yang disetel dengan baik (). LLMs Dengan menggunakan kumpulan data Anda, Autopilot secara langsung menyempurnakan LLM target untuk meningkatkan metrik objektif default, kehilangan lintas entropi.
Kehilangan entropi silang adalah metrik yang banyak digunakan untuk menilai perbedaan antara distribusi probabilitas yang diprediksi dan distribusi kata yang sebenarnya dalam data pelatihan. Dengan meminimalkan kehilangan lintas entropi, model belajar untuk membuat prediksi yang lebih akurat dan relevan secara kontekstual, terutama dalam tugas-tugas yang berkaitan dengan pembuatan teks.
Setelah menyempurnakan LLM Anda dapat mengevaluasi kualitas teks yang dihasilkan menggunakan berbagai skor. ROUGE Selain itu, Anda dapat menganalisis kebingungan dan pelatihan lintas entropi dan kerugian validasi sebagai bagian dari proses evaluasi.
+ Kehilangan kebingungan mengukur seberapa baik model dapat memprediksi kata berikutnya dalam urutan teks, dengan nilai yang lebih rendah menunjukkan pemahaman yang lebih baik tentang bahasa dan konteks.
+ Recall-Oriented Understudy for Gisting Evaluation (ROUGE)adalah seperangkat metrik yang digunakan di bidang pemrosesan bahasa alami (NLP) dan pembelajaran mesin untuk mengevaluasi kualitas teks yang dihasilkan mesin, seperti ringkasan teks atau pembuatan teks. Ini terutama menilai kesamaan antara teks yang dihasilkan dan teks referensi kebenaran dasar (ditulis manusia) dari kumpulan data validasi. ROUGEukuran dirancang untuk menilai berbagai aspek kesamaan teks, termasuk presisi dan ingatan n-gram (urutan kata yang berdekatan) dalam teks yang dihasilkan sistem dan referensi. Tujuannya adalah untuk menilai seberapa baik model menangkap informasi yang ada dalam teks referensi.
Ada beberapa varian ROUGE metrik, tergantung pada jenis n-gram yang digunakan dan aspek spesifik dari kualitas teks yang dievaluasi.
Daftar berikut berisi nama dan deskripsi ROUGE metrik yang tersedia setelah penyempurnaan model bahasa besar di Autopilot.
**`ROUGE-1`, `ROUGE-2`**
ROUGE-N, ROUGE metrik primer, mengukur tumpang tindih n-gram antara teks yang dihasilkan sistem dan teks referensi. ROUGE-Ndapat disesuaikan dengan nilai yang berbeda dari `n` (di sini `1` atau`2`) untuk mengevaluasi seberapa baik teks yang dihasilkan sistem menangkap n-gram dari teks referensi.
**`ROUGE-L`**
ROUGE-L(ROUGE-LongestCommon Sequence) menghitung urutan umum terpanjang antara teks yang dihasilkan sistem dan teks referensi. Varian ini mempertimbangkan urutan kata selain konten tumpang tindih.
**`ROUGE-L-Sum`**
ROUGE-L-SUM(Urutan Umum Terpanjang untuk Ringkasan) dirancang untuk evaluasi sistem ringkasan teks. Ini berfokus pada pengukuran urutan umum terpanjang antara ringkasan yang dihasilkan mesin dan ringkasan referensi. ROUGE-L-SUMmemperhitungkan urutan kata dalam teks, yang penting dalam tugas ringkasan teks.
# Penyebaran dan prediksi model autopilot
Setelah menyempurnakan model bahasa besar (LLM), Anda dapat menerapkan model untuk pembuatan teks waktu nyata dengan menyiapkan titik akhir untuk mendapatkan prediksi interaktif.
**catatan**
Kami merekomendasikan menjalankan pekerjaan inferensi waktu nyata `ml.g5.12xlarge` untuk kinerja yang lebih baik. Atau, `ml.g5.8xlarge` instance cocok untuk tugas pembuatan teks Falcon-7B-Instruct dan MPT-7B-Instruct.
Anda dapat menemukan spesifikasi instans ini dalam kategori [Komputasi Akselerasi](https://aws.amazon.com/ec2/instance-types/) dalam pemilihan jenis instans yang disediakan oleh Amazon EC2.
## Pembuatan teks waktu nyata
Anda dapat menggunakan SageMaker APIs untuk menerapkan model fine-tuned Anda secara manual ke titik akhir [inferensi real-time Hosting SageMaker AI Hosting, lalu mulai membuat prediksi dengan memanggil titik akhir](https://docs.aws.amazon.com/sagemaker/latest/dg/realtime-endpoints.html) sebagai berikut.
**catatan**
Atau, Anda dapat memilih opsi penerapan otomatis saat membuat eksperimen fine-tuning Anda di Autopilot. Untuk informasi tentang pengaturan penerapan otomatis model, lihat[Cara mengaktifkan penyebaran otomatis](autopilot-create-experiment-finetune-llms.md#autopilot-llms-finetuning-auto-model-deployment).
Anda juga dapat menggunakan SageMaker Python SDK dan `JumpStartModel` kelas untuk melakukan inferensi dengan model yang disetel dengan baik oleh Autopilot. Ini dapat dilakukan dengan menentukan lokasi khusus untuk artefak model di Amazon S3. Untuk informasi tentang mendefinisikan model Anda sebagai model dan menerapkan JumpStart model Anda untuk inferensi, lihat [Penerapan kode rendah](https://sagemaker.readthedocs.io/en/stable/overview.html#deploy-a-pre-trained-model-directly-to-a-sagemaker-endpoint) dengan kelas. JumpStartModel
1. **Dapatkan definisi wadah inferensi kandidat**
Anda dapat menemukan bagian `InferenceContainerDefinitions` dalam `BestCandidate` objek yang diambil dari respons terhadap panggilan API [DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html#API_DescribeAutoMLJobV2_ResponseSyntax). Definisi kontainer untuk inferensi mengacu pada lingkungan kontainer yang dirancang untuk menerapkan dan menjalankan model terlatih Anda untuk membuat prediksi.
Contoh AWS CLI perintah berikut menggunakan [DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html) API untuk mendapatkan definisi kontainer yang direkomendasikan untuk nama pekerjaan Anda.
```
aws sagemaker describe-auto-ml-job-v2 --auto-ml-job-name job-name --region region
```
1. **Buat model SageMaker AI**
Gunakan definisi container dari langkah sebelumnya untuk membuat model SageMaker AI dengan menggunakan [CreateModel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html)API. Lihat AWS CLI perintah berikut sebagai contoh. Gunakan `CandidateName` untuk nama model Anda.
```
aws sagemaker create-model --model-name '' \
--primary-container '' --region '
```
1. **Buat konfigurasi titik akhir**
Contoh AWS CLI perintah berikut menggunakan [CreateEndpointConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpointConfig.html)API untuk membuat konfigurasi endpoint.
**catatan**
Untuk mencegah pembuatan titik akhir dari waktu kehabisan waktu karena unduhan model yang panjang, kami sarankan pengaturan `ModelDataDownloadTimeoutInSeconds = 3600` dan. `ContainerStartupHealthCheckTimeoutInSeconds = 3600`
```
aws sagemaker create-endpoint-config --endpoint-config-name '' \
--production-variants '' ModelDataDownloadTimeoutInSeconds=3600 ContainerStartupHealthCheckTimeoutInSeconds=3600 \
--region ''
```
1. **Buat titik akhir**
AWS CLI Contoh berikut menggunakan [CreateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpoint.html)API untuk membuat titik akhir.
```
aws sagemaker create-endpoint --endpoint-name '' \
--endpoint-config-name '' \
--region ''
```
Periksa kemajuan penerapan titik akhir Anda dengan menggunakan API. [DescribeEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeEndpoint.html) Lihat AWS CLI perintah berikut sebagai contoh.
```
aws sagemaker describe-endpoint —endpoint-name '' —region
```
Setelah `EndpointStatus` perubahan`InService`, titik akhir siap digunakan untuk inferensi waktu nyata.
1. **Memanggil titik akhir**
Perintah berikut memanggil titik akhir untuk inferensi real-time. Prompt Anda perlu dikodekan dalam byte.
**catatan**
Format prompt input Anda tergantung pada model bahasa. Untuk informasi selengkapnya tentang format prompt pembuatan teks, lihat[Format permintaan untuk model pembuatan teks inferensi waktu nyata](#autopilot-llms-finetuning-realtime-prompt-examples).
```
aws sagemaker invoke-endpoint --endpoint-name '' \
--region '' --body '' [--content-type] 'application/json'
```
## Format permintaan untuk model pembuatan teks inferensi waktu nyata
Model bahasa besar yang berbeda (LLMs) mungkin memiliki dependensi perangkat lunak tertentu, lingkungan runtime, dan persyaratan perangkat keras yang memengaruhi wadah yang direkomendasikan Autopilot untuk meng-host model untuk inferensi. Selain itu, setiap model menentukan format data input yang diperlukan dan format yang diharapkan untuk prediksi dan output.
Berikut adalah contoh input untuk beberapa model dan wadah yang direkomendasikan.
+ Untuk model Falcon dengan wadah `huggingface-pytorch-tgi-inference:2.0.1-tgi1.0.3-gpu-py39-cu118-ubuntu20.04` yang direkomendasikan:
```
payload = {
"inputs": "Large language model fine-tuning is defined as",
"parameters": {
"do_sample": false,
"top_p": 0.9,
"temperature": 0.1,
"max_new_tokens": 128,
"stop": ["<|endoftext|>", ""]
}
}
```
+ Untuk semua model lain dengan wadah yang direkomendasikan`djl-inference:0.22.1-fastertransformer5.3.0-cu118`:
```
payload= {
"text_inputs": "Large language model fine-tuning is defined as"
}
```