Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
# Inferensi Batuan Dasar Amazon
Setelah Anda melatih dan menguji model Amazon Nova Anda, Anda dapat menerapkannya ke Amazon Bedrock untuk inferensi skala produksi. Proses penerapan melibatkan pembuatan model Amazon Bedrock dengan CreateCustomModel API, mengekspor artefak model Anda ke sana dari bucket Amazon S3 terkelola, lalu setelah model AKTIF mengonfigurasi titik akhir dengan inferensi on-demand atau throughput yang disediakan.
Setelah membuat model kustom SageMaker, Anda dapat menggunakan CreateCustomModel API untuk menerapkannya ke Amazon Bedrock dari SageMaker escrow untuk menjalankan inferensi. Anda kemudian dapat menggunakan CreateCustomModelDeployment untuk membuat titik akhir inferensi OD atau menyiapkan inferensi throughput yang disediakan untuk model Parameter Efficient Fine Tuned (PEFT). Anda dapat menyiapkan inferensi throughput yang disediakan untuk model kustom Peringkat Penuh.
Anda juga dapat menggunakan Amazon Nova Forge SDK untuk menerapkan model Amazon Nova yang disesuaikan. Amazon Nova Forge SDK memberikan pengalaman yang efisien untuk mengekstraksi informasi yang relevan dari pekerjaan pelatihan atau pos pemeriksaan model S3 dan menerbitkannya ke Amazon Bedrock. Untuk informasi selengkapnya, lihat [Amazon Nova Forge SDK](nova-forge-sdk.md).
Untuk langkah-langkah mendetail untuk menyiapkan inferensi Amazon Bedrock untuk model kustom, lihat [Menerapkan model Amazon Nova yang disesuaikan ke Amazon](deploy-custom-model.md) Bedrock.
Bagian berikut memberikan detail lebih lanjut tentang Inferensi Sesuai Permintaan pada Model Kustom.
# Menerapkan model khusus untuk inferensi sesuai permintaan
Setelah Anda berhasil membuat model kustom dengan pekerjaan penyesuaian model (fine-tuning, distilasi, atau pra-pelatihan lanjutan), Anda dapat mengatur inferensi sesuai permintaan untuk model tersebut.
Untuk menyiapkan inferensi sesuai permintaan untuk model kustom, Anda menerapkan model dengan penerapan model kustom. Setelah menerapkan model kustom, Anda menggunakan Amazon Resource Name (ARN) deployment sebagai `modelId` parameter dalam operasi atau API Anda`InvokeModel`. `Converse` Anda dapat menggunakan model yang digunakan untuk inferensi sesuai permintaan dengan fitur Amazon Bedrock seperti taman bermain, Agen, dan Pangkalan Pengetahuan.
**Topics**
+ [Model yang didukung](#custom-model-inference-supported-models)
+ [Menerapkan model kustom](deploying-custom-model.md)
+ [Gunakan penerapan untuk inferensi sesuai permintaan](use-custom-model-on-demand.md)
+ [Menghapus penerapan model kustom](delete-custom-model-deployment.md)
## Model yang didukung
Anda dapat mengatur inferensi sesuai permintaan untuk model berikut:
+ Kanvas Amazon Nova
+ Amazon Nova Lite
+ Amazon Nova Mikro
+ Amazon Nova Pro
# Menerapkan model kustom
Anda dapat menerapkan model kustom dengan konsol Amazon Bedrock, AWS Command Line Interface, atau. AWS SDKs Untuk informasi tentang penggunaan penerapan untuk inferensi, lihat [Menggunakan penerapan untuk inferensi sesuai permintaan](https://docs.aws.amazon.com/bedrock/latest/userguide/use-custom-model-on-demand.html).
**Topics**
+ [Menerapkan model khusus (konsol)](#deploy-custom-model-console)
+ [Menerapkan model kustom ()AWS Command Line Interface](#deploy-custom-model-cli)
+ [Menerapkan model kustom ()AWS SDKs](#deploy-custom-model-sdk)
## Menerapkan model khusus (konsol)
Anda menerapkan model kustom dari halaman **Model kustom** sebagai berikut. Anda juga dapat menerapkan model dari halaman **sesuai permintaan model Kustom** dengan bidang yang sama. Untuk menemukan halaman ini, di **Inferensi dan Penilaian** di panel navigasi, pilih **Model khusus sesuai permintaan**.
**Untuk menerapkan model kustom**
1. Masuk ke Konsol Manajemen AWS menggunakan [peran IAM dengan izin Amazon Bedrock](https://docs.aws.amazon.com//bedrock/latest/userguide/getting-started.html), dan buka konsol Amazon Bedrock di. [https://console.aws.amazon.com/nova/](https://console.aws.amazon.com/nova/)
1. Dari panel navigasi kiri, pilih **Model khusus di bawah model** **Foundation**.
1. Di tab **Model**, pilih tombol radio untuk model yang ingin Anda terapkan.
1. Pilih **Siapkan inferensi** dan pilih **Terapkan sesuai permintaan**.
1. Dalam **rincian Deployment**, berikan informasi berikut:
+ **Nama Deployment** (wajib) - Masukkan nama unik untuk penerapan Anda.
+ **Deskripsi** (opsional) — Masukkan deskripsi untuk penyebaran Anda.
+ **Tag** (opsional) - Tambahkan tag untuk alokasi biaya dan manajemen sumber daya.
1. Pilih **Buat**. Saat status ditampilkan`Completed`, model kustom Anda siap untuk inferensi sesuai permintaan. Untuk informasi selengkapnya tentang penggunaan model kustom, lihat [Menggunakan penerapan untuk inferensi sesuai permintaan](https://docs.aws.amazon.com/bedrock/latest/userguide/use-custom-model-on-demand.html).
## Menerapkan model kustom ()AWS Command Line Interface
Untuk menerapkan model kustom untuk inferensi sesuai permintaan menggunakan AWS Command Line Interface, gunakan `create-custom-model-deployment` perintah dengan Amazon Resource Name (ARN) model kustom Anda. Perintah ini menggunakan operasi [CreateCustomModelDeployment](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateCustomModelDeployment.html)API. Ini mengembalikan ARN penerapan yang dapat Anda gunakan sebagai saat membuat permintaan `modelId` inferensi. Untuk informasi tentang penggunaan penerapan untuk inferensi, lihat [Menggunakan penerapan untuk inferensi sesuai permintaan](https://docs.aws.amazon.com/bedrock/latest/userguide/use-custom-model-on-demand.html).
```
aws bedrock create-custom-model-deployment \
--model-deployment-name "Unique name" \
--model-arn "Custom Model ARN" \
--description "Deployment description" \
--tags '[
{
"key": "Environment",
"value": "Production"
},
{
"key": "Team",
"value": "ML-Engineering"
},
{
"key": "Project",
"value": "CustomerSupport"
}
]' \
--client-request-token "unique-deployment-token" \
--region region
```
## Menerapkan model kustom ()AWS SDKs
Untuk menerapkan model kustom untuk inferensi sesuai permintaan, gunakan operasi [CreateCustomModelDeployment](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateCustomModelDeployment.html)API dengan Amazon Resource Name (ARN) model kustom Anda. Respons mengembalikan ARN penerapan yang dapat Anda gunakan sebagai saat membuat permintaan `modelId` inferensi. Untuk informasi tentang penggunaan penerapan untuk inferensi, lihat [Menggunakan penerapan untuk inferensi sesuai permintaan](https://docs.aws.amazon.com/bedrock/latest/userguide/use-custom-model-on-demand.html).
Kode berikut menunjukkan cara menggunakan SDK for Python (Boto3) untuk menyebarkan model kustom.
```
def create_custom_model_deployment(bedrock_client):
"""Create a custom model deployment
Args:
bedrock_client: A boto3 Bedrock client for making API calls
Returns:
str: The ARN of the created custom model deployment
Raises:
Exception: If there is an error creating the deployment
"""
try:
response = bedrock_client.create_custom_model_deployment(
modelDeploymentName="Unique deployment name",
modelArn="Custom Model ARN",
description="Deployment description",
tags=[
{'key': 'Environment', 'value': 'Production'},
{'key': 'Team', 'value': 'ML-Engineering'},
{'key': 'Project', 'value': 'CustomerSupport'}
],
clientRequestToken=f"deployment-{uuid.uuid4()}"
)
deployment_arn = response['customModelDeploymentArn']
print(f"Deployment created: {deployment_arn}")
return deployment_arn
except Exception as e:
print(f"Error creating deployment: {str(e)}")
raise
```
# Gunakan penerapan untuk inferensi sesuai permintaan
Setelah menerapkan model kustom untuk inferensi sesuai permintaan, Anda dapat menggunakannya untuk menghasilkan respons dengan membuat permintaan inferensi. Untuk `InvokeModel` atau `Converse` operasi, Anda menggunakan penyebaran Amazon Resource Name (ARN) sebagai. `modelId`
Untuk informasi tentang membuat permintaan inferensi, lihat topik berikut:
+ [Kirim petunjuk dan hasilkan tanggapan dengan inferensi model](https://docs.aws.amazon.com/bedrock/latest/userguide/inference.html)
+ [Prasyarat untuk menjalankan inferensi model](https://docs.aws.amazon.com/bedrock/latest/userguide/inference-prereq.html)
+ [Kirim prompt dan hasilkan respons menggunakan API](https://docs.aws.amazon.com/bedrock/latest/userguide/inference-api.html)
# Menghapus penerapan model kustom
Setelah Anda selesai menggunakan model Anda untuk inferensi sesuai permintaan, Anda dapat menghapus penerapan. Setelah menghapus penerapan, Anda tidak dapat menggunakannya untuk inferensi sesuai permintaan tetapi tidak menghapus model kustom yang mendasarinya.
Anda dapat menghapus penerapan model kustom dengan konsol Amazon Bedrock, AWS Command Line Interface, atau. AWS SDKs
**penting**
Menghapus penerapan model kustom tidak dapat diubah. Pastikan Anda tidak lagi memerlukan penerapan sebelum melanjutkan penghapusan. Jika Anda perlu menggunakan model kustom untuk inferensi sesuai permintaan lagi, Anda harus membuat penerapan baru.
**Topics**
+ [Menghapus penerapan model kustom (konsol)](#delete-deployment-console)
+ [Menghapus penerapan model kustom ()AWS Command Line Interface](#delete-deployment-cli)
+ [Menghapus penerapan model kustom ()AWS SDKs](#delete-deployment-sdk)
## Menghapus penerapan model kustom (konsol)
**Untuk menghapus penerapan model kustom**
1. Di panel navigasi, di bawah **Inferensi dan Penilaian**, pilih **Model khusus sesuai permintaan**.
1. Pilih penerapan model kustom yang ingin Anda hapus.
1. Pilih **Hapus**.
1. Dalam dialog konfirmasi, masukkan nama penerapan untuk mengonfirmasi penghapusan.
1. Pilih **Hapus** untuk mengonfirmasi.
Status penerapan akan berubah menjadi `Deleting` saat penghapusan sedang berlangsung. Setelah selesai, penyebaran akan dihapus dari daftar.
## Menghapus penerapan model kustom ()AWS Command Line Interface
Untuk menghapus penerapan model kustom menggunakan AWS Command Line Interface, gunakan `delete-custom-model-deployment` perintah dengan pengenal penerapan Anda.
```
aws bedrock delete-custom-model-deployment \
--custom-model-deployment-identifier "deployment-arn-or-name" \
--region region
```
## Menghapus penerapan model kustom ()AWS SDKs
Untuk menghapus penerapan model kustom secara terprogram, gunakan operasi [DeleteCustomModelDeployment](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_DeleteCustomModelDeployment.html)API dengan Nama Sumber Daya Amazon (ARN) atau nama penerapan. Kode berikut menunjukkan cara menggunakan SDK for Python (Boto3) untuk menghapus penerapan model kustom.
```
def delete_custom_model_deployment(bedrock_client):
"""Delete a custom model deployment
Args:
bedrock_client: A boto3 Bedrock client for making API calls
Returns:
dict: The response from the delete operation
Raises:
Exception: If there is an error deleting the deployment
"""
try:
response = bedrock_client.delete_custom_model_deployment(
customModelDeploymentIdentifier="Deployment identifier"
)
print(f"Deployment deletion initiated")
return response
except Exception as e:
print(f"Error deleting deployment: {str(e)}")
raise
```
## Inferensi sesuai permintaan pada Model Kustom
Inferensi sesuai permintaan (OD) memungkinkan Anda menjalankan inferensi pada model Amazon Nova kustom Anda tanpa mempertahankan titik akhir throughput yang disediakan. Ini membantu Anda mengoptimalkan biaya dan skala secara efisien. Dengan inferensi sesuai permintaan, Anda dikenakan biaya berdasarkan penggunaan, diukur dalam token, baik masuk maupun keluar.
### Persyaratan kompatibilitas
Persyaratan kompatibilitas berikut berlaku:
+ Inferensi OD didukung untuk model pemahaman kustom Amazon Nova Pro, Lite dan Micro. Inferensi OD tidak didukung untuk model pembuatan konten kustom Nova.
+ Inferensi OD didukung untuk model pemahaman khusus Amazon Nova yang dilatih setelah 16 Juli 2025. Model khusus yang dilatih sebelum 16 Juli 2025 tidak kompatibel dengan inferensi OD.
+ Kustomisasi Amazon Bedrock: Inferensi OD didukung untuk model yang disesuaikan dengan kustomisasi Amazon Bedrock dan untuk model siswa yang disuling dari model guru dengan Amazon Bedrock.
+ SageMaker Kustomisasi AI: Untuk model yang disesuaikan dengan SageMaker AI, inferensi OD hanya didukung untuk model Parameter-efficient fine-tuned (PEFT) saat model di-host di Amazon Bedrock. Ini termasuk Optimasi Preferensi Langsung ditambah PEFT. Inferensi OD tidak didukung untuk model fine-tuned peringkat penuh.
### Pelatihan model dan inferensi
Saat Anda melatih model Amazon Nova Pro, Lite, atau Micro kustom baru di Amazon Bedrock atau SageMaker AI menggunakan PEFT setelah 16 Juli 2025, model tersebut akan secara otomatis kompatibel dengan opsi inferensi yang disediakan dan sesuai permintaan. Anda dapat memilih metode inferensi pilihan Anda saat menerapkan model Anda.
Untuk menggunakan inferensi OD dengan model yang dilatih setelah 16 Juli 2025, selesaikan langkah-langkah berikut:
1. [Buat pekerjaan fine-tuning baru dengan API kustomisasi [Amazon Bedrock atau API kustomisasi](https://docs.aws.amazon.com/nova/latest/userguide/customize-fine-tune-bedrock.html) AI. SageMaker ](https://docs.aws.amazon.com/nova/latest/userguide/custom-fine-tune-models-sagemaker-tj.html)
1. [Terapkan model yang baru dilatih ke Amazon Bedrock menggunakan API. CreateCustomModel ](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateCustomModel.html)
1. Terapkan untuk inferensi sesuai permintaan menggunakan API. CustomModelDeployment
### Batas tarif
Batas permintaan per menit (RPM) dan token per menit (TPM) berikut berlaku untuk permintaan inferensi sesuai permintaan:
| Model Dasar untuk Model Kustom | RPM untuk Penerapan Model Kustom | TPM untuk Penerapan Model Kustom |
| --- |--- |--- |
| Nova 2 Lite | 2.000 | 4.000.000 |
Untuk mempelajari lebih lanjut tentang kuota yang tersedia untuk Amazon Nova, lihat[Kuota untuk Amazon Nova](quotas.md).
### Latensi
Anda dapat mengharapkan perbedaan end-to-end latensi (yaitu, Time To First Token (TTFT)) 20-55% antara pemanggilan model dasar dan adaptor. Nilai latensi yang tepat bervariasi menurut ukuran model dan sejalan dengan standar industri.