Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Instruksi Llama 3.2 90B

Meta — Llama 3.2 90B Instruksi

Detail Model

Llama 3.2 90B Instruct adalah model multimodal parameter 90 miliar Meta yang memproses teks dan gambar untuk penalaran visual dan pemahaman dokumen. Untuk informasi selengkapnya tentang pengembangan dan kinerja model, lihat model/kartu layanan.

Harga

Untuk harga, silakan merujuk ke halaman Harga Amazon Bedrock.

Akses Terprogram

Gunakan model IDs dan titik akhir berikut URLs untuk mengakses model ini secara terprogram. Untuk informasi selengkapnya tentang tersedia APIs dan titik akhir, lihat APIs didukung dan Endpoint didukung.

Misalnya, jika wilayah adalah us-east-1 (Virginia N.), maka URL endpoint batuan dasar runtime akan menjadi "" dan untuk mantel dasar akan menjadi "https://bedrock-mantle.us-east-1.api.aws/v1 “. https://bedrock-runtime.us-east-1.amazonaws.com

Tingkatan Layanan

Amazon Bedrock menawarkan beberapa tingkatan layanan agar sesuai dengan persyaratan beban kerja Anda. Standar menyediakan pay-per-token akses tanpa komitmen. Prioritas menawarkan throughput yang lebih tinggi dengan komitmen berbasis waktu. Flex menyediakan akses berbiaya lebih rendah untuk beban kerja yang fleksibel. non-time-sensitive Reserved menyediakan throughput khusus dengan komitmen jangka untuk beban kerja yang dapat diprediksi. Untuk informasi selengkapnya, lihat tingkatan layanan.

Ketersediaan Wilayah

Sekilas tentang ketersediaan regional

Bedrock menawarkan tiga opsi inferensi: In-Region menyimpan permintaan dalam satu Wilayah untuk kepatuhan yang ketat, rute Geo Cross-Region di seluruh Wilayah dalam geografi (AS, UE, dll.) untuk throughput yang lebih tinggi sambil menghormati residensi data, dan rute Lintas Wilayah Global di mana saja di seluruh dunia untuk throughput maksimum ketika tidak ada kendala residensi. Lihat Ketersediaan wilayah halaman untuk lebih jelasnya.

Detail inferensi geo

Geo: AS

ID Inferensi Geo: us.meta.llama3-2-90b-instruct-v1:0

Kuota dan Batas

Akun AWS Anda memiliki kuota default untuk mempertahankan kinerja layanan dan untuk memastikan penggunaan Amazon Bedrock yang tepat. Kuota default yang ditetapkan ke akun dapat diperbarui tergantung pada faktor regional, riwayat pembayaran, penggunaan penipuan, and/or persetujuan permintaan peningkatan kuota. Untuk lebih jelasnya, silakan merujuk ke Kuota untuk Amazon Bedrock dokumentasi dan lihat batas untuk model.

Kode Sampel

Langkah 1 - Akun AWS: Jika Anda sudah memiliki akun AWS, lewati langkah ini. Jika Anda baru mengenal AWS, daftar akun AWS.

Langkah 2 - Kunci API: Buka konsol Amazon Bedrock dan buat kunci API jangka panjang.

Langkah 3 - Dapatkan SDK: Untuk menggunakan panduan memulai ini, Anda harus memiliki Python yang sudah diinstal. Kemudian instal perangkat lunak yang relevan tergantung pada yang APIs Anda gunakan.

pip install boto3

Langkah 4 - Tetapkan variabel lingkungan: Konfigurasikan lingkungan Anda untuk menggunakan kunci API untuk otentikasi.

AWS_BEARER_TOKEN_BEDROCK="<provide your Bedrock API key>"

Langkah 5 - Jalankan permintaan inferensi pertama Anda: Simpan file sebagai bedrock-first-request.py

Invoke API

import json
import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.invoke_model(
    modelId='meta.llama3-2-90b-instruct-v1:0',
    body=json.dumps({
            'messages': [{ 'role': 'user', 'content': 'Can you explain the features of Amazon Bedrock?'}],
            'max_tokens': 1024
    })
 )
 print(json.loads(response['body'].read()))

Converse API

import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.converse(
    modelId='meta.llama3-2-90b-instruct-v1:0',
    messages=[
        {
            'role': 'user',
            'content': [{'text': 'Can you explain the features of Amazon Bedrock?'}]
        }
    ]
)
print(response)