Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Instruksi Llama 3.1 405B

Meta — Llama 3.1 405B Instruksi

Detail Model

Llama 3.1 405B Instruct adalah model terbuka terbesar Meta dengan 405 miliar parameter dan jendela konteks 128K, mendukung penggunaan alat dan tugas multibahasa. Untuk informasi selengkapnya tentang pengembangan dan kinerja model, lihat model/kartu layanan.

Harga

Untuk harga, silakan merujuk ke halaman Harga Amazon Bedrock.

Akses Terprogram

Gunakan model IDs dan titik akhir berikut URLs untuk mengakses model ini secara terprogram. Untuk informasi selengkapnya tentang tersedia APIs dan titik akhir, lihat APIs didukung dan Endpoint yang didukung.

Misalnya, jika wilayah adalah us-east-1 (Virginia N.), maka URL endpoint batuan dasar runtime akan menjadi "" dan untuk mantel dasar akan menjadi "https://bedrock-mantle.us-east-1.api.aws/v1 “. https://bedrock-runtime.us-east-1.amazonaws.com

Tingkatan Layanan

Amazon Bedrock menawarkan beberapa tingkatan layanan agar sesuai dengan persyaratan beban kerja Anda. Standar menyediakan pay-per-token akses tanpa komitmen. Prioritas menawarkan throughput yang lebih tinggi dengan komitmen berbasis waktu. Flex menyediakan akses berbiaya lebih rendah untuk beban kerja yang fleksibel. non-time-sensitive Reserved menyediakan throughput khusus dengan komitmen jangka untuk beban kerja yang dapat diprediksi. Untuk informasi selengkapnya, lihat tingkatan layanan.

Ketersediaan Wilayah

Sekilas tentang ketersediaan regional

Bedrock menawarkan tiga opsi inferensi: In-Region menyimpan permintaan dalam satu Wilayah untuk kepatuhan yang ketat, rute Geo Cross-Region di seluruh Wilayah dalam geografi (AS, UE, dll.) untuk throughput yang lebih tinggi sambil menghormati residensi data, dan rute Lintas Wilayah Global di mana saja di seluruh dunia untuk throughput maksimum ketika tidak ada kendala residensi. Lihat Ketersediaan wilayah halaman untuk lebih jelasnya.

Detail inferensi geo

Geo: AS

ID Inferensi Geo: us.meta.llama3-1-405b-instruct-v1:0

Kode Sampel

Langkah 1 - Akun AWS: Jika Anda sudah memiliki akun AWS, lewati langkah ini. Jika Anda baru mengenal AWS, daftar akun AWS.

Langkah 2 - Kunci API: Buka konsol Amazon Bedrock dan buat kunci API jangka panjang.

Langkah 3 - Dapatkan SDK: Untuk menggunakan panduan memulai ini, Anda harus memiliki Python yang sudah diinstal. Kemudian instal perangkat lunak yang relevan tergantung pada yang APIs Anda gunakan.

pip install boto3

Langkah 4 - Tetapkan variabel lingkungan: Konfigurasikan lingkungan Anda untuk menggunakan kunci API untuk otentikasi.

AWS_BEARER_TOKEN_BEDROCK="<provide your Bedrock API key>"

Langkah 5 - Jalankan permintaan inferensi pertama Anda: Simpan file sebagai bedrock-first-request.py

Converse API

import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.converse(
    modelId='meta.llama3-1-405b-instruct-v1:0',
    messages=[
        {
            'role': 'user',
            'content': [{'text': 'Can you explain the features of Amazon Bedrock?'}]
        }
    ]
)
print(response)