Llama 3 70B Instruct - Amazon Bedrock
中繼 — Llama 3 70B 指示模型詳細資訊功能和功能定價程式設計存取服務層區域可用性配額和限制範例程式碼

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

Llama 3 70B Instruct

中繼 — Llama 3 70B 指示

模型詳細資訊

Llama 3 70B Instruct 是 Meta 的 700 億參數指令調校模型，具有 8K 內容視窗，針對對話和類似助理的任務進行最佳化。如需模型開發和效能的詳細資訊，請參閱模型/服務卡。

  • 模型啟動日期：2024 年 4 月 18 日

  • 模型 EOL 日期：不可早於 4/23/2025

  • 最終使用者授權合約和使用條款：檢視

  • 模型生命週期：作用中

  • 內容視窗：8K 權杖

  • 最大輸出字符：8K

  • 知識截止日期：2023 年 12 月

輸入模式 輸出模式 支援的 APIs 支援的端點
No 音訊No 內嵌No ResponsesYes bedrock-runtime
No 影像No 影像No Chat CompletionsNo bedrock-mantle
No 語音No 語音Yes Invoke
Yes 文字Yes 文字Yes Converse
No 影片No 影片

功能和功能

Bedrock 功能

使用bedrock-runtime端點支援的功能

支援的 不支援

定價

如需定價，請參閱 Amazon Bedrock 定價頁面。

程式設計存取

使用以下模型 IDs和端點 URLs，以程式設計方式存取此模型。如需可用 APIs和端點的詳細資訊，請參閱支援的 APIs和支援的端點。

端點 模型 ID 區域端點 URL 地理推論 ID 全域推論 ID
bedrock-runtime meta.llama3-70b-instruct-v1:0 https://bedrock-runtime.{region}.amazonaws.com 不支援 不支援

例如，如果區域是 us-east-1 （維吉尼亞北部），則 bedrock-runtime 端點 URL 將為 "https://bedrock-runtime.us-east-1.amazonaws.com"，而 bedrock-mantle 則為 "https://bedrock-mantle.us-east-1.api.aws/v1"。

服務層

Amazon Bedrock 提供多種服務層，以符合您的工作負載需求。Standard 提供pay-per-token存取。優先順序透過以時間為基礎的承諾提供更高的輸送量。Flex 為彈性、non-time-sensitive工作負載提供較低成本的存取。預留 提供專用輸送量，並提供可預測工作負載的期限承諾。如需詳細資訊，請參閱 服務方案。

標準 優先順序 Flex 預留
Yes No No No

區域可用性

區域可用性一目了然

Bedrock 提供三種推論選項：為嚴格合規，區域內將請求保留在單一區域中，地理跨區域路由在地理 （美國、歐洲等） 內的區域間可提高輸送量，同時遵守資料駐留，而全球跨區域路由在無駐留限制的情況下，可在全球任何地方提供最大輸送量。如需詳細資訊，請參閱 區域可用性頁面。

區域 區域內 地理 全域
us-east-1 （維吉尼亞北部）YesNoNo
us-west-2 （奧勒岡）YesNoNo
us-gov-west-1 (GovCloud)YesNoNo
ca-central-1 （加拿大）YesNoNo
eu-west-2 （倫敦）YesNoNo
ap-south-1 （孟買）YesNoNo

配額和限制

您的 AWS 帳戶具有預設配額來維持服務的效能，並確保適當使用 Amazon Bedrock。指派給帳戶的預設配額可能會根據區域因素、付款歷史記錄、詐騙使用量和/或配額增加請求的核准而更新。如需詳細資訊，請參閱 Amazon Bedrock 的配額 文件並查看模型的限制。

範例程式碼

步驟 1 - AWS 帳戶：如果您已經有 AWS 帳戶，請略過此步驟。如果您是初次使用 AWS，請註冊 AWS 帳戶。

步驟 2 - API 金鑰：前往 Amazon Bedrock 主控台並產生長期 API 金鑰。

步驟 3 - 取得 SDK：若要使用此入門指南，您必須已安裝 Python。然後，根據您使用的 APIs相關軟體。

pip install boto3

步驟 4 - 設定環境變數：設定您的環境以使用 API 金鑰進行身分驗證。

AWS_BEARER_TOKEN_BEDROCK="<provide your Bedrock API key>"

步驟 5 - 執行您的第一個推論請求：將檔案儲存為 bedrock-first-request.py

Invoke API
import json
import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.invoke_model(
    modelId='meta.llama3-70b-instruct-v1:0',
    body=json.dumps({
            'messages': [{ 'role': 'user', 'content': 'Can you explain the features of Amazon Bedrock?'}],
            'max_tokens': 1024
    })
 )
 print(json.loads(response['body'].read()))
Converse API
import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.converse(
    modelId='meta.llama3-70b-instruct-v1:0',
    messages=[
        {
            'role': 'user',
            'content': [{'text': 'Can you explain the features of Amazon Bedrock?'}]
        }
    ]
)
print(response)