View a markdown version of this page

Mixtral 8x7B Instruct - Amazon Bedrock
混合式 AI — 8x7B 混合式指示模型詳細資訊定價程式設計存取服務層區域可用性配額和限制範例程式碼

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

Mixtral 8x7B Instruct

混合式 AI — 8x7B 混合式指示

模型詳細資訊

Mixtral 8x7B Instruct 是 Mistral AI 的稀疏mixture-of-experts模型，每個模型都有 8 個專家和 7B 參數，以更快的推論速度提供強大的效能。如需模型開發和效能的詳細資訊，請參閱模型/服務卡。

  • 模型啟動日期：2023 年 12 月 10 日

  • 模型 EOL 日期：不可早於 3/1/2025

  • 最終使用者授權合約和使用條款：檢視

  • 模型生命週期：作用中

  • 內容視窗：32K 權杖

  • 最大輸出字符：4K

輸入模態 輸出模式 支援的 APIs 支援的端點
No 音訊No 內嵌No ResponsesYes bedrock-runtime
No 影像No 影像No Chat CompletionsNo bedrock-mantle
No 語音No 語音Yes Invoke
Yes 文字Yes 文字Yes Converse
No 影片No 影片

定價

如需定價，請參閱 Amazon Bedrock 定價頁面。

程式設計存取

使用以下模型 IDs和端點 URLs以程式設計方式存取此模型。如需可用 APIs和端點的詳細資訊，請參閱支援的 APIs和支援的端點。

端點 模型 ID 區域端點 URL 地理推論 ID 全域推論 ID
bedrock-runtime mistral.mixtral-8x7b-instruct-v0:1 https://bedrock-runtime.{region}.amazonaws.com 不支援 不支援

例如，如果區域是 us-east-1 （維吉尼亞北部），則 bedrock-runtime 端點 URL 將為 "https://bedrock-runtime.us-east-1.amazonaws.com"，而 bedrock-mantle 則為 "https://bedrock-mantle.us-east-1.api.aws/v1"。

服務層

Amazon Bedrock 提供多種服務層，以符合您的工作負載需求。Standard pay-per-token存取，無需任何承諾。優先順序透過以時間為基礎的承諾提供更高的輸送量。Flex 為彈性、non-time-sensitive的工作負載提供低成本存取。預留 提供專用輸送量，並提供可預測工作負載的期限承諾。如需詳細資訊，請參閱 服務方案。

標準 優先順序 Flex 預留
Yes Yes Yes No

區域可用性

區域可用性一目了然

Bedrock 提供三種推論選項：為嚴格合規，區域內將請求保留在單一 區域內，地理 （美國、歐洲等） 內區域間的地理跨區域路由可提高輸送量，同時遵守資料駐留，而全球跨區域路由則可在無駐留限制的情況下，在全球任何地方提供最大輸送量。如需詳細資訊，請參閱 區域可用性頁面。

區域 區域內 地理 全域
us-east-1 （維吉尼亞北部）YesNoNo
us-west-2 （奧勒岡）YesNoNo
ca-central-1 （加拿大）YesNoNo
eu-west-1 （愛爾蘭）YesNoNo
eu-west-2 （倫敦）YesNoNo
eu-west-3 （巴黎）YesNoNo
ap-south-1 （孟買）YesNoNo
ap-southeast-2 （雪梨）YesNoNo
sa-east-1 （聖保羅）YesNoNo

配額和限制

您的 AWS 帳戶具有預設配額，可維持服務的效能，並確保適當使用 Amazon Bedrock。指派給帳戶的預設配額可能會根據區域因素、付款歷史記錄、詐騙使用量和/或配額增加請求的核准而更新。如需詳細資訊，請參閱 Amazon Bedrock 的配額 文件並查看模型的限制。

範例程式碼

步驟 1 - AWS 帳戶：如果您已經有 AWS 帳戶，請略過此步驟。如果您是初次使用 AWS，請註冊 AWS 帳戶。

步驟 2 - API 金鑰：前往 Amazon Bedrock 主控台並產生長期 API 金鑰。

步驟 3 - 取得 SDK：若要使用此入門指南，您必須已安裝 Python。然後，根據您使用的 APIs相關軟體。

pip install boto3

步驟 4 - 設定環境變數：設定您的環境以使用 API 金鑰進行身分驗證。

AWS_BEARER_TOKEN_BEDROCK="<provide your Bedrock API key>"

步驟 5 - 執行您的第一個推論請求：將檔案儲存為 bedrock-first-request.py

Invoke API
import json
import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.invoke_model(
    modelId='mistral.mixtral-8x7b-instruct-v0:1',
    body=json.dumps({
            'messages': [{ 'role': 'user', 'content': 'Can you explain the features of Amazon Bedrock?'}],
            'max_tokens': 1024
    })
 )
 print(json.loads(response['body'].read()))
Converse API
import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.converse(
    modelId='mistral.mixtral-8x7b-instruct-v0:1',
    messages=[
        {
            'role': 'user',
            'content': [{'text': 'Can you explain the features of Amazon Bedrock?'}]
        }
    ]
)
print(response)