本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。
# Mixtral 8x7B Instruct
##  Mistral AI — Mixtral 8x7b Instruct
## 模型详细信息
Mixtral 8x7b Instruct 是 Mistral AI 的稀疏混合专家模型，有 8 个专家和 7B 参数，在更快的推理速度下提供强劲的性能。有关模型开发和性能的更多信息，请参阅[model/service 卡片](https://docs.mistral.ai/getting-started/models)。
+ **模型发布日期：**2023 年 12 月 10 日
+ **型号停产日期：**不早于 2025 年 3/1
+ **最终用户许可协议和使用条款：**[查看](https://aws.amazon.com/legal/bedrock/third-party-models/)
+ **模型生命周期：**活跃
+ **上下文窗口：**3.2K 个代币
+ **最大输出代币：**4K
| **输入模式** | **输出模式** | **[支持的 API](https://docs.aws.amazon.com/bedrock/latest/userguide/apis.html)** | **[支持的终端节点](https://docs.aws.amazon.com/bedrock/latest/userguide/endpoints.html)** |
| --- | --- | --- | --- |
| 音频 | 嵌入 |  Responses |  bedrock-runtime |
| 图片 | 图片 |  Chat Completions |  bedrock-mantle |
| 演讲 | 演讲 |  Invoke | |
| 文本 | 文本 |  Converse | |
| 视频 | 视频 | | |
## 功能和特点
***基岩特征***
**使用`bedrock-runtime`端点支持的功能**
| **支持** | **不支持** |
| --- | --- |
| [See the AWS documentation website for more details](http://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/model-card-mistral-ai-mixtral-8x7b-instruct.html) | [See the AWS documentation website for more details](http://docs.aws.amazon.com/zh_cn/bedrock/latest/userguide/model-card-mistral-ai-mixtral-8x7b-instruct.html) |
## 定价
有关定价，请参阅 [Amazon Bedrock 定价](https://aws.amazon.com/bedrock/pricing/)页面。
## 以编程方式访问
使用以下模型 ID 和端点 URL 以编程方式访问此模型。有关可用 API 和终端节点的更多信息，请参阅[支持的 API 和支持的](https://docs.aws.amazon.com/bedrock/latest/userguide/apis.html)[终端节点](https://docs.aws.amazon.com/bedrock/latest/userguide/endpoints.html)。
| **Endpoint** | **型号** | **In-Region 端点网址** | **地理推理 ID** | **全局推理 ID** |
| --- | --- | --- | --- | --- |
| bedrock-runtime | mistral.mixtral-8x7b-instruct-v0:1 | https://bedrock-runtime.{region}.amazonaws.com | 不支持 | 不支持 |
*例如，如果区域为 us-east-1（弗吉尼亚北部），则基岩运行时端点 URL 将为 “”，基岩地幔的 URL 将https://bedrock-runtime.us-east-1.amazonaws.com为 “”。https://bedrock-mantle.us-east-1.api.aws/v1*
## 服务等级
Amazon Bedrock 提供多个服务等级，以满足您的工作负载要求。**标准版**提供按令牌付费的访问权限，无需任何承诺。P@@ **ri** ority 通过基于时间的承诺提供更高的吞吐量。**Flex** 为灵活、非时间敏感型工作负载提供更低成本的访问权限。Reserved 为可预测的工作负载提供@@ **专用**吞吐量和定期承诺。有关更多信息，请参阅[服务等级](https://docs.aws.amazon.com/bedrock/latest/userguide/service-tiers-inference.html)。
| **Standard** | **优先级** | **Flex** | **已保留** |
| --- | --- | --- | --- |
|  |  |  |  |
## 区域可用性
***地区供应情况一览***
**Bedrock 提供三种推断选项：**In-Region**将请求保留在单个区域内以实现严格合规；在尊重数据驻留的情况下跨地理区域（美国、欧盟等）进行地理 Cross-Region路由，以提高吞吐量；以及**全球任何地方的全球 Cross-Region**路由，以便在没有驻留限制的情况下实现最大吞吐量。**有关更多详细信息，请参阅该[区域可用性](models-region-compatibility.md)页面。
| **区域** | **In-Region** | **地理** | **Global** |
| --- | --- | --- | --- |
| us-east-1（弗吉尼亚北部） |  |  |  |
| us-west-2（俄勒冈州） |  |  |  |
| ca-central-1（加拿大） |  |  |  |
| eu-west-1（爱尔兰） |  |  |  |
| eu-west-2（伦敦） |  |  |  |
| eu-west-3（巴黎） |  |  |  |
| ap-south-1（孟买） |  |  |  |
| ap-southeast-2（悉尼） |  |  |  |
| sa-east-1（圣保罗） |  |  |  |
## 配额和限制
您的 AWS 账户具有默认配额，用于维持服务性能并确保适当使用 Amazon Bedrock。分配给账户的默认配额可能会根据地区因素、付款历史记录、欺诈性使用情况、[增加配额请求](https://docs.aws.amazon.com/bedrock/latest/userguide/quotas-increase.html)的 and/or 批准而更新。有关更多详细信息，请参阅[Amazon Bedrock 的配额](quotas.md)文档并查看该模型的[限制](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#limits_bedrock)。
## 示例代码
**第 1 步-AWS 账户：**如果您已有 AWS 账户，请跳过此步骤。如果您不熟悉 AWS，请注册一个 A [WS 账户](https://portal.aws.amazon.com/billing/signup)。
**第 2 步-API 密钥：**前往 [Amazon Bedrock 控制台](https://console.aws.amazon.com/bedrock/home#/api-keys/long-term/create)生成长期 API 密钥。
**第 3 步-获取 SDK：**要使用本入门指南，必须已安装 Python。然后根据您使用的 API 安装相关软件。
```
pip install boto3
```
**步骤 4-设置环境变量：**将您的环境配置为使用 API 密钥进行身份验证。
```
AWS_BEARER_TOKEN_BEDROCK=""
```
**第 5 步-运行您的第一个推理请求：**将文件另存为 `bedrock-first-request.py`
------
#### [ Invoke API ]
```
import json
import boto3
client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.invoke_model(
modelId='mistral.mixtral-8x7b-instruct-v0:1',
body=json.dumps({
'messages': [{ 'role': 'user', 'content': 'Can you explain the features of Amazon Bedrock?'}],
'max_tokens': 1024
})
)
print(json.loads(response['body'].read()))
```
------
#### [ Converse API ]
```
import boto3
client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.converse(
modelId='mistral.mixtral-8x7b-instruct-v0:1',
messages=[
{
'role': 'user',
'content': [{'text': 'Can you explain the features of Amazon Bedrock?'}]
}
]
)
print(response)
```
------