Llama 3 70B Instruct - Amazon Bedrock
メタ — Llama 3 70B 指示モデルの詳細機能と機能料金プログラムによるアクセスサービス階層リージョン別の利用可能性クォータと制限サンプルコード

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Llama 3 70B Instruct

メタ — Llama 3 70B 指示

モデルの詳細

Llama 3 70B Instruct は、Meta の 700 億パラメータの命令チューニングモデルで、8K コンテキストウィンドウを備えており、対話やアシスタントのようなタスクに最適化されています。モデルの開発とパフォーマンスの詳細については、モデル/サービスカードを参照してください。

  • モデル開始日: 2024 年 4 月 18 日

  • モデル終了日: 4/23/2025 より前

  • エンドユーザーライセンス契約と利用規約: 表示

  • モデルライフサイクル: アクティブ

  • コンテキストウィンドウ: 8K トークン

  • 最大出力トークン: 8K

  • ナレッジカットオフ: 2023 年 12 月

入力モダリティ 出力モダリティ サポートされている APIs サポートされているエンドポイント
No オーディオNo 埋め込みNo ResponsesYes bedrock-runtime
No イメージNo イメージNo Chat CompletionsNo bedrock-mantle
No 音声No 音声Yes Invoke
Yes テキストYes テキストYes Converse
No のビデオNo のビデオ

機能と機能

Bedrock の機能

bedrock-runtimeエンドポイントを使用してサポートされる機能

サポート サポートされていない

料金

料金については、Amazon Bedrock の料金ページを参照してください。

プログラムによるアクセス

次のモデル IDs とエンドポイント URLsを使用して、このモデルにプログラムでアクセスします。使用可能な APIs「サポートされている APIs」と「サポートされているエンドポイント」を参照してください。

Endpoint モデル ID リージョン内エンドポイント URL 地理推論 ID グローバル推論 ID
bedrock-runtime meta.llama3-70b-instruct-v1:0 https://bedrock-runtime.{region}.amazonaws.com サポートされません サポートされません

たとえば、region が us-east-1 (バージニア北部) の場合、bedrock-runtime エンドポイント URL は「https://bedrock-runtime.us-east-1.amazonaws.com」になり、bedrock-mantle の URL は「https://bedrock-mantle.us-east-1.api.aws/v1」になります。

サービス階層

Amazon Bedrock は、ワークロードの要件に合わせて複数のサービス層を提供します。Standard はpay-per-tokenアクセスを提供します。Priority は、時間ベースのコミットメントでより高いスループットを提供します。Flex は、柔軟でnon-time-sensitiveワークロードに対して低コストのアクセスを提供します。リザーブドは、予測可能なワークロードに対するコミットメントという用語で、専用のスループットを提供します。詳細については、「 サービス層」を参照してください。

スタンダード 優先度 Flex 予約済み
Yes No No No

リージョン別の利用可能性

リージョンの可用性の概要

Bedrock には 3 つの推論オプションがあります。In-Region は厳格なコンプライアンスのために 1 つのリージョン内にリクエストを保持し、Geo Cross-Region ルートは 1 つのリージョン (米国、欧州など) にまたがり、データレジデンシーを尊重しながらスループットを向上させます。Global Cross-Region ルートは、レジデンシーの制約がない場合に、世界中のどこでも最大スループットを実現します。詳細については、リージョナルな可用性「」ページを参照してください。

リージョン リージョン内 地域 グローバル
us-east-1 (バージニア北部)YesNoNo
us-west-2 (オレゴン)YesNoNo
us-gov-west-1 (GovCloud)YesNoNo
ca-central-1 (カナダ)YesNoNo
eu-west-2 (ロンドン)YesNoNo
ap-south-1 (ムンバイ)YesNoNo

クォータと制限

AWS アカウントには、サービスのパフォーマンスを維持し、Amazon Bedrock の適切な使用を確保するためのデフォルトのクォータがあります。アカウントに割り当てられたデフォルトのクォータは、リージョンの要因、支払い履歴、不正使用、および/またはクォータ引き上げリクエストの承認に応じて更新される場合があります。詳細については、「 Amazon Bedrock のクォータドキュメント」および「 モデルの制限」を参照してください。

サンプルコード

ステップ 1 - AWS アカウント: AWS アカウントがすでにある場合は、このステップをスキップします。AWS を初めて使用する場合は、AWS アカウントにサインアップします。

ステップ 2 - API キー: Amazon Bedrock コンソールに移動し、長期 API キーを生成します。

ステップ 3 - SDK を取得する: この入門ガイドを使用するには、Python がすでにインストールされている必要があります。次に、使用している APIs に応じて、関連するソフトウェアをインストールします。

pip install boto3

ステップ 4 - 環境変数を設定する: API キーを認証に使用するように環境を設定します。

AWS_BEARER_TOKEN_BEDROCK="<provide your Bedrock API key>"

ステップ 5 - 最初の推論リクエストを実行する: ファイルを として保存する bedrock-first-request.py

Invoke API
import json
import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.invoke_model(
    modelId='meta.llama3-70b-instruct-v1:0',
    body=json.dumps({
            'messages': [{ 'role': 'user', 'content': 'Can you explain the features of Amazon Bedrock?'}],
            'max_tokens': 1024
    })
 )
 print(json.loads(response['body'].read()))
Converse API
import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.converse(
    modelId='meta.llama3-70b-instruct-v1:0',
    messages=[
        {
            'role': 'user',
            'content': [{'text': 'Can you explain the features of Amazon Bedrock?'}]
        }
    ]
)
print(response)