翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

最適化生成 AI 推論の推奨事項

Amazon SageMaker AI は推論レコメンデーションをサポートするようになりました。推論レコメンデーションは、手動での最適化とベンチマークを排除して、最適な推論パフォーマンスを実現する機能です。GPU インスタンスタイプ、サービスコンテナ、並列処理戦略、最適化手法の組み合わせを手動でテストする代わりに、モデルとワークロードの要件を指定すると、SageMaker AI は実際のパフォーマンスメトリクスを使用して検証済みでデプロイ可能な設定を返します。

推論レコメンデーションは、モデルのアーキテクチャを分析し、設定領域を絞り込み、スループットの投機的デコードやレイテンシーのカーネルチューニングなどの目標に沿った最適化を適用します。複数のインスタンスタイプを評価することで、ワークロードに最も価格パフォーマンスの高いオプションを選択できます。実際の GPU インフラストラクチャで各設定をベンチマークするため、推論支出を自信を持って適切なサイズでデプロイできます。

仕組み

SageMaker AI Studio または SageMaker AI APIs を使用して推論レコメンデーションを開始することは簡単です。次の手順では、ワークフローについて説明します。

既存の本番稼働用エンドポイントをベンチマークして、現在のパフォーマンスを検証したり、新しい設定と比較したりすることもできます。

ユースケース

推論レコメンデーションの一般的なユースケースを次に示します。

料金

推論レコメンデーションには追加料金はかかりません。既存の ML 予約 (Flexible Training Plans) は、追加のコンピューティングコストなしで使用することも、自動的にプロビジョニングされるオンデマンドコンピューティングを使用することもできます。

サポート対象のリージョン

推論レコメンデーションは、次の AWS リージョンで利用できます。