翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

# Amazon SageMaker JumpStart テキスト分類モデルの評価と比較
<a name="jumpstart-text-classification-evaluation"></a>

SageMaker AI JumpStart には、テキストを事前定義されたクラスに分類する複数のテキスト分類モデルが用意されています。これらのモデルは、センチメント分析、トピック分類、コンテンツモデレーションなどのタスクを処理します。本番稼働に適したモデルを選択するには、精度、F1-score、Matthews 相関係数 (MCC) などの主要なメトリクスを使用して慎重に評価する必要があります。

このガイドでは、以下を実行します。
+ JumpStart カタログから複数のテキスト分類モデル (DistilBERT および BERT) をデプロイします。
+ バランスの取れたデータセット、偏りのあるデータセット、困難なデータセットの間で包括的な評価を実行します。
+ Matthews Correlation Coefficient (MCC) や曲線下レシーバーの運用特性スコアなどの高度なメトリクスを解釈します。
+ 体系的な比較フレームワークを使用して、データ駆動型モデル選択の決定を行います。
+ オートスケーリングと CloudWatch モニタリングを使用して本番稼働のデプロイを設定します。

完全な評価フレームワーク [JumpStart Model Evaluation Package](samples/sagemaker-text-classification-evaluation-2.zip) をダウンロードします。**パッケージにはサンプル出力を含む実行前結果**が含まれているため、モデルを独自デプロイする前に評価プロセスとメトリクスをプレビューできます。

## 前提条件
<a name="w2aac37c15c11"></a>

作業を開始する前に、以下の準備が整っていることを確認します。
+ [AWS SageMaker AI アクセス許可を持つ アカウント](https://docs.aws.amazon.com/sagemaker/latest/dg/gs-set-up.html)。
+ [SageMaker AI Amazon SageMaker Studio アクセス](https://docs.aws.amazon.com/sagemaker/latest/dg/onboard-quick-start.html)
+ Python に関する知識
+ テキスト分類の概念の理解

時間とコスト: 合計 45 分。コストはインスタンスタイプと使用期間によって異なります。現在の料金については、[SageMaker AI の料金](https://aws.amazon.com/sagemaker/pricing/)」を参照してください。

このチュートリアルには、すべてのリソースを削除して継続的な課金を回避するためのステップバイステップのクリーンアップ手順が含まれています。

**Topics**
+ [前提条件](#w2aac37c15c11)
+ [評価環境を設定する](jumpstart-text-classification-setup.md)
+ [テキスト分類モデルを選択してデプロイする](jumpstart-text-classification-deploy.md)
+ [モデルのパフォーマンスを評価して比較する](jumpstart-text-classification-evaluate.md)
+ [結果を解釈する](jumpstart-text-classification-interpret.md)
+ [モデルを大規模にデプロイする](jumpstart-text-classification-scale.md)