翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

# サポートされているフレームワーク、 AWS リージョンインスタンスタイプ、テスト済みモデル
<a name="training-compiler-support"></a>

**重要**  
Amazon Web Services (AWS) は、SageMaker Training Compiler の新しいリリースやバージョンがないことを発表しました。SageMaker Training では、既存の AWS Deep Learning Containers (DLC) を通じて SageMaker Training Compiler を引き続き使用できます。既存の DLCs は引き続きアクセス可能ですが、 [AWS Deep Learning Containers Framework サポートポリシー](https://docs.aws.amazon.com/deep-learning-containers/latest/devguide/support-policy.html)に従って AWS、 からパッチや更新を受け取ることはできなくなります。

SageMaker Training Compiler を使用する前に、選択したフレームワークがサポートされているかどうか、 でインスタンスタイプが使用可能かどうか AWS アカウント、 AWS アカウント がサポートされている のいずれかにあるかどうかを確認します AWS リージョン。

**注記**  
SageMaker Training Compiler は SageMaker Python SDK v2.70.0 以降で使用できます。

## サポートされるフレームワーク
<a name="training-compiler-supported-frameworks"></a>

SageMaker Training Compiler は、次の深層学習フレームワークをサポートしており、 AWS 深層学習コンテナを通じて利用できます。

**Topics**
+ [PyTorch](#training-compiler-supported-frameworks-pytorch)
+ [TensorFlow](#training-compiler-supported-frameworks-tensorflow)

### PyTorch
<a name="training-compiler-supported-frameworks-pytorch"></a>



- **PyTorch**
  - **フレームワークのバージョン:** PyTorch v1.13.1 / **深層学習コンテナの URI:** 763104351884.dkr.ecr.{{<region>}}.amazonaws.com/pytorch-trcomp-training:1.12.0-gpu-py38-cu113-ubuntu20.04-sagemaker / **Docker カスタマイズ用に拡張可能:** いいえ
  - **フレームワークのバージョン:** PyTorch v1.12.0 / **深層学習コンテナの URI:** 763104351884.dkr.ecr.{{<region>}}.amazonaws.com/pytorch-trcomp-training:1.13.1-gpu-py39-cu117-ubuntu20.04-sagemaker / **Docker カスタマイズ用に拡張可能:** いいえ

- **Hugging Face Transformer を使用する PyTorch**
  - **フレームワークのバージョン:** Transformers v4.21.1<br />PyTorch v1.11.0 / **深層学習コンテナの URI:** 763104351884.dkr.ecr.{{<region>}}.amazonaws.com/huggingface-pytorch-trcomp-training:1.11.0-transformers4.21.1-gpu-py38-cu113-ubuntu20.04 / **Docker カスタマイズ用に拡張可能:** いいえ
  - **フレームワークのバージョン:** Transformers v4.17.0<br />PyTorch v1.10.2 / **深層学習コンテナの URI:** 763104351884.dkr.ecr.{{<region>}}.amazonaws.com/huggingface-pytorch-trcomp-training:1.10.2-transformers4.17.0-gpu-py38-cu113-ubuntu20.04 / **Docker カスタマイズ用に拡張可能:** いいえ
  - **フレームワークのバージョン:** Transformers v4.11.0<br />PyTorch v1.9.0 / **深層学習コンテナの URI:** 763104351884.dkr.ecr.{{<region>}}.amazonaws.com/huggingface-pytorch-training-comp:1.9.0-transformers4.11.0-gpu-py38-cu111-ubuntu20.04 / **Docker カスタマイズ用に拡張可能:** いいえ



### TensorFlow
<a name="training-compiler-supported-frameworks-tensorflow"></a>



- **TensorFlow**
  - **フレームワークのバージョン:** TensorFlow v2.11.0 / **深層学習コンテナの URI:** 763104351884.dkr.ecr.{{<region>}}.amazonaws.com/tensorflow-training:2.11.0-gpu-py39-cu112-ubuntu20.04-sagemaker / **Docker のカスタマイズ用に拡張可能:** はい
  - **フレームワークのバージョン:** TensorFlow v2.10.0 / **深層学習コンテナの URI:** 763104351884.dkr.ecr.{{<region>}}.amazonaws.com/tensorflow-training:2.10.0-gpu-py39-cu112-ubuntu20.04-sagemaker / **Docker のカスタマイズ用に拡張可能:** はい
  - **フレームワークのバージョン:** TensorFlow v2.9.1 / **深層学習コンテナの URI:** 763104351884.dkr.ecr.{{<region>}}.amazonaws.com/tensorflow-training:2.9.1-gpu-py39-cu112-ubuntu20.04-sagemaker / **Docker のカスタマイズ用に拡張可能:** はい

- **Hugging Face Transformer を使用する TensorFlow**
  - **フレームワークのバージョン:** Transformers v4.17.0<br />TensorFlow v2.6.3 / **深層学習コンテナの URI:** 763104351884.dkr.ecr.{{<region>}}.amazonaws.com/huggingface-tensorflow-trcomp-training:2.6.3-transformers4.17.0-gpu-py38-cu112-ubuntu20.04 / **Docker のカスタマイズ用に拡張可能:** いいえ
  - **フレームワークのバージョン:** Transformers v4.11.0<br />TensorFlow v2.5.1 / **深層学習コンテナの URI:** 763104351884.dkr.ecr.{{<region>}}.amazonaws.com/huggingface-tensorflow-training-comp:2.5.1-transformers4.11.0-gpu-py37-cu112-ubuntu18.04 / **Docker のカスタマイズ用に拡張可能:** いいえ



詳細については、「AWS Deep Learning Containers GitHub repository」の「[Available Images](https://github.com/aws/deep-learning-containers/blob/master/available_images.md)」を参照してください。

## AWS リージョン
<a name="training-compiler-availablity-zone"></a>

[SageMaker Training Compiler Containers](https://github.com/aws/deep-learning-containers/blob/master/available_images.md#sagemaker-training-compiler-containers) は、中国リージョンを除く [AWS Deep Learning Containers](https://github.com/aws/deep-learning-containers/blob/master/available_images.md) AWS リージョン が稼働している で利用できます。

## サポートされるインスタンスタイプ
<a name="training-compiler-supported-instance-types"></a>

SageMaker Training Compiler は、次の ML インスタンスタイプでテストされ、サポートしています。
+ P4 インスタンス
+ P3 インスタンス
+ G4dn インスタンス
+ G5 インスタンス

インスタンスタイプの仕様については、**「Amazon EC2 インスタンスタイプ」ページ**の[「高速コンピューティング」](https://aws.amazon.com/ec2/instance-types/)のセクションを参照してください。インスタンスの料金の詳細については、[「Amazon SageMaker の料金」](https://aws.amazon.com/sagemaker/pricing/)を参照してください。

次のようなエラーメッセージが表示された場合は、「[Request a service quota increase for SageMaker AI resources](https://docs.aws.amazon.com/sagemaker/latest/dg/regions-quotas.html#service-limit-increase-request-procedure)」の手順に従います。

```
ResourceLimitExceeded: An error occurred (ResourceLimitExceeded) when calling
the CreateTrainingJob operation: The account-level service limit 'ml.p3dn.24xlarge
for training job usage' is 0 Instances, with current utilization of 0 Instances
and a request delta of 1 Instances.
Please contact AWS support to request an increase for this limit.
```

## テスト済みモデル
<a name="training-compiler-tested-models"></a>

次の表に、SageMaker Training Compiler でテスト済みのモデルのリストを示します。参考までに、メモリに収まる最大バッチサイズも、他のトレーニングパラメータと共に示されています。SageMaker Training Compiler は、モデルトレーニングプロセスのメモリフットプリントを変えられます。その結果、トレーニングプロセス中により大きなバッチサイズを使用できる場合が多く、総トレーニング時間を削減できます。場合によっては、SageMaker Training Compiler がキャッシュをインテリジェントに促進して、GPU に収まる最大バッチサイズを小さくします。モデルのハイパーパラメータを再調整して、ケースに最適なバッチサイズを見つける必要があります。時間を節約するために、以下の参照テーブルを使用して、ユースケースに適した開始点となるバッチサイズを調べます。

**注記**  
バッチサイズは、それぞれのインスタンスタイプで個々の GPU に適合するローカルなバッチサイズです。バッチサイズを変更するときは、学習レートも調整してください。

### PyTorch 1.13.1
<a name="training-compiler-tested-models-pt1131"></a>

**自然言語処理 (NLP) モデル**

以下のモデルは、表示されているとおり、シングルまたはマルチ GPU コアと自動混合精度 (AMP) を備えたシングルノードとマルチノードのすべての組み合わせについて、トレーニングジョブでテストされています。


<table>
<thead>
  <tr><th colspan="7">シングルノード/マルチノードシングル GPU/マルチ GPU</th></tr>
  <tr><th>モデル</th><th>データセット</th><th>インスタンスタイプ</th><th>精度</th><th>シーケンスの長さ</th><th>ネイティブフレームワークのバッチサイズ </th><th>SageMaker Training Compiler のバッチサイズ </th></tr>
</thead>
<tbody>
  <tr><td>albert-base-v2</td><td>wikitext-2-raw-v1</td><td>g4dn.16xlarge</td><td>float16</td><td>128</td><td>80</td><td>192</td></tr>
  <tr><td>albert-base-v2</td><td>wikitext-2-raw-v1</td><td>g5.4xlarge</td><td>float16</td><td>128</td><td>128</td><td>332</td></tr>
  <tr><td>albert-base-v2</td><td>wikitext-2-raw-v1</td><td>p3.2xlarge</td><td>float16</td><td>128</td><td>80</td><td>224</td></tr>
  <tr><td>bert-base-uncased</td><td>wikitext-2-raw-v1</td><td>g5.4xlarge</td><td>float16</td><td>128</td><td>160</td><td>288</td></tr>
  <tr><td>camembert-base</td><td>wikitext-2-raw-v1</td><td>g5.4xlarge</td><td>float16</td><td>128</td><td>160</td><td>280</td></tr>
  <tr><td>distilbert-base-uncased</td><td>wikitext-2-raw-v1</td><td>g5.4xlarge</td><td>float16</td><td>128</td><td>240</td><td>472</td></tr>
  <tr><td>distilgpt2</td><td>wikitext-2-raw-v1</td><td>g4dn.16xlarge</td><td>float16</td><td>128</td><td>77</td><td>128</td></tr>
  <tr><td>distilgpt2</td><td>wikitext-2-raw-v1</td><td>g5.4xlarge</td><td>float16</td><td>128</td><td>138</td><td>390</td></tr>
  <tr><td>distilgpt2</td><td>wikitext-2-raw-v1</td><td>p3.2xlarge</td><td>float16</td><td>128</td><td>96</td><td>256</td></tr>
  <tr><td>distilroberta-base</td><td>wikitext-2-raw-v1</td><td>g4dn.16xlarge</td><td>float16</td><td>128</td><td>96</td><td>192</td></tr>
  <tr><td>distilroberta-base</td><td>wikitext-2-raw-v1</td><td>g5.4xlarge</td><td>float16</td><td>128</td><td>171</td><td>380</td></tr>
  <tr><td>distilroberta-base</td><td>wikitext-2-raw-v1</td><td>p3.2xlarge</td><td>float16</td><td>128</td><td>112</td><td>256</td></tr>
  <tr><td>gpt2</td><td>wikitext-2-raw-v1</td><td>g4dn.16xlarge</td><td>float16</td><td>128</td><td>52</td><td>152</td></tr>
  <tr><td>gpt2</td><td>wikitext-2-raw-v1</td><td>g5.4xlarge</td><td>float16</td><td>128</td><td>84</td><td>240</td></tr>
  <tr><td>gpt2</td><td>wikitext-2-raw-v1</td><td>p3.2xlarge</td><td>float16</td><td>128</td><td>58</td><td>164</td></tr>
  <tr><td>microsoft/deberta-base</td><td>wikitext-2-raw-v1</td><td>g4dn.16xlarge</td><td>float16</td><td>128</td><td>48</td><td>128</td></tr>
  <tr><td>microsoft/deberta-base</td><td>wikitext-2-raw-v1</td><td>g5.4xlarge</td><td>float16</td><td>128</td><td>84</td><td>207</td></tr>
  <tr><td>microsoft/deberta-base</td><td>wikitext-2-raw-v1</td><td>p3.2xlarge</td><td>float16</td><td>128</td><td>53</td><td>133</td></tr>
  <tr><td>roberta-base</td><td>wikitext-2-raw-v1</td><td>g5.4xlarge</td><td>float16</td><td>128</td><td>125</td><td>224</td></tr>
  <tr><td>xlm-roberta-base</td><td>wikitext-2-raw-v1</td><td>g4dn.16xlarge</td><td>float16</td><td>128</td><td>16</td><td>31</td></tr>
  <tr><td>xlm-roberta-base</td><td>wikitext-2-raw-v1</td><td>p3.2xlarge</td><td>float16</td><td>128</td><td>18</td><td>50</td></tr>
  <tr><td>xlnet-base-cased</td><td>wikitext-2-raw-v1</td><td>g5.4xlarge</td><td>float16</td><td>128</td><td>128</td><td>240</td></tr>
  <tr><td>bert-base-uncased</td><td>wikitext-103-v1</td><td>g5.48xlarge</td><td>float16</td><td>512</td><td>29</td><td>50</td></tr>
  <tr><td>distilbert-base-uncased</td><td>wikitext-103-v1</td><td>g5.48xlarge</td><td>float16</td><td>512</td><td>45</td><td>64</td></tr>
  <tr><td>gpt2</td><td>wikitext-103-v1</td><td>g5.48xlarge</td><td>float16</td><td>512</td><td>18</td><td>45</td></tr>
  <tr><td>roberta-base</td><td>wikitext-103-v1</td><td>g5.48xlarge</td><td>float16</td><td>512</td><td>23</td><td>44</td></tr>
  <tr><td>gpt2</td><td>wikitext-103-v1</td><td>p4d.24xlarge</td><td>float16</td><td>512</td><td>36</td><td>64</td></tr>
</tbody>
</table>


**コンピュータビジョン (CV) モデル**

表示されているとおり、自動混合精度 (AMP) を備えた [TensorFlow モデルガーデン](https://github.com/tensorflow/models)を使用してテストしました。


<table>
<thead>
  <tr><th colspan="6">シングル/マルチノードシングル/マルチ GPU</th></tr>
  <tr><th>モデル</th><th>データセット</th><th>インスタンスタイプ</th><th>精度</th><th>ネイティブフレームワークのバッチサイズ </th><th>SageMaker Training Compiler のバッチサイズ </th></tr>
</thead>
<tbody>
  <tr><td>ResNet152</td><td>food101</td><td>g4dn.16xlarge</td><td>float16</td><td>128</td><td>144</td></tr>
  <tr><td>ResNet152</td><td>food101</td><td>g5.4xlarge</td><td>float16</td><td>128</td><td>192</td></tr>
  <tr><td>ResNet152</td><td>food101</td><td>p3.2xlarge</td><td>float16</td><td>152</td><td>156</td></tr>
  <tr><td>ViT</td><td>food101</td><td>g4dn.16xlarge</td><td>float16</td><td>512</td><td>512</td></tr>
  <tr><td>ViT</td><td>food101</td><td>g5.4xlarge</td><td>float16</td><td>992</td><td>768</td></tr>
  <tr><td>ViT</td><td>food101</td><td>p3.2xlarge</td><td>float16</td><td>848</td><td>768</td></tr>
</tbody>
</table>


### PyTorch 1.12.0
<a name="training-compiler-tested-models-pt1120"></a>

**自然言語処理 (NLP) モデル**

以下のモデルは、表示されているとおり、シングルまたはマルチ GPU コアと自動混合精度 (AMP) を備えたシングルノードとマルチノードのすべての組み合わせについて、トレーニングジョブでテストされています。


<table>
<thead>
  <tr><th colspan="7">シングルノード/マルチノードシングル GPU/マルチ GPU</th></tr>
  <tr><th>モデル</th><th>データセット</th><th>インスタンスタイプ</th><th>精度</th><th>シーケンスの長さ</th><th>ネイティブフレームワークのバッチサイズ </th><th>SageMaker Training Compiler のバッチサイズ </th></tr>
</thead>
<tbody>
  <tr><td>albert-base-v2</td><td>wikitext-2-raw-v1</td><td>ml.g5.2xlarge</td><td>float16</td><td>128</td><td>128</td><td>248</td></tr>
  <tr><td>bert-base-uncased</td><td>wikitext-2-raw-v1</td><td>ml.g5.2xlarge</td><td>float16</td><td>128</td><td>160</td><td>288</td></tr>
  <tr><td>camembert-base</td><td>wikitext-2-raw-v1</td><td>ml.g5.2xlarge</td><td>float16</td><td>128</td><td>160</td><td>279</td></tr>
  <tr><td>camembert-base</td><td>wikitext-2-raw-v1</td><td>ml.p3.2xlarge</td><td>float16</td><td>128</td><td>105</td><td>164</td></tr>
  <tr><td>distilgpt2</td><td>wikitext-2-raw-v1</td><td>ml.g5.2xlarge</td><td>float16</td><td>128</td><td>136</td><td>256</td></tr>
  <tr><td>distilgpt2</td><td>wikitext-2-raw-v1</td><td>ml.p3.2xlarge</td><td>float16</td><td>128</td><td>80</td><td>118</td></tr>
  <tr><td>gpt2</td><td>wikitext-2-raw-v1</td><td>ml.g5.2xlarge</td><td>float16</td><td>128</td><td>84</td><td>240</td></tr>
  <tr><td>gpt2</td><td>wikitext-2-raw-v1</td><td>ml.p3.2xlarge</td><td>float16</td><td>128</td><td>80</td><td>119</td></tr>
  <tr><td>microsoft/deberta-base</td><td>wikitext-2-raw-v1</td><td>ml.g5.2xlarge</td><td>float16</td><td>128</td><td>93</td><td>197</td></tr>
  <tr><td>microsoft/deberta-base</td><td>wikitext-2-raw-v1</td><td>ml.p3.2xlarge</td><td>float16</td><td>128</td><td>113</td><td>130</td></tr>
  <tr><td>roberta-base</td><td>wikitext-2-raw-v1</td><td>ml.g5.2xlarge</td><td>float16</td><td>128</td><td>125</td><td>224</td></tr>
  <tr><td>roberta-base</td><td>wikitext-2-raw-v1</td><td>ml.p3.2xlarge</td><td>float16</td><td>128</td><td>78</td><td>112</td></tr>
  <tr><td>xlnet-base-cased</td><td>wikitext-2-raw-v1</td><td>ml.g5.2xlarge</td><td>float16</td><td>128</td><td>138</td><td>240</td></tr>
  <tr><td>bert-base-uncased</td><td>wikitext-103-v1</td><td>ml.p4d.24xlarge</td><td>float16</td><td>512</td><td></td><td>52</td></tr>
  <tr><td>distilbert-base-uncased</td><td>wikitext-103-v1</td><td>ml.p4d.24xlarge</td><td>float16</td><td>512</td><td></td><td>160</td></tr>
  <tr><td>gpt2</td><td>wikitext-103-v1</td><td>ml.p4d.24xlarge</td><td>float16</td><td>512</td><td></td><td>25</td></tr>
  <tr><td>roberta-base</td><td>wikitext-103-v1</td><td>ml.p4d.24xlarge</td><td>float16</td><td>512</td><td></td><td>64</td></tr>
</tbody>
</table>


### TensorFlow 2.11.0
<a name="training-compiler-tested-models-tf2110"></a>

**コンピュータビジョン (CV) モデル**

表示されているとおり、自動混合精度 (AMP) を備えた [TensorFlow モデルガーデン](https://github.com/tensorflow/models)を使用してテストしました。


<table>
<thead>
  <tr><th colspan="6">シングル/マルチノードシングル/マルチ GPU</th></tr>
  <tr><th>モデル</th><th>データセット</th><th>インスタンスタイプ</th><th>精度</th><th>ネイティブフレームワークのバッチサイズ </th><th>SageMaker Training Compiler のバッチサイズ </th></tr>
</thead>
<tbody>
  <tr><td>MaskRCNN-ResNet50-FPN</td><td>COCO-2017</td><td>ml.g5.2xlarge</td><td>float16</td><td>6</td><td>8</td></tr>
  <tr><td>MaskRCNN-ResNet50-FPN</td><td>COCO-2017</td><td>ml.p3.2xlarge</td><td>float16</td><td>4</td><td>6</td></tr>
  <tr><td>ResNet50</td><td>ImageNet</td><td>ml.g5.2xlarge</td><td>float16</td><td>192</td><td>256</td></tr>
  <tr><td>ResNet50</td><td>ImageNet</td><td>ml.p3.2xlarge</td><td>float16</td><td>256</td><td>256</td></tr>
  <tr><td>ResNet101</td><td>ImageNet</td><td>ml.g5.2xlarge</td><td>float16</td><td>128</td><td>256</td></tr>
  <tr><td>ResNet101</td><td>ImageNet</td><td>ml.p3.2xlarge</td><td>float16</td><td>128</td><td>128</td></tr>
  <tr><td>ResNet152</td><td>ImageNet</td><td>ml.g5.2xlarge</td><td>float16</td><td>128</td><td>224</td></tr>
  <tr><td>ResNet152</td><td>ImageNet</td><td>ml.p3.2xlarge</td><td>float16</td><td>128</td><td>128</td></tr>
  <tr><td>VisionTransformer</td><td>ImageNet</td><td>ml.g5.2xlarge</td><td>float16</td><td>112</td><td>144</td></tr>
  <tr><td>VisionTransformer</td><td>ImageNet</td><td>ml.p3.2xlarge</td><td>float16</td><td>96</td><td>128</td></tr>
</tbody>
</table>


**自然言語処理 (NLP) モデル**

表示されているとおり、`Sequence_Len=128` および自動混合精度 (AMP) を備えた [Transformer モデル](https://github.com/huggingface/transformers)を使用してテストしました。


<table>
<thead>
  <tr><th colspan="6">シングル/マルチノードシングル/マルチ GPU</th></tr>
  <tr><th>モデル</th><th>データセット</th><th>インスタンスタイプ</th><th>精度</th><th>ネイティブフレームワークのバッチサイズ </th><th>SageMaker Training Compiler のバッチサイズ </th></tr>
</thead>
<tbody>
  <tr><td>albert-base-v2</td><td>wikitext-2-raw-v1</td><td>ml.g5.2xlarge</td><td>float16</td><td>160</td><td>197</td></tr>
  <tr><td>albert-base-v2</td><td>wikitext-2-raw-v1</td><td>ml.p3.2xlarge</td><td>float16</td><td>95</td><td>127</td></tr>
  <tr><td>bert-base-uncased</td><td>wikitext-2-raw-v1</td><td>ml.g5.2xlarge</td><td>float16</td><td>160</td><td>128</td></tr>
  <tr><td>bert-base-uncased</td><td>wikitext-2-raw-v1</td><td>ml.p3.2xlarge</td><td>float16</td><td>104</td><td>111</td></tr>
  <tr><td>bert-large-uncased</td><td>wikitext-2-raw-v1</td><td>ml.g5.2xlarge</td><td>float16</td><td>65</td><td>48</td></tr>
  <tr><td>bert-large-uncased</td><td>wikitext-2-raw-v1</td><td>ml.p3.2xlarge</td><td>float16</td><td>40</td><td>35</td></tr>
  <tr><td>camembert-base</td><td>wikitext-2-raw-v1</td><td>ml.g5.2xlarge</td><td>float16</td><td>128</td><td>162</td></tr>
  <tr><td>camembert-base</td><td>wikitext-2-raw-v1</td><td>ml.p3.2xlarge</td><td>float16</td><td>105</td><td>111</td></tr>
  <tr><td>distilbert-base-uncased</td><td>wikitext-2-raw-v1</td><td>ml.g5.2xlarge</td><td>float16</td><td>256</td><td>264</td></tr>
  <tr><td>distilbert-base-uncased</td><td>wikitext-2-raw-v1</td><td>ml.p3.2xlarge</td><td>float16</td><td>128</td><td>169</td></tr>
  <tr><td>gpt2</td><td>wikitext-2-raw-v1</td><td>ml.g5.2xlarge</td><td>float16</td><td>128</td><td>120</td></tr>
  <tr><td>gpt2</td><td>wikitext-2-raw-v1</td><td>ml.p3.2xlarge</td><td>float16</td><td>80</td><td>83</td></tr>
  <tr><td>jplu/tf-xlm-roberta-base</td><td>wikitext-2-raw-v1</td><td>ml.g5.2xlarge</td><td>float16</td><td>32</td><td>32</td></tr>
  <tr><td>jplu/tf-xlm-roberta-base</td><td>wikitext-2-raw-v1</td><td>ml.p3.2xlarge</td><td>float16</td><td>32</td><td>36</td></tr>
  <tr><td>microsoft/mpnet-base</td><td>wikitext-2-raw-v1</td><td>ml.g5.2xlarge</td><td>float16</td><td>144</td><td>160</td></tr>
  <tr><td>microsoft/mpnet-base</td><td>wikitext-2-raw-v1</td><td>ml.p3.2xlarge</td><td>float16</td><td>106</td><td>110</td></tr>
  <tr><td>roberta-base</td><td>wikitext-2-raw-v1</td><td>ml.g5.2xlarge</td><td>float16</td><td>128</td><td>128</td></tr>
  <tr><td>roberta-base</td><td>wikitext-2-raw-v1</td><td>ml.p3.2xlarge</td><td>float16</td><td>72</td><td>98</td></tr>
  <tr><td>albert-base-v2</td><td>wikitext-2-raw-v1</td><td>ml.g5.48xlarge</td><td>float16</td><td>128</td><td>192</td></tr>
  <tr><td>albert-base-v2</td><td>wikitext-2-raw-v1</td><td>ml.p3.16xlarge</td><td>float16</td><td>95</td><td>96</td></tr>
  <tr><td>distilbert-base-uncased</td><td>wikitext-2-raw-v1</td><td>ml.g5.48xlarge</td><td>float16</td><td>256</td><td>256</td></tr>
  <tr><td>distilbert-base-uncased</td><td>wikitext-2-raw-v1</td><td>ml.p3.16xlarge</td><td>float16</td><td>140</td><td>184</td></tr>
  <tr><td>google/electra-small-discriminator</td><td>wikitext-2-raw-v1</td><td>ml.g5.48xlarge</td><td>float16</td><td>256</td><td>384</td></tr>
  <tr><td>google/electra-small-discriminator</td><td>wikitext-2-raw-v1</td><td>ml.p3.16xlarge</td><td>float16</td><td>256</td><td>268</td></tr>
  <tr><td>gpt2</td><td>wikitext-2-raw-v1</td><td>ml.g5.48xlarge</td><td>float16</td><td>116</td><td>116</td></tr>
  <tr><td>gpt2</td><td>wikitext-2-raw-v1</td><td>ml.p3.16xlarge</td><td>float16</td><td>85</td><td>83</td></tr>
  <tr><td>gpt2</td><td>wikitext-2-raw-v1</td><td>ml.p4d.24xlarge</td><td>float16</td><td>94</td><td>110</td></tr>
  <tr><td>microsoft/mpnet-base</td><td>wikitext-2-raw-v1</td><td>ml.g5.48xlarge</td><td>float16</td><td>187</td><td>164</td></tr>
  <tr><td>microsoft/mpnet-base</td><td>wikitext-2-raw-v1</td><td>ml.p3.16xlarge</td><td>float16</td><td>106</td><td>111</td></tr>
</tbody>
</table>


### TensorFlow 2.10.0
<a name="training-compiler-tested-models-tf2100"></a>

**コンピュータビジョン (CV) モデル**

表示されているとおり、自動混合精度 (AMP) を備えた [TensorFlow モデルガーデン](https://github.com/tensorflow/models)を使用してテストしました。


<table>
<thead>
  <tr><th colspan="6">シングルノードシングル GPU/マルチ GPU</th></tr>
  <tr><th>モデル</th><th>データセット</th><th>インスタンスタイプ</th><th>精度</th><th>ネイティブフレームワークのバッチサイズ </th><th>SageMaker Training Compiler のバッチサイズ </th></tr>
</thead>
<tbody>
  <tr><td>DetectionTransformer-ResNet50</td><td>COCO-2017</td><td>ml.g4dn.2xlarge</td><td>float32</td><td>2</td><td>4</td></tr>
  <tr><td>DetectionTransformer-ResNet50</td><td>COCO-2017</td><td>ml.g5.2xlarge</td><td>float32</td><td>3</td><td>6</td></tr>
  <tr><td>DetectionTransformer-ResNet50</td><td>COCO-2017</td><td>ml.p3.2xlarge</td><td>float32</td><td>2</td><td>4</td></tr>
  <tr><td>MaskRCNN-ResNet50-FPN</td><td>COCO-2017</td><td>ml.g4dn.2xlarge</td><td>float16</td><td>4</td><td>6</td></tr>
  <tr><td>MaskRCNN-ResNet50-FPN</td><td>COCO-2017</td><td>ml.g5.2xlarge</td><td>float16</td><td>6</td><td>8</td></tr>
  <tr><td>MaskRCNN-ResNet50-FPN</td><td>COCO-2017</td><td>ml.g5.48xlarge</td><td>float16</td><td>48</td><td>64</td></tr>
  <tr><td>MaskRCNN-ResNet50-FPN</td><td>COCO-2017</td><td>ml.p3.2xlarge</td><td>float16</td><td>4</td><td>6</td></tr>
  <tr><td>ResNet50</td><td>ImageNet</td><td>ml.g4dn.2xlarge</td><td>float16</td><td>224</td><td>256</td></tr>
  <tr><td>ResNet50</td><td>ImageNet</td><td>ml.g5.2xlarge</td><td>float16</td><td>192</td><td>160</td></tr>
  <tr><td>ResNet50</td><td>ImageNet</td><td>ml.g5.48xlarge</td><td>float16</td><td>2048</td><td>2048</td></tr>
  <tr><td>ResNet50</td><td>ImageNet</td><td>ml.p3.2xlarge</td><td>float16</td><td>224</td><td>160</td></tr>
  <tr><td>ResNet101</td><td>ImageNet</td><td>ml.g4dn.2xlarge</td><td>float16</td><td>160</td><td>128</td></tr>
  <tr><td>ResNet101</td><td>ImageNet</td><td>ml.g5.2xlarge</td><td>float16</td><td>192</td><td>256</td></tr>
  <tr><td>ResNet101</td><td>ImageNet</td><td>ml.g5.48xlarge</td><td>float16</td><td>2048</td><td>2048</td></tr>
  <tr><td>ResNet101</td><td>ImageNet</td><td>ml.p3.2xlarge</td><td>float16</td><td>160</td><td>224</td></tr>
  <tr><td>ResNet152</td><td>ImageNet</td><td>ml.g4dn.2xlarge</td><td>float16</td><td>128</td><td>128</td></tr>
  <tr><td>ResNet152</td><td>ImageNet</td><td>ml.g5.2xlarge</td><td>float16</td><td>192</td><td>224</td></tr>
  <tr><td>ResNet152</td><td>ImageNet</td><td>ml.g5.48xlarge</td><td>float16</td><td>1536</td><td>1792</td></tr>
  <tr><td>ResNet152</td><td>ImageNet</td><td>ml.p3.2xlarge</td><td>float16</td><td>128</td><td>160</td></tr>
  <tr><td>VisionTransformer</td><td>ImageNet</td><td>ml.g4dn.2xlarge</td><td>float16</td><td>80</td><td>128</td></tr>
  <tr><td>VisionTransformer</td><td>ImageNet</td><td>ml.g5.2xlarge</td><td>float16</td><td>112</td><td>144</td></tr>
  <tr><td>VisionTransformer</td><td>ImageNet</td><td>ml.g5.48xlarge</td><td>float16</td><td>896</td><td>1152</td></tr>
  <tr><td>VisionTransformer</td><td>ImageNet</td><td>ml.p3.2xlarge</td><td>float16</td><td>80</td><td>128</td></tr>
</tbody>
</table>


**自然言語処理 (NLP) モデル**

表示されているとおり、`Sequence_Len=128` および自動混合精度 (AMP) を備えた [Transformer モデル](https://github.com/huggingface/transformers)を使用してテストしました。


<table>
<thead>
  <tr><th colspan="6">シングルノードシングル GPU/マルチ GPU</th></tr>
  <tr><th>モデル</th><th>データセット</th><th>インスタンスタイプ</th><th>精度</th><th>ネイティブフレームワークのバッチサイズ </th><th>SageMaker Training Compiler のバッチサイズ </th></tr>
</thead>
<tbody>
  <tr><td>albert-base-v2</td><td>wikitext-2-raw-v1</td><td>g4dn.16xlarge</td><td>float16</td><td>128</td><td>112</td></tr>
  <tr><td>albert-base-v2</td><td>wikitext-2-raw-v1</td><td>p3.2xlarge</td><td>float16</td><td>128</td><td>128</td></tr>
  <tr><td>albert-base-v2</td><td>wikitext-2-raw-v1</td><td>p3.8xlarge</td><td>float16</td><td>128</td><td>135</td></tr>
  <tr><td>albert-base-v2</td><td>wikitext-2-raw-v1</td><td>g5.4xlarge</td><td>float16</td><td>128</td><td>191</td></tr>
  <tr><td>bert-base-uncased</td><td>wikitext-2-raw-v1</td><td>g4dn.16xlarge</td><td>float16</td><td>64</td><td>94</td></tr>
  <tr><td>bert-base-uncased</td><td>wikitext-2-raw-v1</td><td>p3.2xlarge</td><td>float16</td><td>96</td><td>101</td></tr>
  <tr><td>bert-base-uncased</td><td>wikitext-2-raw-v1</td><td>p3.8xlarge</td><td>float16</td><td>96</td><td>96</td></tr>
  <tr><td>bert-base-uncased</td><td>wikitext-2-raw-v1</td><td>g5.4xlarge</td><td>float16</td><td>128</td><td>128</td></tr>
  <tr><td>bert-large-uncased</td><td>wikitext-2-raw-v1</td><td>g4dn.16xlarge</td><td>float16</td><td>35</td><td>21</td></tr>
  <tr><td>bert-large-uncased</td><td>wikitext-2-raw-v1</td><td>p3.2xlarge</td><td>float16</td><td>39</td><td>26</td></tr>
  <tr><td>bert-large-uncased</td><td>wikitext-2-raw-v1</td><td>g5.4xlarge</td><td>float16</td><td>60</td><td>50</td></tr>
  <tr><td>camembert-base</td><td>wikitext-2-raw-v1</td><td>g4dn.16xlarge</td><td>float16</td><td>96</td><td>90</td></tr>
  <tr><td>camembert-base</td><td>wikitext-2-raw-v1</td><td>p3.2xlarge</td><td>float16</td><td>96</td><td>98</td></tr>
  <tr><td>camembert-base</td><td>wikitext-2-raw-v1</td><td>p3.8xlarge</td><td>float16</td><td>96</td><td>96</td></tr>
  <tr><td>camembert-base</td><td>wikitext-2-raw-v1</td><td>g5.4xlarge</td><td>float16</td><td>128</td><td>128</td></tr>
  <tr><td>distilbert-base-uncased</td><td>wikitext-2-raw-v1</td><td>g4dn.16xlarge</td><td>float16</td><td>256</td><td>160</td></tr>
  <tr><td>distilbert-base-uncased</td><td>wikitext-2-raw-v1</td><td>p3.2xlarge</td><td>float16</td><td>128</td><td>176</td></tr>
  <tr><td>distilbert-base-uncased</td><td>wikitext-2-raw-v1</td><td>p3.8xlarge</td><td>float16</td><td>128</td><td>160</td></tr>
  <tr><td>distilbert-base-uncased</td><td>wikitext-2-raw-v1</td><td>g5.4xlarge</td><td>float16</td><td>256</td><td>258</td></tr>
  <tr><td>google\_electra-small-discriminator</td><td>wikitext-2-raw-v1</td><td>g4dn.16xlarge</td><td>float16</td><td>256</td><td>216</td></tr>
  <tr><td>google\_electra-small-discriminator</td><td>wikitext-2-raw-v1</td><td>p3.2xlarge</td><td>float16</td><td>256</td><td>230</td></tr>
  <tr><td>google\_electra-small-discriminator</td><td>wikitext-2-raw-v1</td><td>p3.8xlarge</td><td>float16</td><td>256</td><td>224</td></tr>
  <tr><td>google\_electra-small-discriminator</td><td>wikitext-2-raw-v1</td><td>g5.4xlarge</td><td>float16</td><td>256</td><td>320</td></tr>
  <tr><td>gpt2</td><td>wikitext-2-raw-v1</td><td>g4dn.16xlarge</td><td>float16</td><td>80</td><td>64</td></tr>
  <tr><td>gpt2</td><td>wikitext-2-raw-v1</td><td>p3.2xlarge</td><td>float16</td><td>80</td><td>77</td></tr>
  <tr><td>gpt2</td><td>wikitext-2-raw-v1</td><td>p3.8xlarge</td><td>float16</td><td>80</td><td>72</td></tr>
  <tr><td>gpt2</td><td>wikitext-2-raw-v1</td><td>g5.4xlarge</td><td>float16</td><td>128</td><td>120</td></tr>
  <tr><td>jplu\_tf-xlm-roberta-base</td><td>wikitext-2-raw-v1</td><td>g4dn.16xlarge</td><td>float16</td><td>28</td><td>24</td></tr>
  <tr><td>jplu\_tf-xlm-roberta-base</td><td>wikitext-2-raw-v1</td><td>p3.2xlarge</td><td>float16</td><td>32</td><td>24</td></tr>
  <tr><td>jplu\_tf-xlm-roberta-base</td><td>wikitext-2-raw-v1</td><td>p3.8xlarge</td><td>float16</td><td>32</td><td>26</td></tr>
  <tr><td>jplu\_tf-xlm-roberta-base</td><td>wikitext-2-raw-v1</td><td>g5.4xlarge</td><td>float16</td><td>66</td><td>52</td></tr>
  <tr><td>microsoft\_mpnet-base</td><td>wikitext-2-raw-v1</td><td>g4dn.16xlarge</td><td>float16</td><td>96</td><td>92</td></tr>
  <tr><td>microsoft\_mpnet-base</td><td>wikitext-2-raw-v1</td><td>p3.2xlarge</td><td>float16</td><td>96</td><td>101</td></tr>
  <tr><td>microsoft\_mpnet-base</td><td>wikitext-2-raw-v1</td><td>p3.8xlarge</td><td>float16</td><td>96</td><td>101</td></tr>
  <tr><td>microsoft\_mpnet-base</td><td>wikitext-2-raw-v1</td><td>g5.4xlarge</td><td>float16</td><td>128</td><td>152</td></tr>
  <tr><td>roberta-base</td><td>wikitext-2-raw-v1</td><td>g4dn.16xlarge</td><td>float16</td><td>64</td><td>72</td></tr>
  <tr><td>roberta-base</td><td>wikitext-2-raw-v1</td><td>p3.2xlarge</td><td>float16</td><td>64</td><td>84</td></tr>
  <tr><td>roberta-base</td><td>wikitext-2-raw-v1</td><td>p3.8xlarge</td><td>float16</td><td>64</td><td>86</td></tr>
  <tr><td>roberta-base</td><td>wikitext-2-raw-v1</td><td>g5.4xlarge</td><td>float16</td><td>128</td><td>128</td></tr>
</tbody>
</table>


### TensorFlow 2.9.1
<a name="training-compiler-tested-models-tf291"></a>

自動混合精度 (AMP) を備えた [TensorFlow モデルガーデン](https://github.com/tensorflow/models)を使用してテストしました。


<table>
<thead>
  <tr><th colspan="5">シングルノードシングル GPU/マルチ GPU</th></tr>
  <tr><th>モデル</th><th>データセット</th><th>インスタンスタイプ</th><th>ネイティブフレームワークのバッチサイズ </th><th>SageMaker Training Compiler のバッチサイズ </th></tr>
</thead>
<tbody>
  <tr><td>ResNet50</td><td>ImageNet</td><td>ml.g4dn.2xlarge</td><td>192</td><td>256\*</td></tr>
  <tr><td rowspan="3">ResNet101</td><td rowspan="3">ImageNet</td><td>ml.g4dn.2xlarge</td><td>128</td><td>160</td></tr>
  <tr><td>ml.g5.2xlarge</td><td>224</td><td>256\*</td></tr>
  <tr><td>ml.p3.16xlarge</td><td>1536</td><td>1792</td></tr>
  <tr><td rowspan="3">ResNet152</td><td rowspan="3">ImageNet</td><td>ml.g5.2xlarge</td><td>192</td><td>224</td></tr>
  <tr><td>ml.p3.2xlarge</td><td>160</td><td>160</td></tr>
  <tr><td>ml.p3.16xlarge</td><td>1024</td><td>1280</td></tr>
  <tr><td rowspan="4">VisionTransformer</td><td rowspan="4">ImageNet</td><td>ml.g4dn.2xlarge</td><td>80</td><td>128\*</td></tr>
  <tr><td>ml.g5.2xlarge</td><td>112</td><td>128\*</td></tr>
  <tr><td>ml.p3.2xlarge</td><td>56</td><td>128\*</td></tr>
  <tr><td>ml.p3.16xlarge</td><td>640</td><td>1024\*</td></tr>
  <tr><td rowspan="4">DetectionTransformer-ResNet50</td><td rowspan="4">COCO-2017</td><td>ml.g4dn.2xlarge</td><td>2</td><td>2</td></tr>
  <tr><td>ml.g5.2xlarge</td><td>3</td><td>6</td></tr>
  <tr><td>ml.p3.2xlarge</td><td>2</td><td>4</td></tr>
  <tr><td>ml.p3.16xlarge</td><td>8</td><td>32</td></tr>
  <tr><td rowspan="3">MaskRCNN-ResNet50-FPN</td><td rowspan="3">COCO-2017</td><td>ml.g4dn.2xlarge</td><td>4</td><td>4</td></tr>
  <tr><td>ml.g5.2xlarge</td><td>6</td><td>8</td></tr>
  <tr><td>ml.p3.2xlarge</td><td>4</td><td>6</td></tr>
</tbody>
</table>


\* アスタリスク記号 (\*) が付いているバッチサイズは、SageMaker Training Compiler 開発チームがテストした最大のバッチサイズを示しています。マークされたセルの場合、インスタンスは表示されているものよりも大きなバッチサイズに対応できる場合があります。

### PyTorch 1.11.0 を備えた Transformers 4.21.1
<a name="training-compiler-tested-models-hf421-pt111"></a>

`Sequence_Len=512` および自動混合精度 (AMP) でテスト済みです。


<table>
<thead>
  <tr><th colspan="6">単一ノード単一 GPU</th></tr>
  <tr><th>モデル </th><th>データセット</th><th>インスタンスタイプ</th><th>インスタンス数</th><th>ネイティブフレームワークのバッチサイズ</th><th>Training Compiler のバッチサイズ</th></tr>
</thead>
<tbody>
  <tr><td rowspan="3">albert-base-v2</td><td rowspan="3">wikitext-2</td><td>ml.g4dn.2xlarge</td><td>1</td><td>14</td><td>28</td></tr>
  <tr><td>ml.g5.2xlarge</td><td>1</td><td>18</td><td>40</td></tr>
  <tr><td>ml.p3.2xlarge</td><td>1</td><td>14</td><td>32</td></tr>
  <tr><td rowspan="3">bert-base-cased</td><td rowspan="3">wikitext-2</td><td>ml.g4dn.2xlarge</td><td>1</td><td>12</td><td>24</td></tr>
  <tr><td>ml.g5.2xlarge</td><td>1</td><td>28</td><td>44</td></tr>
  <tr><td>ml.p3.2xlarge</td><td>1</td><td>16</td><td>20</td></tr>
  <tr><td rowspan="3">camembert-base</td><td rowspan="3">wikitext-2</td><td>ml.g4dn.2xlarge</td><td>1</td><td>16</td><td>28</td></tr>
  <tr><td>ml.g5.2xlarge</td><td>1</td><td>24</td><td>40</td></tr>
  <tr><td>ml.p3.2xlarge</td><td>1</td><td>16</td><td>24</td></tr>
  <tr><td rowspan="4">distilbert-base-uncased</td><td rowspan="3">wikitext-2</td><td>ml.g4dn.2xlarge</td><td>1</td><td>28</td><td>52</td></tr>
  <tr><td>ml.g5.2xlarge</td><td>1</td><td>40</td><td>76</td></tr>
  <tr><td>ml.p3.2xlarge</td><td>1</td><td>32</td><td>48</td></tr>
  <tr><td>wikitext-103-v1</td><td>ml.p4d.24xlarge</td><td>4</td><td>82</td><td>160</td></tr>
  <tr><td rowspan="3">distilgpt2</td><td rowspan="3">wikitext-2</td><td>ml.g4dn.2xlarge</td><td>1</td><td>6</td><td>18</td></tr>
  <tr><td>ml.g5.2xlarge</td><td>1</td><td>12</td><td>28</td></tr>
  <tr><td>ml.p3.2xlarge</td><td>1</td><td>6</td><td>16</td></tr>
  <tr><td rowspan="3">distilroberta-base</td><td rowspan="3">wikitext-2</td><td>ml.g4dn.2xlarge</td><td>1</td><td>20</td><td>40</td></tr>
  <tr><td>ml.g5.2xlarge</td><td>1</td><td>28</td><td>56</td></tr>
  <tr><td>ml.p3.2xlarge</td><td>1</td><td>24</td><td>40</td></tr>
  <tr><td rowspan="3">EleutherAI/gpt-neo-125M</td><td rowspan="3">wikitext-2</td><td>ml.g4dn.2xlarge</td><td>1</td><td>4</td><td>8</td></tr>
  <tr><td>ml.g5.2xlarge</td><td>1</td><td>6</td><td>14</td></tr>
  <tr><td>ml.p3.2xlarge</td><td>1</td><td>4</td><td>10</td></tr>
  <tr><td rowspan="4">gpt2</td><td rowspan="3">wikitext-2</td><td>ml.g4dn.2xlarge</td><td>1</td><td>4</td><td>8</td></tr>
  <tr><td>ml.g5.2xlarge</td><td>1</td><td>6</td><td>16</td></tr>
  <tr><td>ml.p3.2xlarge</td><td>1</td><td>4</td><td>10</td></tr>
  <tr><td>wikitext-103-v1</td><td>ml.p4d.24xlarge</td><td>4</td><td>13</td><td>25</td></tr>
  <tr><td rowspan="4">roberta-base</td><td rowspan="3">wikitext-2</td><td>ml.g4dn.2xlarge</td><td>1</td><td>12</td><td>20</td></tr>
  <tr><td>ML.G5.2XL</td><td>1</td><td>24</td><td>36</td></tr>
  <tr><td>ml.p3.2xlarge</td><td>1</td><td>12</td><td>20</td></tr>
  <tr><td>wikitext-103-v1</td><td>ml.p4d.24xlarge</td><td>4</td><td>36</td><td>64</td></tr>
  <tr><td rowspan="3">xlnet-base-cased</td><td rowspan="3">wikitext-2</td><td>ml.g4dn.2xlarge</td><td>1</td><td>2</td><td>6</td></tr>
  <tr><td>ML.G5.2XL</td><td>1</td><td>2</td><td>10</td></tr>
  <tr><td>ml.p3.2xlarge</td><td>1</td><td>2</td><td>8</td></tr>
  <tr><td rowspan="4">bert-base-uncased</td><td rowspan="4">wikitext-103-v1</td><td rowspan="4">ml.p4d.24xlarge</td><td>2</td><td>32</td><td>64</td></tr>
  <tr><td>4</td><td>32</td><td>64</td></tr>
  <tr><td>8</td><td>32</td><td>64</td></tr>
  <tr><td>16</td><td>32</td><td>64</td></tr>
  <tr><td>roberta-large</td><td>wikitext-103-v1</td><td>ml.p4d.24xlarge</td><td>4</td><td>16</td><td>24</td></tr>
  <tr><td>microsoft/deberta-v3-base</td><td>wikitext-103-v1</td><td>ml.p4d.24xlarge</td><td>16</td><td>9</td><td>23</td></tr>
</tbody>
</table>


### PyTorch 1.10.2 を備えた Transformers 4.17.0
<a name="training-compiler-tested-models-hf417-pt110"></a>

`Sequence_Len=512` および自動混合精度 (AMP) でテスト済みです。


<table>
<thead>
  <tr><th colspan="4">単一ノード単一 GPU</th></tr>
  <tr><th>モデル </th><th>インスタンスタイプ</th><th>ネイティブフレームワークのバッチサイズ</th><th>Training Compiler のバッチサイズ</th></tr>
</thead>
<tbody>
  <tr><td rowspan="2">albert-base-v2</td><td>ml.p3.2xlarge</td><td>14</td><td>28</td></tr>
  <tr><td>ml.g4dn.2xlarge</td><td>14</td><td>24</td></tr>
  <tr><td rowspan="2">bert-base-cased</td><td>ml.p3.2xlarge</td><td>16</td><td>24</td></tr>
  <tr><td>ml.g4dn.2xlarge</td><td>12</td><td>24</td></tr>
  <tr><td rowspan="2">bert-base-uncased</td><td>ml.p3.2xlarge</td><td>16</td><td>24</td></tr>
  <tr><td>ml.g4dn.2xlarge</td><td>12</td><td>28</td></tr>
  <tr><td rowspan="2">camembert-base</td><td>ml.p3.2xlarge</td><td>12</td><td>24</td></tr>
  <tr><td>ml.g4dn.2xlarge</td><td>12</td><td>28</td></tr>
  <tr><td rowspan="2">distilbert-base-uncased</td><td>ml.p3.2xlarge</td><td>28</td><td>48</td></tr>
  <tr><td>ml.g4dn.2xlarge</td><td>24</td><td>52</td></tr>
  <tr><td rowspan="2">distilgpt2</td><td>ml.p3.2xlarge</td><td>6</td><td>12</td></tr>
  <tr><td>ml.g4dn.2xlarge</td><td>6</td><td>14</td></tr>
  <tr><td rowspan="2">distilroberta-base</td><td>ml.p3.2xlarge</td><td>20</td><td>40</td></tr>
  <tr><td>ml.g4dn.2xlarge</td><td>12</td><td>40</td></tr>
  <tr><td rowspan="2">EleutherAI/gpt-neo-125M</td><td>ml.p3.2xlarge</td><td>2</td><td>10</td></tr>
  <tr><td>ml.g4dn.2xlarge</td><td>2</td><td>8</td></tr>
  <tr><td rowspan="2">facebook/bart-base</td><td>ml.p3.2xlarge</td><td>2</td><td>6</td></tr>
  <tr><td>ml.g4dn.2xlarge</td><td>2</td><td>6</td></tr>
  <tr><td rowspan="2">gpt2</td><td>ml.p3.2xlarge</td><td>4</td><td>8</td></tr>
  <tr><td>ml.g4dn.2xlarge</td><td>2</td><td>8</td></tr>
  <tr><td rowspan="2">roberta-base</td><td>ml.p3.2xlarge</td><td>12</td><td>20</td></tr>
  <tr><td>ml.g4dn.2xlarge</td><td>12</td><td>20</td></tr>
  <tr><td rowspan="2">xlnet-base-cased</td><td>ml.p3.2xlarge</td><td>2</td><td>8</td></tr>
  <tr><td>ml.g4dn.2xlarge</td><td>4</td><td>6</td></tr>
</tbody>
</table>


### PyTorch 1.9.0 を備えた Transformers 4.11.0
<a name="training-compiler-tested-models-hf411-pt190"></a>

`Sequence_Len=512` および自動混合精度 (AMP) でテスト済みです。


<table>
<thead>
  <tr><th colspan="4">単一ノード単一 GPU</th></tr>
  <tr><th>モデル </th><th>インスタンスタイプ</th><th>ネイティブのバッチサイズ</th><th>Training Compiler のバッチサイズ</th></tr>
</thead>
<tbody>
  <tr><td>albert-base-v2 </td><td>ml.p3.2xlarge</td><td>12</td><td>32</td></tr>
  <tr><td>bert-base-cased </td><td>ml.p3.2xlarge</td><td>14</td><td>24</td></tr>
  <tr><td>bert-base-chinese</td><td>ml.p3.2xlarge</td><td>16</td><td>24</td></tr>
  <tr><td>bert-base-multilingual-cased </td><td>ml.p3.2xlarge</td><td>4</td><td>16</td></tr>
  <tr><td>bert-base-multilingual-uncased </td><td>ml.p3.2xlarge</td><td>8</td><td>16</td></tr>
  <tr><td>bert-base-uncased </td><td>ml.p3.2xlarge</td><td>12</td><td>24</td></tr>
  <tr><td>cl-tohoku/bert-base-japanese-whole-word-masking</td><td>ml.p3.2xlarge</td><td>12</td><td>24</td></tr>
  <tr><td>cl-tohoku/bert-base-japanese </td><td>ml.p3.2xlarge</td><td>12</td><td>24</td></tr>
  <tr><td>distilbert-base-uncased </td><td>ml.p3.2xlarge</td><td>28</td><td>32</td></tr>
  <tr><td>distilbert-base-uncased-finetuned-sst-2-english</td><td>ml.p3.2xlarge</td><td>28</td><td>32</td></tr>
  <tr><td>distilgpt2 </td><td>ml.p3.2xlarge</td><td>16</td><td>32</td></tr>
  <tr><td>facebook/bart-base </td><td>ml.p3.2xlarge</td><td>4</td><td>8</td></tr>
  <tr><td>gpt2</td><td>ml.p3.2xlarge</td><td>6</td><td>20</td></tr>
  <tr><td>nreimers/MiniLMv2-L6-H384-distilled-from-RoBERTa-Large </td><td>ml.p3.2xlarge</td><td>20</td><td>32</td></tr>
  <tr><td>roberta-base </td><td>ml.p3.2xlarge</td><td>12</td><td>20</td></tr>
</tbody>
</table>



<table>
<thead>
  <tr><th colspan="4">単一ノードマルチ GPU</th></tr>
  <tr><th>モデル </th><th>インスタンスタイプ</th><th>ネイティブのバッチサイズ</th><th>Training Compiler のバッチサイズ</th></tr>
</thead>
<tbody>
  <tr><td>bert-base-chinese </td><td>ml.p3.8xlarge</td><td>16</td><td>26</td></tr>
  <tr><td>bert-base-multilingual-cased </td><td>ml.p3.8xlarge</td><td>6</td><td>16</td></tr>
  <tr><td>bert-base-multilingual-uncased</td><td>ml.p3.8xlarge</td><td>6</td><td>16</td></tr>
  <tr><td>bert-base-uncased </td><td>ml.p3.8xlarge</td><td>14</td><td>24</td></tr>
  <tr><td>distilbert-base-uncased </td><td>ml.p3.8xlarge</td><td>14</td><td>32</td></tr>
  <tr><td>distilgpt2</td><td>ml.p3.8xlarge</td><td>6</td><td>32</td></tr>
  <tr><td>facebook/bart-base</td><td>ml.p3.8xlarge</td><td>8</td><td>16</td></tr>
  <tr><td>gpt2 </td><td>ml.p3.8xlarge</td><td>8</td><td>20</td></tr>
  <tr><td>roberta-base </td><td>ml.p3.8xlarge</td><td>12</td><td>20</td></tr>
</tbody>
</table>


### TensorFlow 2.6.3 を備えた Transformers 4.17.0
<a name="training-compiler-tested-models-hf417-tf263"></a>

`Sequence_Len=128` および自動混合精度 (AMP) でテスト済みです。


| モデル  | インスタンスタイプ | ネイティブフレームワークのバッチサイズ | Training Compiler のバッチサイズ | 
| --- | --- | --- | --- | 
| albert-base-v2 | ml.g4dn.16xlarge | 136 | 208 | 
| albert-base-v2 | ml.g5.4xlarge | 219 | 312 | 
| albert-base-v2 | ml.p3.2xlarge | 152 | 208 | 
| albert-base-v2 | ml.p3.8xlarge | 152 | 192 | 
| bert-base-uncased | ml.g4dn.16xlarge | 120 | 101 | 
| bert-base-uncased | ml.g5.4xlarge | 184 | 160 | 
| bert-base-uncased | ml.p3.2xlarge | 128 | 108 | 
| bert-large-uncased | ml.g4dn.16xlarge | 37 | 28 | 
| bert-large-uncased | ml.g5.4xlarge | 64 | 55 | 
| bert-large-uncased | ml.p3.2xlarge | 40 | 32 | 
| camembert-base | ml.g4dn.16xlarge | 96 | 100 | 
| camembert-base | ml.g5.4xlarge | 190 | 160 | 
| camembert-base | ml.p3.2xlarge | 129 | 108 | 
| camembert-base | ml.p3.8xlarge | 128 | 104 | 
| distilbert-base-uncased | ml.g4dn.16xlarge | 210 | 160 | 
| distilbert-base-uncased | ml.g5.4xlarge | 327 | 288 | 
| distilbert-base-uncased | ml.p3.2xlarge | 224 | 196 | 
| distilbert-base-uncased | ml.p3.8xlarge | 192 | 182 | 
| google\_electra-small-discriminator | ml.g4dn.16xlarge | 336 | 288 | 
| google\_electra-small-discriminator | ml.g5.4xlarge | 504 | 384 | 
| google\_electra-small-discriminator | ml.p3.2xlarge | 352 | 323 | 
| gpt2 | ml.g4dn.16xlarge | 89 | 64 | 
| gpt2 | ml.g5.4xlarge | 140 | 146 | 
| gpt2 | ml.p3.2xlarge | 94 | 96 | 
| gpt2 | ml.p3.8xlarge | 96 | 88 | 
| jplu\_tf-xlm-roberta-base | ml.g4dn.16xlarge | 52 | 16 | 
| jplu\_tf-xlm-roberta-base | ml.g5.4xlarge | 64 | 44 | 
| microsoft\_mpnet-base | ml.g4dn.16xlarge | 120 | 100 | 
| microsoft\_mpnet-base | ml.g5.4xlarge | 192 | 160 | 
| microsoft\_mpnet-base | ml.p3.2xlarge | 128 | 104 | 
| microsoft\_mpnet-base | ml.p3.8xlarge | 130 | 92 | 
| roberta-base | ml.g4dn.16xlarge | 108 | 64 | 
| roberta-base | ml.g5.4xlarge | 176 | 142 | 
| roberta-base | ml.p3.2xlarge | 118 | 100 | 
| roberta-base | ml.p3.8xlarge | 112 | 88 | 

### TensorFlow 2.5.1 を備えた Transformers 4.11.0
<a name="training-compiler-tested-models-hf411-tf251"></a>

`Sequence_Len=128` および自動混合精度 (AMP) でテスト済みです。


<table>
<thead>
  <tr><th colspan="4">単一ノード単一 GPU</th></tr>
  <tr><th>モデル </th><th>インスタンスタイプ</th><th>ネイティブのバッチサイズ</th><th>Training Compiler のバッチサイズ</th></tr>
</thead>
<tbody>
  <tr><td>albert-base-v2 </td><td>ml.p3.2xlarge</td><td>128</td><td>128</td></tr>
  <tr><td>bart-base </td><td>ml.p3.2xlarge</td><td>12</td><td>64</td></tr>
  <tr><td>bart-large </td><td>ml.p3.2xlarge</td><td>4</td><td>28</td></tr>
  <tr><td>bert-base-cased </td><td>ml.p3.2xlarge</td><td>16</td><td>128</td></tr>
  <tr><td>bert-base-chinese</td><td>ml.p3.2xlarge</td><td>16</td><td>128</td></tr>
  <tr><td>bert-base-multilingual-cased </td><td>ml.p3.2xlarge</td><td>12</td><td>64</td></tr>
  <tr><td>bert-base-multilingual-uncased </td><td>ml.p3.2xlarge</td><td>16</td><td>96</td></tr>
  <tr><td>bert-base-uncased</td><td>ml.p3.2xlarge</td><td>16</td><td>96</td></tr>
  <tr><td>bert-large-uncased </td><td>ml.p3.2xlarge</td><td>4</td><td>24</td></tr>
  <tr><td>cl-tohoku/bert-base-japanese </td><td>ml.p3.2xlarge</td><td>16</td><td>128</td></tr>
  <tr><td>cl-tohoku/bert-base-japanese-whole-word-masking </td><td>ml.p3.2xlarge</td><td>16</td><td>128</td></tr>
  <tr><td>distilbert-base-sst2 </td><td>ml.p3.2xlarge</td><td>32</td><td>128</td></tr>
  <tr><td>distilbert-base-uncased </td><td>ml.p3.2xlarge</td><td>32</td><td>128</td></tr>
  <tr><td>distilgpt2</td><td>ml.p3.2xlarge</td><td>32</td><td>128</td></tr>
  <tr><td>gpt2 </td><td>ml.p3.2xlarge</td><td>12</td><td>64</td></tr>
  <tr><td>gpt2-large </td><td>ml.p3.2xlarge</td><td>2</td><td>24</td></tr>
  <tr><td>jplu/tf-xlm-roberta-base </td><td>ml.p3.2xlarge</td><td>12</td><td>32</td></tr>
  <tr><td>roberta-base </td><td>ml.p3.2xlarge</td><td>4</td><td>64</td></tr>
  <tr><td>roberta-large </td><td>ml.p3.2xlarge</td><td>4</td><td>64</td></tr>
  <tr><td>t5-base </td><td>ml.p3.2xlarge</td><td>64</td><td>64</td></tr>
  <tr><td>t5-small </td><td>ml.p3.2xlarge</td><td>128</td><td>128</td></tr>
</tbody>
</table>