翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

SageMaker HyperPod Slurm クラスターイベント

Amazon SageMaker HyperPod は、クラスター、インスタンスグループ、インスタンスレベルでの運用上の変更を可視化する構造化クラスターイベントを出力します。これらのイベントを使用して、プロビジョニングアクティビティのモニタリング、スケーリングオペレーションの追跡、障害の検出、自動アラートパイプラインの構築を行うことができます。

クラスターイベントは、 が NodeProvisioningModeに設定されている HyperPod Slurm クラスターで使用できますContinuous。イベントには、 ListClusterEventsおよび DescribeClusterEvent APIs、SageMaker AI コンソール、Amazon EventBridge からアクセスできます。

完全なイベントスキーマ、重要度レベル、完全なイベントカタログ、および EventBridge 統合の詳細については、「」を参照してくださいSageMaker HyperPod クラスターイベントリファレンス。

前提条件

イベントタイプ

HyperPod は、継続的なプロビジョニング時に Slurm クラスターに 2 つのカテゴリのイベントを発行します。すべてのオーケストレーターに適用される一般的なイベントと Slurm 固有のイベントです。

一般的なイベントには、インスタンスのプロビジョニングと終了、インスタンスグループのスケーリング、キャパシティ予約処理、ライフサイクルスクリプト実行、ENI 管理、FSx ファイルシステムのライフサイクル、パッチ適用ワークフローなどのコアインフラストラクチャオペレーションが含まれます。完全なリストについては、HyperPod クラスターイベントリファレンス一般的なイベント (EKS および Slurm)の「」を参照してください。

Slurm 固有のイベントは、プロビジョニングパラメータの検証、munge キーの作成、Slurm 設定ドリフトの検出、Slurm の再設定、クラスターのロールバックなどのオーケストレーター固有のオペレーションを対象としています。これらのイベントは、以前は CloudWatch ログを介してのみ観測できた Slurm 固有のライフサイクルステージを可視化します。完全なリストについては、HyperPod クラスターイベントリファレンスSlurm 固有のイベントの「」を参照してください。

コンソールでのイベントの表示

イベントタブには、イベントレベル、イベント ID、リソース名、リソースタイプ、説明、イベント時刻の列を含むイベントのページ分割されたリストが表示されます。検索ボックスを使用して属性でイベントをフィルタリングし、イベント時刻でソートして、イベント ID を選択すると、イベントメタデータや完全なイベントレコードを含む完全なイベントの詳細を表示できます。

CLI AWS を使用したイベントの一覧表示

list-cluster-events コマンドを使用して、クラスターのイベントを取得します。

aws sagemaker list-cluster-events \
    --cluster-name my-slurm-cluster \
    --sort-by EventTime \
    --sort-order Descending \
    --max-results 20

次のフィルターを使用して結果を絞り込むことができます。

たとえば、特定のinstance-group-levelイベントのみを表示するには、次のようにします。

aws sagemaker list-cluster-events \
    --cluster-name my-slurm-cluster \
    --resource-type InstanceGroup \
    --instance-group-name gpu-workers

特定のイベントの説明

コマンドをリスト出力のイベント ID describe-cluster-eventとともに使用して、、EventLevel、Descriptionおよび を含む完全なイベントの詳細を取得しますEventMetadata。

aws sagemaker describe-cluster-event \
    --cluster-name my-slurm-cluster \
    --event-id 83ea0bb5-be77-45e8-a458-0a87f778a205

返されるイベントレコードの構造と各フィールドの説明については、HyperPod クラスターイベントリファレンスのクラスターイベントレコード「」を参照してください。

Amazon EventBridge によるレスポンスの自動化

HyperPod クラスターイベントは、詳細タイプ で Amazon EventBridge に自動的に送信されSageMaker HyperPod Cluster Event、Lambda、Amazon SNS、Step Functions、Amazon SQS などのターゲットにイベントをルーティングできます。EventLevel フィールドでフィルタリングしてErrorイベントのみのアラートをトリガーしたり、クラスター ARN でフィルタリングしてルールを特定のクラスターにスコープしたりできます。

EventBridge イベントパターン、ペイロードの例、および関連するSageMaker HyperPod Cluster State ChangeタイプとSageMaker HyperPod Cluster Node Health Event詳細タイプについては、HyperPod クラスターイベントリファレンスEventBridge 統合の「」を参照してください。

関連トピック