翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

処理中の復旧とチェックポイントレストレーニング

HyperPod チェックポイントレストレーニングでは、モデルの冗長性を使用して耐障害性トレーニングを有効にします。コア原則は、モデルとオプティマイザの状態が複数のノードグループに完全にレプリケートされ、重みの更新とオプティマイザの状態の変更が各グループ内で同期的にレプリケートされることです。障害が発生すると、正常なレプリカはオプティマイザのステップを完了し、更新されたモデル/オプティマイザの状態を復旧中のレプリカに送信します。

このモデル冗長性ベースのアプローチにより、いくつかの障害処理メカニズムが可能になります。

チェックポイントレス設定

チェックポイントレストレーニングのコアスニペットを次に示します。

from hyperpod_checkpointless_training.inprocess.train_utils import wait_rank
    wait_rank()
      
def main():
    @HPWrapper(
        health_check=CudaHealthCheck(),
        hp_api_factory=HPAgentK8sAPIFactory(),
        abort_timeout=60.0,
        checkpoint_manager=PEFTCheckpointManager(enable_offload=True),
        abort=CheckpointlessAbortManager.get_default_checkpointless_abort(),
        finalize=CheckpointlessFinalizeCleanup(),
    )
    def run_main(cfg, caller: Optional[HPCallWrapper] = None):
        ...
        trainer = Trainer(
            strategy=CheckpointlessMegatronStrategy(...,
                num_distributed_optimizer_instances=2),
            callbacks=[..., CheckpointlessCallback(...)],
            )
        trainer.fresume = resume
        trainer._checkpoint_connector = CheckpointlessCompatibleConnector(trainer)
        trainer.wrapper = caller

コードにチェックポイントレストレーニング機能を追加するには、例を参照してください。

概念

このセクションでは、チェックポイントレストレーニングの概念について説明します。Amazon SageMaker HyperPod でのチェックポイントレストレーニングは、処理中の復旧をサポートします。この API インターフェイスは、NVRx APIsと同様の形式に従います。

概念 - 再実行可能なコードブロック (RCB)

障害が発生すると、正常なプロセスは存続しますが、トレーニング状態と Python スタックを回復するには、コードの一部を再実行する必要があります。再実行コードブロック (RCB) は、障害復旧中に再実行される特定のコードセグメントです。次の例では、RCB はトレーニングスクリプト全体 (main() の下のすべて) を包含しています。つまり、各障害復旧はインメモリモデルとオプティマイザの状態を維持しながらトレーニングスクリプトを再起動します。

概念 - 障害コントロール

チェックポイントレストレーニング中に障害が発生した場合、障害コントローラーモジュールは通知を受け取ります。この障害コントローラーには、次のコンポーネントが含まれています。

概念 - モデルの冗長性

通常、大規模なモデルトレーニングには、モデルを効率的にトレーニングするための十分なデータ並列サイズが必要です。PyTorch DDP や Horovod などの従来のデータ並列処理では、モデルは完全にレプリケートされます。DeepSpeed ZeRO オプティマイザや FSDP などのより高度なシャーディングデータ並列処理手法は、ハイブリッドシャーディングモードもサポートしています。これにより、シャーディンググループ内のモデル/オプティマイザの状態をシャーディングし、レプリケーショングループ間で完全にレプリケートできます。NeMo には、冗長性を可能にする引数 num_distributed_optimizer_instances によるこのハイブリッドシャーディング機能もあります。

ただし、冗長性を追加すると、モデルがクラスター全体で完全にシャーディングされないため、デバイスのメモリ使用量が増えます。冗長メモリの量は、ユーザーが実装した特定のモデルシャーディング手法によって異なります。低精度モデルの重み、勾配、およびアクティベーションメモリは、モデル並列処理によってシャーディングされるため、影響を受けません。高精度のマスターモデルの重み/勾配とオプティマイザの状態に影響します。冗長モデルレプリカを 1 つ追加すると、デバイスのメモリ使用量が 1 つの DCP チェックポイントサイズとほぼ同等に増加します。

ハイブリッドシャーディングは、DP グループ全体の集合体を比較的小さな集合体に分割します。以前は、DP グループ全体に縮小散布と全集計がありました。ハイブリッドシャーディングの後、削減散布は各モデルレプリカ内でのみ実行され、モデルレプリカグループ全体ですべて削減されます。全集合は、各モデルレプリカ内でも実行されます。その結果、通信ボリューム全体はほぼ変更されませんが、集合体はより小さなグループで実行されているため、レイテンシーは向上することが予想されます。

概念 - 失敗と再起動のタイプ

次の表は、さまざまな障害タイプと関連する復旧メカニズムを示しています。チェックポイントレストレーニングは、最初に処理中の復旧を介して障害復旧を試み、その後にプロセスレベルの再起動を試みます。致命的な障害が発生した場合 (複数のノードが同時に失敗した場合など) にのみ、ジョブレベルの再起動にフォールバックします。

概念 - オプティマイザステップのアトミックロック保護

モデルの実行は、フォワードプロパゲーション、バックワードプロパゲーション、オプティマイザの 3 つのフェーズに分かれています。復旧動作は、障害のタイミングによって異なります。

この戦略により、完了したオプティマイザの更新が破棄されることがなくなり、障害復旧時間を短縮できます。

チェックポイントレストレーニングのフロー図

次の手順では、障害検出とチェックポイントレスリカバリプロセスの概要を示します。

API リファレンス

wait_rank

hyperpod_checkpointless_training.inprocess.train_utils.wait_rank()

HyperPod からランク情報を待機して取得し、分散トレーニング変数を使用して現在のプロセス環境を更新します。

この関数は、分散トレーニング用の正しいランク割り当てと環境変数を取得します。これにより、各プロセスが分散トレーニングジョブのロールに適した設定を取得します。

パラメータ

なし

戻り値

[なし]

Behavior

環境変数

関数は、次の環境変数を読み取ります。

レイズ

例

from hyperpod_checkpointless_training.inprocess.train_utils import wait_rank  

# Call before initializing distributed training  
wait_rank()  

# Now environment variables are properly set for this rank  
import torch.distributed as dist  
dist.init_process_group(backend='nccl')

Notes (メモ)

HPWrapper

class hyperpod_checkpointless_training.inprocess.wrap.HPWrapper(  
    *,  
    abort=Compose(HPAbortTorchDistributed()),  
    finalize=None,  
    health_check=None,  
    hp_api_factory=None,  
    abort_timeout=None,  
    enabled=True,  
    trace_file_path=None,  
    async_raise_before_abort=True,  
    early_abort_communicator=False,  
    checkpoint_manager=None,  
    check_memory_status=True)

HyperPod チェックポイントレストレーニングで再実行可能コードブロック (RCB) の再起動機能を有効にする Python 関数ラッパー。

このラッパーは、トレーニングの実行をモニタリングし、障害発生時に分散プロセス全体の再起動を調整することで、耐障害性と自動復旧機能を提供します。デコレータではなくコンテキストマネージャーアプローチを使用して、トレーニングライフサイクルを通じてグローバルリソースを維持します。

パラメータ

方法

def __call__(self, fn)

関数をラップして再起動機能を有効にします。

パラメータ :

戻り値:

例

from hyperpod_checkpointless_training.nemo_plugins.checkpoint_manager import CheckpointManager  
from hyperpod_checkpointless_training.nemo_plugins.patches import patch_megatron_optimizer  
from hyperpod_checkpointless_training.nemo_plugins.checkpoint_connector import CheckpointlessCompatibleConnector  
from hyperpod_checkpointless_training.inprocess.train_utils import HPAgentK8sAPIFactory  
from hyperpod_checkpointless_training.inprocess.abort import CheckpointlessFinalizeCleanup, CheckpointlessAbortManager   
      
@HPWrapper(  
    health_check=CudaHealthCheck(),  
    hp_api_factory=HPAgentK8sAPIFactory(),  
    abort_timeout=60.0,  
    checkpoint_manager=CheckpointManager(enable_offload=False),  
    abort=CheckpointlessAbortManager.get_default_checkpointless_abort(),  
    finalize=CheckpointlessFinalizeCleanup(),  
)def training_function():  
    # Your training code here  
    pass

Notes (メモ)

HPCallWrapper

class hyperpod_checkpointless_training.inprocess.wrap.HPCallWrapper(wrapper)

実行中にコードブロックの再起動 (RCB) の状態を監視および管理します。

このクラスは、障害検出、再起動のための他のランクとの調整、クリーンアップオペレーションなど、RCB 実行のライフサイクルを処理します。分散同期を管理し、すべてのトレーニングプロセスにわたって一貫した復旧を確保します。

パラメータ

属性

方法

def initialize_barrier()

RCB から例外が発生した後、HyperPod 障壁の同期を待ちます。

def start_hp_fault_handling_thread()

障害のモニタリングと調整のために障害処理スレッドを起動します。

def handle_fn_exception(call_ex)

実行関数または RCB からの例外を処理します。

パラメータ :

def restart(term_ex)

確定、ガベージコレクション、ヘルスチェックなどの再起動ハンドラーを実行します。

パラメータ :

def launch(fn, *a, **kw)

適切な例外処理を使用して RCB を実行します。

パラメータ :

def run(fn, a, kw)

再起動と障壁の同期を処理するメイン実行ループ。

パラメータ :

def shutdown()

障害処理とモニタリングスレッドをシャットダウンします。

Notes (メモ)

CudaHealthCheck

class hyperpod_checkpointless_training.inprocess.health_check.CudaHealthCheck(timeout=datetime.timedelta(seconds=30))

チェックポイントレストレーニングの復旧中に、現在のプロセスの CUDA コンテキストが正常な状態であることを確認します。

このヘルスチェックは GPU と同期して、トレーニングの失敗後に CUDA コンテキストが破損していないことを確認します。GPU 同期オペレーションを実行して、トレーニングの再開が成功しない可能性のある問題を検出します。ヘルスチェックは、分散グループが破棄され、確定が完了した後に実行されます。

パラメータ

方法

__call__(state, train_ex=None)

CUDA ヘルスチェックを実行して GPU コンテキストの整合性を検証します。

パラメータ :

戻り値:

レイズ:

状態の保存: すべてのチェックに合格した場合、元の状態と例外は変更されません

例

import datetime  
from hyperpod_checkpointless_training.inprocess.health_check import CudaHealthCheck  
from hyperpod_checkpointless_training.inprocess.wrap import HPWrapper  
  
# Create CUDA health check with custom timeout  
cuda_health_check = CudaHealthCheck(  
    timeout=datetime.timedelta(seconds=60)  
)  
  
# Use with HPWrapper for fault-tolerant training  
@HPWrapper(  
    health_check=cuda_health_check,  
    enabled=True  
)  
def training_function():  
    # Your training code here  
    pass

Notes (メモ)

HPAgentK8sAPIFactory

class hyperpod_checkpointless_training.inprocess.train_utils.HPAgentK8sAPIFactory()

HyperPod インフラストラクチャと通信して分散トレーニングを調整する HPAgentK8sAPI インスタンスを作成するためのファクトリークラス。

このファクトリは、トレーニングプロセスと HyperPod コントロールプレーン間の通信を処理する HPAgentK8sAPI オブジェクトを作成および設定するための標準化された方法を提供します。基盤となるソケットクライアントと API インスタンスの作成をカプセル化し、トレーニングシステムのさまざまな部分で一貫した設定を確保します。

方法

__call__()

HyperPod 通信用に設定された HPAgentK8sAPI インスタンスを作成して返します。

戻り値:

例

from hyperpod_checkpointless_training.inprocess.train_utils import HPAgentK8sAPIFactory  
from hyperpod_checkpointless_training.inprocess.wrap import HPWrapper  
from hyperpod_checkpointless_training.inprocess.health_check import CudaHealthCheck  
  
# Create the factory  
hp_api_factory = HPAgentK8sAPIFactory()  
  
# Use with HPWrapper for fault-tolerant training  
hp_wrapper = HPWrapper(  
    hp_api_factory=hp_api_factory,  
    health_check=CudaHealthCheck(),  
    abort_timeout=60.0,  
    enabled=True  
)  
  
@hp_wrapper  
def training_function():  
    # Your distributed training code here  
    pass

Notes (メモ)

CheckpointManager

class hyperpod_checkpointless_training.nemo_plugins.checkpoint_manager.CheckpointManager(  
    enable_checksum=False,  
    enable_offload=False)

分散トレーニングにおけるチェックポイントレス耐障害性のためのインメモリチェックポイントとpeer-to-peerリカバリを管理します。

このクラスは、メモリ内の NeMo モデルチェックポイントを管理し、復旧の実現可能性を検証し、正常なランクと失敗したランク間のpeer-to-peerチェックポイント転送を調整することで、HyperPod チェックポイントレストレーニングのコア機能を提供します。これにより、復旧中のディスク I/O が不要になり、平均復旧時間 (MTTR) が大幅に短縮されます。

パラメータ

属性

方法

save_checkpoint(trainer)

NeMo モデルチェックポイントをメモリに保存して、チェックポイントレスリカバリの可能性に備えます。

パラメータ :

注意:

delete_checkpoint()

インメモリチェックポイントを削除し、クリーンアップオペレーションを実行します。

注意:

try_checkpointless_load(trainer)

ピアランクから状態をロードしてチェックポイントレスリカバリを試行します。

パラメータ :

戻り値:

注意:

checkpointless_recovery_feasible(trainer, include_checksum_verification=True)

現在の障害シナリオでチェックポイントレスリカバリが可能かどうかを確認します。

パラメータ :

戻り値:

検証基準:

store_rng_states()

決定論的復旧のために、すべての乱数ジェネレーターの状態を保存します。

注意:

load_rng_states()

確定的な復旧を継続するために、すべての RNG 状態を復元します。

注意:

maybe_offload_checkpoint()

オフロードが有効になっている場合、チェックポイントを GPU から CPU メモリにオフロードします。

注意:

例

from hyperpod_checkpointless_training.inprocess.wrap import HPWrapper  
from hyperpod_checkpointless_training.nemo_plugins.checkpoint_manager import CheckpointManager  
# Use with HPWrapper for complete fault tolerance  
@HPWrapper(  
    checkpoint_manager=CheckpointManager(),  
    enabled=True  
)  
def training_function():  
    # Training code with automatic checkpointless recovery  
    pass

検証: チェックサムを使用してチェックポイントの整合性を検証します (有効になっている場合)

Notes (メモ)

PEFTCheckpointManager

class hyperpod_checkpointless_training.nemo_plugins.checkpoint_manager.PEFTCheckpointManager(  
    *args,  
    **kwargs)

チェックポイントレスリカバリを最適化するために、個別のベース処理とアダプター処理を使用して PEFT (パラメータ効率ファインチューニング) のチェックポイントを管理します。

この特殊なチェックポイントマネージャーは、CheckpointManager を拡張して、ベースモデルの重みをアダプターパラメータから分離することで PEFT ワークフローを最適化します。

パラメータ

CheckpointManager からすべてのパラメータを継承します。

追加の属性

方法

maybe_save_base_model(trainer)

アダプターパラメータを除外して、ベースモデルの重みを 1 回保存します。

パラメータ :

注意:

save_checkpoint(trainer)

NeMo PEFT アダプターモデルのチェックポイントをメモリに保存して、チェックポイントレスリカバリの可能性に備えます。

パラメータ :

注意:

try_base_model_checkpointless_load(trainer)

ピアランクから状態をロードして、PEFT ベースモデルの重み付けチェックポイントレスリカバリを試みます。

パラメータ :

戻り値:

注意:

try_checkpointless_load(trainer)

PEFT アダプターを試行すると、ピアランクから状態をロードしてチェックポイントレスリカバリが重み付けされます。

パラメータ :

戻り値:

注意:

is_adapter_key(key)

状態ディクトキーがアダプターパラメータに属しているかどうかを確認します。

パラメータ :

戻り値:

検出ロジック:

maybe_offload_checkpoint()

ベースモデルの重みを GPU から CPU メモリにオフロードします。

注意:

Notes (メモ)

例

from hyperpod_checkpointless_training.inprocess.wrap import HPWrapper  
from hyperpod_checkpointless_training.nemo_plugins.checkpoint_manager import PEFTCheckpointManager  
# Use with HPWrapper for complete fault tolerance  
@HPWrapper(  
    checkpoint_manager=PEFTCheckpointManager(),  
    enabled=True  
)  
def training_function():  
    # Training code with automatic checkpointless recovery  
    pass

CheckpointlessAbortManager

class hyperpod_checkpointless_training.inprocess.abort.CheckpointlessAbortManager()

チェックポイントレス耐障害性のための中止コンポーネント構成を作成および管理するためのファクトリークラス。

このユーティリティクラスは、HyperPod チェックポイントレストレーニングの障害処理中に使用される中止コンポーネントコンポジションを作成、カスタマイズ、管理する静的メソッドを提供します。これにより、障害復旧中の分散トレーニングコンポーネント、データローダー、フレームワーク固有のリソースのクリーンアップを処理する中止シーケンスの設定が簡素化されます。

パラメータ

なし (すべてのメソッドは静的)

静的メソッド

get_default_checkpointless_abort()

すべての標準中止コンポーネントを含むデフォルトの中止構成インスタンスを取得します。

戻り値:

デフォルトコンポーネント:

create_custom_abort(abort_instances)

指定された中止インスタンスのみを使用してカスタム中止構成を作成します。

パラメータ :

戻り値:

レイズ:

override_abort(abort_compose, abort_type, new_abort)

Compose インスタンス内の特定の中止コンポーネントを新しいコンポーネントに置き換えます。

パラメータ :

戻り値:

レイズ:

例

from hyperpod_checkpointless_training.inprocess.wrap import HPWrapper  
from hyperpod_checkpointless_training.nemo_plugins.callbacks import CheckpointlessCallback  
from hyperpod_checkpointless_training.inprocess.abort import CheckpointlessFinalizeCleanup, CheckpointlessAbortManager  
  
# The strategy automatically integrates with HPWrapper  
@HPWrapper(  
    abort=CheckpointlessAbortManager.get_default_checkpointless_abort(),  
    health_check=CudaHealthCheck(),  
    finalize=CheckpointlessFinalizeCleanup(),  
    enabled=True  
)  
def training_function():  
    trainer.fit(...)

Notes (メモ)

CheckpointlessFinalizeCleanup

class hyperpod_checkpointless_training.inprocess.abort.CheckpointlessFinalizeCleanup()

障害検出後に包括的なクリーンアップを実行し、チェックポイントレストレーニング中の処理中の復旧に備えます。

このファイナライズハンドラーは、トレーニングコンポーネントの参照を破棄することで、Megatron/TransformerEngine 中止、DDP クリーンアップ、モジュール再ロード、メモリクリーンアップなどのフレームワーク固有のクリーンアップオペレーションを実行します。これにより、完全なプロセス終了を必要とせずに、トレーニング環境が適切にリセットされ、プロセス内の復旧が成功します。

パラメータ

なし

属性

方法

__call__(*a, **kw)

プロセス内の復旧準備のための包括的なクリーンアップオペレーションを実行します。

パラメータ :

クリーンアップオペレーション:

register_attributes(trainer)

クリーンアップ操作中に使用するトレーナーインスタンスを登録します。

パラメータ :

CheckpointlessCallback との統合

from hyperpod_checkpointless_training.nemo_plugins.callbacks import CheckpointlessCallback  
from hyperpod_checkpointless_training.inprocess.wrap import HPWrapper  
  
# The strategy automatically integrates with HPWrapper  
@HPWrapper(  
    ...  
    finalize=CheckpointlessFinalizeCleanup(),   
)  
def training_function():  
    trainer.fit(...)

Notes (メモ)

CheckpointlessMegatronStrategy

class hyperpod_checkpointless_training.nemo_plugins.megatron_strategy.CheckpointlessMegatronStrategy(*args, **kwargs)

NeMo Megatron 戦略は、耐障害性のある分散トレーニングのための統合されたチェックポイントレスリカバリ機能を備えています。

チェックポイントレストレーニングではnum_distributed_optimizer_instances、オプティマイザレプリケーションが行われるように 2 以上が必要です。この戦略では、必須属性の登録とプロセスグループの初期化も行います。

パラメータ

MegatronStrategy からすべてのパラメータを継承します。

属性

方法

setup(trainer)

戦略を初期化し、耐障害性コンポーネントをトレーナーに登録します。

パラメータ :

セットアップオペレーション:

setup_distributed()

プレフィックス付き TCPStore またはルートレス接続を使用してプロセスグループを初期化します。

load_model_state_dict(checkpoint, strict=True)

チェックポイントレスリカバリの互換性があるロードモデルステートディクト。

パラメータ :

get_wrapper()

耐障害性の調整のために HPCallWrapper インスタンスを取得します。

戻り値:

is_peft()

PEFT コールバックをチェックして、トレーニング設定で PEFT (パラメータ効率ファインチューニング) が有効になっているかどうかを確認します。

戻り値:

teardown()

PyTorch Lightning ネイティブのティアダウンを上書きして、ハンドラーを中止するクリーンアップを委任します。

例

from hyperpod_checkpointless_training.inprocess.wrap import HPWrapper  
  
# The strategy automatically integrates with HPWrapper  
@HPWrapper(  
    checkpoint_manager=checkpoint_manager,  
    enabled=True  
)  
def training_function():  
    trainer = pl.Trainer(strategy=CheckpointlessMegatronStrategy())  
    trainer.fit(model, datamodule)

CheckpointlessCallback

class hyperpod_checkpointless_training.nemo_plugins.callbacks.CheckpointlessCallback(  
    enable_inprocess=False,  
    enable_checkpointless=False,  
    enable_checksum=False,  
    clean_tensor_hook=False,  
    clean_lightning_module=False)

NeMo トレーニングをチェックポイントレストレーニングの耐障害性システムと統合する Lightning コールバック。

このコールバックは、ステップの追跡、チェックポイントの保存、およびパラメータ更新の調整を管理して、処理中の復旧機能を実現します。PyTorch Lightning トレーニングループと HyperPod チェックポイントレストレーニングメカニズム間の主要な統合ポイントとして機能し、トレーニングライフサイクル全体で耐障害性オペレーションを調整します。

パラメータ

属性

方法

get_wrapper_from_trainer(trainer)

耐障害性の調整のために、トレーナーから HPCallWrapper インスタンスを取得します。

パラメータ :

戻り値:

on_train_batch_start(trainer, pl_module, batch, batch_idx, *args, **kwargs)

ステップの追跡と復旧を管理するために、各トレーニングバッチの開始時に呼び出されます。

パラメータ :

on_train_batch_end(trainer, pl_module, outputs, batch, batch_idx)

各トレーニングバッチの最後にパラメータ更新ロックを解放します。

パラメータ :

注意:

get_peft_callback(trainer)

トレーナーのコールバックリストから PEFT コールバックを取得します。

パラメータ :

戻り値:

_try_adapter_checkpointless_restore(trainer, params_to_save)

PEFT アダプターパラメータのチェックポイントレス復元を試行します。

パラメータ :

注意:

例

from hyperpod_checkpointless_training.nemo_plugins.callbacks import CheckpointlessCallback  
from hyperpod_checkpointless_training.nemo_plugins.checkpoint_manager import CheckpointManager  
import pytorch_lightning as pl  
  
# Create checkpoint manager  
checkpoint_manager = CheckpointManager(  
    enable_checksum=True,  
    enable_offload=True  
)  
  
# Create checkpointless callback with full fault tolerance  
checkpointless_callback = CheckpointlessCallback(  
    enable_inprocess=True,  
    enable_checkpointless=True,  
    enable_checksum=True,  
    clean_tensor_hook=True,  
    clean_lightning_module=True  
)  
  
# Use with PyTorch Lightning trainer  
trainer = pl.Trainer(  
    callbacks=[checkpointless_callback],  
    strategy=CheckpointlessMegatronStrategy()  
)  
  
# Training with fault tolerance  
trainer.fit(model, datamodule=data_module)

メモリ管理

CheckpointlessCompatibleConnector

class hyperpod_checkpointless_training.nemo_plugins.checkpoint_connector.CheckpointlessCompatibleConnector()

チェックポイントレスリカバリを従来のディスクベースのチェックポイントロードと統合する PyTorch Lightning チェックポイントコネクタ。

このコネクタは PyTorch Lightning を拡張_CheckpointConnectorして、チェックポイントレスリカバリと標準チェックポイント復元の間のシームレスな統合を提供します。最初にチェックポイントレスリカバリを試行し、チェックポイントレスリカバリが実行可能でない場合や失敗した場合はディスクベースのチェックポイントロードにフォールバックします。

パラメータ

_CheckpointConnector からすべてのパラメータを継承します

方法

resume_start(checkpoint_path=None)

チェックポイントレスリカバリの優先度でチェックポイントをプリロードしようとします。

パラメータ :

resume_end()

チェックポイントのロードプロセスを完了し、ロード後のオペレーションを実行します。

Notes (メモ)

CheckpointlessAutoResume

class hyperpod_checkpointless_training.nemo_plugins.resume.CheckpointlessAutoResume()

NeMo の AutoResume を遅延セットアップで拡張し、チェックポイントパス解決前のチェックポイントレス復旧検証を有効にします。

このクラスは、従来のディスクベースのチェックポイントロードにフォールバックする前にチェックポイントレスリカバリ検証を実行できるようにする 2 フェーズの初期化戦略を実装します。これにより、AutoResume のセットアップが条件付きで遅延され、チェックポイントパスの早期解決が防止されます。これにより、CheckpointManager はまずチェックポイントレスpeer-to-peerリカバリが実行可能かどうかを検証できます。

パラメータ

AutoResume からすべてのパラメータを継承します

方法

setup(trainer, model=None, force_setup=False)

AutoResume のセットアップを条件付きで遅らせて、チェックポイントレスリカバリの検証を有効にします。

パラメータ :

例

from hyperpod_checkpointless_training.nemo_plugins.resume import CheckpointlessAutoResume  
from hyperpod_checkpointless_training.nemo_plugins.megatron_strategy import CheckpointlessMegatronStrategy  
import pytorch_lightning as pl  
  
# Create trainer with checkpointless auto-resume  
trainer = pl.Trainer(  
    strategy=CheckpointlessMegatronStrategy(),  
    resume=CheckpointlessAutoResume()  
)

Notes (メモ)