기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

프로세스 중 복구 및 체크포인트 없는 훈련

HyperPod 체크포인트 없는 훈련은 모델 중복을 사용하여 내결함성 훈련을 활성화합니다. 핵심 원칙은 모델 및 옵티마이저 상태가 여러 노드 그룹에 완전히 복제되고 가중치 업데이트 및 옵티마이저 상태 변경이 각 그룹 내에 동기식으로 복제된다는 것입니다. 장애가 발생하면 정상 복제본은 옵티마이저 단계를 완료하고 업데이트된 모델/최적화기 상태를 복구 중인 복제본으로 전송합니다.

이 모델 중복 기반 접근 방식을 사용하면 다음과 같은 몇 가지 장애 처리 메커니즘이 가능합니다.

체크포인트 없는 구성

다음은 체크포인트 없는 훈련의 핵심 코드 조각입니다.

from hyperpod_checkpointless_training.inprocess.train_utils import wait_rank
    wait_rank()
      
def main():
    @HPWrapper(
        health_check=CudaHealthCheck(),
        hp_api_factory=HPAgentK8sAPIFactory(),
        abort_timeout=60.0,
        checkpoint_manager=PEFTCheckpointManager(enable_offload=True),
        abort=CheckpointlessAbortManager.get_default_checkpointless_abort(),
        finalize=CheckpointlessFinalizeCleanup(),
    )
    def run_main(cfg, caller: Optional[HPCallWrapper] = None):
        ...
        trainer = Trainer(
            strategy=CheckpointlessMegatronStrategy(...,
                num_distributed_optimizer_instances=2),
            callbacks=[..., CheckpointlessCallback(...)],
            )
        trainer.fresume = resume
        trainer._checkpoint_connector = CheckpointlessCompatibleConnector(trainer)
        trainer.wrapper = caller

코드에 체크포인트 없는 훈련 기능을 추가하려면 예제를 참조하세요.

개념

이 섹션에서는 체크포인트 없는 훈련 개념을 소개합니다. Amazon SageMaker HyperPod에 대한 체크포인트 없는 훈련은 프로세스 중 복구를 지원합니다. 이 API 인터페이스는 NVRx APIs와 유사한 형식을 따릅니다.

개념 - Re-Executable Code Block(RCB)

장애가 발생하면 정상 프로세스가 활성 상태로 유지되지만 훈련 상태 및 python 스택을 복구하려면 코드의 일부를 다시 실행해야 합니다. Re-executable Code Block(RCB)은 장애 복구 중에 다시 실행되는 특정 코드 세그먼트입니다. 다음 예제에서 RCB는 전체 훈련 스크립트(예: main() 아래의 모든 항목)를 포함합니다. 즉, 각 장애 복구는 인 메모리 모델 및 옵티마이저 상태를 유지하면서 훈련 스크립트를 다시 시작합니다.

개념 - 장애 제어

체크포인트 없는 훈련 중에 장애가 발생하면 오류 컨트롤러 모듈이 알림을 받습니다. 이 오류 컨트롤러에는 다음 구성 요소가 포함되어 있습니다.

개념 - 모델 중복성

대규모 모델 훈련에는 일반적으로 모델을 효율적으로 훈련할 수 있을 만큼 충분히 큰 데이터 병렬 크기가 필요합니다. PyTorch DDP 및 Horovod와 같은 기존 데이터 병렬 처리에서는 모델이 완전히 복제됩니다. DeepSpeed ZeRO 옵티마이저 및 FSDP와 같은 고급 샤딩된 데이터 병렬 처리 기법은 하이브리드 샤딩 모드도 지원하므로 샤딩 그룹 내에서 모델/최적화기 상태를 샤딩하고 복제 그룹 간에 완전히 복제할 수 있습니다. NeMo에는 중복성을 허용하는 인수 num_distributed_optimizer_instances를 통한이 하이브리드 샤딩 기능도 있습니다.

그러나 중복성을 추가하면 모델이 전체 클러스터에 완전히 샤딩되지 않아 디바이스 메모리 사용량이 늘어납니다. 중복 메모리의 양은 사용자가 구현한 특정 모델 샤딩 기법에 따라 달라집니다. 저정밀도 모델 가중치, 그라데이션 및 활성화 메모리는 모델 병렬 처리를 통해 샤딩되므로 영향을 받지 않습니다. 고정밀도 마스터 모델 가중치/그라데이션 및 옵티마이저 상태가 영향을 받습니다. 중복 모델 복제본을 하나 추가하면 디바이스 메모리 사용량이 DCP 체크포인트 크기 하나와 거의 동일합니다.

하이브리드 샤딩은 전체 DP 그룹의 집합체를 비교적 작은 집합체로 나눕니다. 이전에는 전체 DP 그룹에 걸쳐 감소 분산 및 전체 수집이 있었습니다. 하이브리드 샤딩 후 감소 산란은 각 모델 복제본 내에서만 실행되며 모델 복제본 그룹 간에 모두 감소합니다. 전체 수집은 각 모델 복제본 내에서도 실행됩니다. 따라서 전체 통신 볼륨은 거의 변경되지 않지만 집합체는 더 작은 그룹으로 실행되므로 지연 시간이 길어질 것으로 예상됩니다.

개념 - 실패 및 재시작 유형

다음 표에는 다양한 장애 유형과 관련 복구 메커니즘이 기록되어 있습니다. 체크포인트 없는 훈련은 먼저 프로세스 중 복구를 통해 장애 복구를 시도한 다음 프로세스 수준 재시작을 시도합니다. 치명적인 장애(예: 여러 노드가 동시에 실패)가 발생한 경우에만 작업 수준 재시작으로 돌아갑니다.

개념 - 옵티마이저 단계를 위한 원자 잠금 보호

모델 실행은 순방향 전파, 역방향 전파, 최적화 프로그램 단계의 세 단계로 나뉩니다. 복구 동작은 실패 타이밍에 따라 달라집니다.

이 전략은 완료된 옵티마이저 업데이트가 폐기되지 않도록 하여 장애 복구 시간을 줄이는 데 도움이 됩니다.

체크포인트 없는 훈련 흐름도

다음 단계에서는 장애 감지 및 체크포인트 없는 복구 프로세스를 간략하게 설명합니다.

API 참조

wait_rank

hyperpod_checkpointless_training.inprocess.train_utils.wait_rank()

HyperPod에서 순위 정보를 대기하고 검색한 다음 현재 프로세스 환경을 분산 훈련 변수로 업데이트합니다.

이 함수는 분산 훈련을 위한 올바른 순위 할당 및 환경 변수를 가져옵니다. 이를 통해 각 프로세스가 분산 훈련 작업에서 역할에 적합한 구성을 얻을 수 있습니다.

파라미터

없음

반환

없음

동작

환경 변수

함수는 다음 환경 변수를 읽습니다.

상승

예제

from hyperpod_checkpointless_training.inprocess.train_utils import wait_rank  

# Call before initializing distributed training  
wait_rank()  

# Now environment variables are properly set for this rank  
import torch.distributed as dist  
dist.init_process_group(backend='nccl')

참고

HPWrapper

class hyperpod_checkpointless_training.inprocess.wrap.HPWrapper(  
    *,  
    abort=Compose(HPAbortTorchDistributed()),  
    finalize=None,  
    health_check=None,  
    hp_api_factory=None,  
    abort_timeout=None,  
    enabled=True,  
    trace_file_path=None,  
    async_raise_before_abort=True,  
    early_abort_communicator=False,  
    checkpoint_manager=None,  
    check_memory_status=True)

HyperPod 체크포인트 없는 훈련에서 Re-executable Code Block(RCB)에 대한 재시작 기능을 활성화하는 Python 함수 래퍼입니다.

이 래퍼는 훈련 실행을 모니터링하고 장애 발생 시 분산 프로세스에서 재시작을 조정하여 내결함성 및 자동 복구 기능을 제공합니다. 데코레이터가 아닌 컨텍스트 관리자 접근 방식을 사용하여 훈련 수명 주기 동안 글로벌 리소스를 유지합니다.

파라미터

메서드

def __call__(self, fn)

함수를 래핑하여 재시작 기능을 활성화합니다.

파라미터:

다음을 반환합니다.

예제

from hyperpod_checkpointless_training.nemo_plugins.checkpoint_manager import CheckpointManager  
from hyperpod_checkpointless_training.nemo_plugins.patches import patch_megatron_optimizer  
from hyperpod_checkpointless_training.nemo_plugins.checkpoint_connector import CheckpointlessCompatibleConnector  
from hyperpod_checkpointless_training.inprocess.train_utils import HPAgentK8sAPIFactory  
from hyperpod_checkpointless_training.inprocess.abort import CheckpointlessFinalizeCleanup, CheckpointlessAbortManager   
      
@HPWrapper(  
    health_check=CudaHealthCheck(),  
    hp_api_factory=HPAgentK8sAPIFactory(),  
    abort_timeout=60.0,  
    checkpoint_manager=CheckpointManager(enable_offload=False),  
    abort=CheckpointlessAbortManager.get_default_checkpointless_abort(),  
    finalize=CheckpointlessFinalizeCleanup(),  
)def training_function():  
    # Your training code here  
    pass

참고

HPCallWrapper

class hyperpod_checkpointless_training.inprocess.wrap.HPCallWrapper(wrapper)

실행 중에 Restart Code Block(RCB)의 상태를 모니터링하고 관리합니다.

이 클래스는 장애 감지, 재시작을 위한 다른 순위와의 조정, 정리 작업을 포함하여 RCB 실행의 수명 주기를 처리합니다. 분산 동기화를 관리하고 모든 훈련 프로세스에서 일관된 복구를 보장합니다.

파라미터

속성

메서드

def initialize_barrier()

RCB에서 예외가 발생한 후 HyperPod 장벽 동기화를 기다립니다.

def start_hp_fault_handling_thread()

장애 모니터링 및 조정을 위해 장애 처리 스레드를 시작합니다.

def handle_fn_exception(call_ex)

실행 함수 또는 RCB의 예외를 처리합니다.

파라미터:

def restart(term_ex)

마무리, 가비지 수집 및 상태 확인을 포함하여 재시작 핸들러를 실행합니다.

파라미터:

def launch(fn, *a, **kw)

적절한 예외 처리로 RCB를 실행합니다.

파라미터:

def run(fn, a, kw)

재시작 및 장벽 동기화를 처리하는 기본 실행 루프입니다.

파라미터:

def shutdown()

장애 처리 및 모니터링 스레드를 종료합니다.

참고

CudaHealthCheck

class hyperpod_checkpointless_training.inprocess.health_check.CudaHealthCheck(timeout=datetime.timedelta(seconds=30))

체크포인트 없는 훈련 복구 중에 현재 프로세스의 CUDA 컨텍스트가 정상 상태인지 확인합니다.

이 상태 확인은 GPU와 동기화되어 훈련 실패 후 CUDA 컨텍스트가 손상되지 않았는지 확인합니다. GPU 동기화 작업을 수행하여 성공적인 훈련 재개를 방해할 수 있는 문제를 감지합니다. 상태 확인은 분산 그룹이 파괴되고 완료가 완료된 후 실행됩니다.

파라미터

메서드

__call__(state, train_ex=None)

CUDA 상태 확인을 실행하여 GPU 컨텍스트 무결성을 확인합니다.

파라미터:

다음을 반환합니다.

상승:

상태 보존: 모든 검사가 통과하면 원래 상태와 예외를 변경 없이 반환합니다.

예제

import datetime  
from hyperpod_checkpointless_training.inprocess.health_check import CudaHealthCheck  
from hyperpod_checkpointless_training.inprocess.wrap import HPWrapper  
  
# Create CUDA health check with custom timeout  
cuda_health_check = CudaHealthCheck(  
    timeout=datetime.timedelta(seconds=60)  
)  
  
# Use with HPWrapper for fault-tolerant training  
@HPWrapper(  
    health_check=cuda_health_check,  
    enabled=True  
)  
def training_function():  
    # Your training code here  
    pass

참고

HPAgentK8sAPIFactory

class hyperpod_checkpointless_training.inprocess.train_utils.HPAgentK8sAPIFactory()

분산 훈련 조정을 위해 HyperPod 인프라와 통신하는 HPAgentK8sAPI 인스턴스를 생성하기 위한 팩토리 클래스입니다.

이 팩토리는 훈련 프로세스와 HyperPod 컨트롤 플레인 간의 통신을 처리하는 HPAgentK8sAPI 객체를 생성하고 구성하는 표준화된 방법을 제공합니다. 기본 소켓 클라이언트 및 API 인스턴스의 생성을 캡슐화하여 훈련 시스템의 여러 부분에서 일관된 구성을 보장합니다.

메서드

__call__()

HyperPod 통신을 위해 구성된 HPAgentK8sAPI 인스턴스를 생성하고 반환합니다.

다음을 반환합니다.

예제

from hyperpod_checkpointless_training.inprocess.train_utils import HPAgentK8sAPIFactory  
from hyperpod_checkpointless_training.inprocess.wrap import HPWrapper  
from hyperpod_checkpointless_training.inprocess.health_check import CudaHealthCheck  
  
# Create the factory  
hp_api_factory = HPAgentK8sAPIFactory()  
  
# Use with HPWrapper for fault-tolerant training  
hp_wrapper = HPWrapper(  
    hp_api_factory=hp_api_factory,  
    health_check=CudaHealthCheck(),  
    abort_timeout=60.0,  
    enabled=True  
)  
  
@hp_wrapper  
def training_function():  
    # Your distributed training code here  
    pass

참고

CheckpointManager

class hyperpod_checkpointless_training.nemo_plugins.checkpoint_manager.CheckpointManager(  
    enable_checksum=False,  
    enable_offload=False)

분산 훈련에서 체크포인트 없는 내결함성을 위한 인 메모리 체크포인트 및 peer-to-peer 복구를 관리합니다.

이 클래스는 메모리에서 NeMo 모델 체크포인트를 관리하고, 복구 타당성을 검증하고, 정상 순위와 실패한 순위 간의 peer-to-peer 체크포인트 전송을 오케스트레이션하여 HyperPod 체크포인트 없는 훈련을 위한 핵심 기능을 제공합니다. 복구 중에 디스크 I/O가 필요하지 않으므로 평균 복구 시간(MTTR)이 크게 줄어듭니다.

파라미터

속성

메서드

save_checkpoint(trainer)

잠재적인 체크포인트 없는 복구를 위해 NeMo 모델 체크포인트를 메모리에 저장합니다.

파라미터:

참고:

delete_checkpoint()

인 메모리 체크포인트를 삭제하고 정리 작업을 수행합니다.

참고:

try_checkpointless_load(trainer)

피어 순위에서 상태를 로드하여 체크포인트 없는 복구를 시도합니다.

파라미터:

다음을 반환합니다.

참고:

checkpointless_recovery_feasible(trainer, include_checksum_verification=True)

현재 장애 시나리오에서 체크포인트 없는 복구가 가능한지 확인합니다.

파라미터:

다음을 반환합니다.

검증 기준:

store_rng_states()

결정적 복구를 위해 모든 난수 생성기 상태를 저장합니다.

참고:

load_rng_states()

결정적 복구 지속을 위해 모든 RNG 상태를 복원합니다.

참고:

maybe_offload_checkpoint()

오프로드가 활성화된 경우 GPU에서 CPU 메모리로 체크포인트를 오프로드합니다.

참고:

예제

from hyperpod_checkpointless_training.inprocess.wrap import HPWrapper  
from hyperpod_checkpointless_training.nemo_plugins.checkpoint_manager import CheckpointManager  
# Use with HPWrapper for complete fault tolerance  
@HPWrapper(  
    checkpoint_manager=CheckpointManager(),  
    enabled=True  
)  
def training_function():  
    # Training code with automatic checkpointless recovery  
    pass

검증: 체크섬을 사용하여 체크포인트 무결성을 확인합니다(활성화된 경우).

참고

PEFTCheckpointManager

class hyperpod_checkpointless_training.nemo_plugins.checkpoint_manager.PEFTCheckpointManager(  
    *args,  
    **kwargs)

최적화된 체크포인트 없는 복구를 위해 별도의 기본 및 어댑터 처리로 PEFT(Parameter-Efficient Fine-Tuning)에 대한 체크포인트를 관리합니다.

이 특수 체크포인트 관리자는 어댑터 파라미터와 기본 모델 가중치를 분리하여 CheckpointManager를 확장하여 PEFT 워크플로를 최적화합니다.

파라미터

CheckpointManager에서 모든 파라미터를 상속합니다.

추가 속성

메서드

maybe_save_base_model(trainer)

어댑터 파라미터를 필터링하여 기본 모델 가중치를 한 번 저장합니다.

파라미터:

참고:

save_checkpoint(trainer)

잠재적인 체크포인트 없는 복구를 위해 NeMo PEFT 어댑터 모델 체크포인트를 메모리에 저장합니다.

파라미터:

참고:

try_base_model_checkpointless_load(trainer)

피어 순위에서 상태를 로드하여 PEFT 기본 모델 가중치 체크포인트 없는 복구를 시도합니다.

파라미터:

다음을 반환합니다.

참고:

try_checkpointless_load(trainer)

피어 순위에서 상태를 로드하여 PEFT 어댑터 가중치 체크포인트 없는 복구를 시도합니다.

파라미터:

다음을 반환합니다.

참고:

is_adapter_key(key)

상태 지정 키가 어댑터 파라미터에 속하는지 확인합니다.

파라미터:

다음을 반환합니다.

탐지 로직:

maybe_offload_checkpoint()

GPU에서 CPU 메모리로 기본 모델 가중치를 오프로드합니다.

참고:

참고

예제

from hyperpod_checkpointless_training.inprocess.wrap import HPWrapper  
from hyperpod_checkpointless_training.nemo_plugins.checkpoint_manager import PEFTCheckpointManager  
# Use with HPWrapper for complete fault tolerance  
@HPWrapper(  
    checkpoint_manager=PEFTCheckpointManager(),  
    enabled=True  
)  
def training_function():  
    # Training code with automatic checkpointless recovery  
    pass

CheckpointlessAbortManager

class hyperpod_checkpointless_training.inprocess.abort.CheckpointlessAbortManager()

체크포인트 없는 내결함성을 위해 중단 구성 요소 구성을 생성하고 관리하기 위한 팩토리 클래스입니다.

이 유틸리티 클래스는 HyperPod 체크포인트 없는 훈련에서 장애 처리 중에 사용되는 중단 구성 요소 구성을 생성, 사용자 지정 및 관리하는 정적 방법을 제공합니다. 장애 복구 중에 분산 훈련 구성 요소, 데이터 로더 및 프레임워크별 리소스의 정리를 처리하는 중단 시퀀스의 구성을 간소화합니다.

파라미터

없음(모든 메서드가 정적임)

정적 메서드

get_default_checkpointless_abort()

모든 표준 중단 구성 요소가 포함된 기본 중단 구성 인스턴스를 가져옵니다.

다음을 반환합니다.

기본 구성 요소:

create_custom_abort(abort_instances)

지정된 중단 인스턴스만 사용하여 사용자 지정 중단 구성을 생성합니다.

파라미터:

다음을 반환합니다.

상승:

override_abort(abort_compose, abort_type, new_abort)

Compose 인스턴스의 특정 중단 구성 요소를 새 구성 요소로 바꿉니다.

파라미터:

다음을 반환합니다.

상승:

예제

from hyperpod_checkpointless_training.inprocess.wrap import HPWrapper  
from hyperpod_checkpointless_training.nemo_plugins.callbacks import CheckpointlessCallback  
from hyperpod_checkpointless_training.inprocess.abort import CheckpointlessFinalizeCleanup, CheckpointlessAbortManager  
  
# The strategy automatically integrates with HPWrapper  
@HPWrapper(  
    abort=CheckpointlessAbortManager.get_default_checkpointless_abort(),  
    health_check=CudaHealthCheck(),  
    finalize=CheckpointlessFinalizeCleanup(),  
    enabled=True  
)  
def training_function():  
    trainer.fit(...)

참고

CheckpointlessFinalizeCleanup

class hyperpod_checkpointless_training.inprocess.abort.CheckpointlessFinalizeCleanup()

장애 감지 후 포괄적인 정리를 수행하여 체크포인트 없는 훈련 중에 프로세스 중 복구를 준비합니다.

이 마무리 핸들러는 훈련 구성 요소 참조를 삭제하여 Megatron/TransformerEngine 중단, DDP 정리, 모듈 다시 로드 및 메모리 정리를 포함한 프레임워크별 정리 작업을 실행합니다. 이를 통해 전체 프로세스 종료 없이 성공적인 프로세스 중 복구를 위해 훈련 환경을 올바르게 재설정할 수 있습니다.

파라미터

없음

속성

메서드

__call__(*a, **kw)

프로세스 중 복구 준비를 위해 포괄적인 정리 작업을 실행합니다.

파라미터:

정리 작업:

register_attributes(trainer)

정리 작업 중에 사용할 트레이너 인스턴스를 등록합니다.

파라미터:

CheckpointlessCallback과 통합

from hyperpod_checkpointless_training.nemo_plugins.callbacks import CheckpointlessCallback  
from hyperpod_checkpointless_training.inprocess.wrap import HPWrapper  
  
# The strategy automatically integrates with HPWrapper  
@HPWrapper(  
    ...  
    finalize=CheckpointlessFinalizeCleanup(),   
)  
def training_function():  
    trainer.fit(...)

참고

CheckpointlessMegatronStrategy

class hyperpod_checkpointless_training.nemo_plugins.megatron_strategy.CheckpointlessMegatronStrategy(*args, **kwargs)

내결함성 분산 훈련을 위한 통합 체크포인트 없는 복구 기능을 갖춘 NeMo Megatron 전략입니다.

옵티마이저 복제num_distributed_optimizer_instances가 이루어지도록 체크포인트 없는 훈련은 최소 2여야 합니다. 또한이 전략은 필수 속성 등록 및 프로세스 그룹 초기화를 처리합니다.

파라미터

MegatronStrategy에서 모든 파라미터를 상속합니다.

속성

메서드

setup(trainer)

전략을 초기화하고 내결함성 구성 요소를 트레이너에게 등록합니다.

파라미터:

설정 작업:

setup_distributed()

접두사 또는 루트 없는 연결이 있는 TCPStore를 사용하여 프로세스 그룹을 초기화합니다.

load_model_state_dict(checkpoint, strict=True)

로드 모델 상태는 체크포인트 없는 복구 호환성을 갖습니다.

파라미터:

get_wrapper()

내결함성 조정을 위해 HPCallWrapper 인스턴스를 가져옵니다.

다음을 반환합니다.

is_peft()

PEFT 콜백을 확인하여 훈련 구성에서 PEFT(Parameter-Efficient Fine-Tuning)가 활성화되어 있는지 확인

다음을 반환합니다.

teardown()

PyTorch Lightning 네이티브 해체를 재정의하여 정리를 중단 핸들러에 위임합니다.

예제

from hyperpod_checkpointless_training.inprocess.wrap import HPWrapper  
  
# The strategy automatically integrates with HPWrapper  
@HPWrapper(  
    checkpoint_manager=checkpoint_manager,  
    enabled=True  
)  
def training_function():  
    trainer = pl.Trainer(strategy=CheckpointlessMegatronStrategy())  
    trainer.fit(model, datamodule)

CheckpointlessCallback

class hyperpod_checkpointless_training.nemo_plugins.callbacks.CheckpointlessCallback(  
    enable_inprocess=False,  
    enable_checkpointless=False,  
    enable_checksum=False,  
    clean_tensor_hook=False,  
    clean_lightning_module=False)

NeMo 훈련을 체크포인트 없는 훈련의 내결함성 시스템과 통합하는 조명 콜백입니다.

이 콜백은 프로세스 중 복구 기능에 대한 단계 추적, 체크포인트 저장 및 파라미터 업데이트 조정을 관리합니다. PyTorch Lightning 훈련 루프와 HyperPod 체크포인트 없는 훈련 메커니즘 간의 기본 통합 지점 역할을 하여 훈련 수명 주기 전반에 걸쳐 내결함성 작업을 조정합니다.

파라미터

속성

메서드

get_wrapper_from_trainer(trainer)

내결함성 조정을 위해 트레이너로부터 HPCallWrapper 인스턴스를 가져옵니다.

파라미터:

다음을 반환합니다.

on_train_batch_start(trainer, pl_module, batch, batch_idx, *args, **kwargs)

단계 추적 및 복구를 관리하기 위해 각 훈련 배치가 시작될 때 호출됩니다.

파라미터:

on_train_batch_end(trainer, pl_module, outputs, batch, batch_idx)

각 훈련 배치가 끝날 때 파라미터 업데이트 잠금을 해제합니다.

파라미터:

참고:

get_peft_callback(trainer)

강사의 콜백 목록에서 PEFT 콜백을 검색합니다.

파라미터:

다음을 반환합니다.

_try_adapter_checkpointless_restore(trainer, params_to_save)

PEFT 어댑터 파라미터에 대한 체크포인트 없는 복원을 시도합니다.

파라미터:

참고:

예제

from hyperpod_checkpointless_training.nemo_plugins.callbacks import CheckpointlessCallback  
from hyperpod_checkpointless_training.nemo_plugins.checkpoint_manager import CheckpointManager  
import pytorch_lightning as pl  
  
# Create checkpoint manager  
checkpoint_manager = CheckpointManager(  
    enable_checksum=True,  
    enable_offload=True  
)  
  
# Create checkpointless callback with full fault tolerance  
checkpointless_callback = CheckpointlessCallback(  
    enable_inprocess=True,  
    enable_checkpointless=True,  
    enable_checksum=True,  
    clean_tensor_hook=True,  
    clean_lightning_module=True  
)  
  
# Use with PyTorch Lightning trainer  
trainer = pl.Trainer(  
    callbacks=[checkpointless_callback],  
    strategy=CheckpointlessMegatronStrategy()  
)  
  
# Training with fault tolerance  
trainer.fit(model, datamodule=data_module)

메모리 관리

CheckpointlessCompatibleConnector

class hyperpod_checkpointless_training.nemo_plugins.checkpoint_connector.CheckpointlessCompatibleConnector()

체크포인트 없는 복구를 기존 디스크 기반 체크포인트 로드와 통합하는 PyTorch Lightning 체크포인트 커넥터입니다.

이 커넥터는 PyTorch Lightning의를 확장_CheckpointConnector하여 체크포인트 없는 복구와 표준 체크포인트 복원 간의 원활한 통합을 제공합니다. 체크포인트 없는 복구를 먼저 시도한 다음 체크포인트 없는 복구가 불가능하거나 실패한 경우 디스크 기반 체크포인트 로드로 돌아갑니다.

파라미터

_CheckpointConnector에서 모든 파라미터를 상속합니다.

메서드

resume_start(checkpoint_path=None)

체크포인트 없는 복구 우선 순위로 체크포인트를 사전 로드하려고 시도합니다.

파라미터:

resume_end()

체크포인트 로드 프로세스를 완료하고 로드 후 작업을 수행합니다.

참고

CheckpointlessAutoResume

class hyperpod_checkpointless_training.nemo_plugins.resume.CheckpointlessAutoResume()

체크포인트 경로 확인 전에 체크포인트 없는 복구 검증을 활성화하도록 지연된 설정으로 NeMo의 AutoResume을 확장합니다.

이 클래스는 기존 디스크 기반 체크포인트 로드로 돌아가기 전에 체크포인트 없는 복구 검증을 수행할 수 있는 2단계 초기화 전략을 구현합니다. 조기 체크포인트 경로 확인을 방지하기 위해 AutoResume 설정을 조건부로 지연시켜 CheckpointManager가 먼저 체크포인트 없는 peer-to-peer 복구가 가능한지 검증할 수 있도록 합니다.

파라미터

AutoResume에서 모든 파라미터를 상속합니다.

메서드

setup(trainer, model=None, force_setup=False)

체크포인트 없는 복구 검증을 활성화하려면 AutoResume 설정을 조건부로 지연시킵니다.

파라미터:

예제

from hyperpod_checkpointless_training.nemo_plugins.resume import CheckpointlessAutoResume  
from hyperpod_checkpointless_training.nemo_plugins.megatron_strategy import CheckpointlessMegatronStrategy  
import pytorch_lightning as pl  
  
# Create trainer with checkpointless auto-resume  
trainer = pl.Trainer(  
    strategy=CheckpointlessMegatronStrategy(),  
    resume=CheckpointlessAutoResume()  
)

참고