As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Carregador de dados mapeado na memória

Outra sobrecarga de reinicialização decorre do carregamento de dados: o cluster de treinamento permanece ocioso enquanto o carregador de dados inicializa, baixa dados de sistemas de arquivos remotos e os processa em lotes.

Para resolver isso, apresentamos o carregador de dados mapeado em memória DataLoader (MMAP), que armazena em cache os lotes pré-buscados na memória persistente, garantindo que eles permaneçam disponíveis mesmo após uma reinicialização induzida por falhas. Essa abordagem elimina o tempo de configuração do carregador de dados e permite que o treinamento seja retomado imediatamente usando lotes em cache, enquanto o carregador de dados reinicializa e busca simultaneamente os dados subsequentes em segundo plano. O cache de dados reside em cada classificação que requer dados de treinamento e mantém dois tipos de lotes: lotes consumidos recentemente que foram usados para treinamento e lotes pré-buscados prontos para uso imediato.

O dataloader MMAP oferece dois recursos a seguir:

Usando o cache, o trabalho de treinamento se beneficiará de:

Configurações do MMAP

Para usar o MMAP, basta passar o módulo de dados original para MMAPDataModule

data_module=MMAPDataModule(
    data_module=MY_DATA_MODULE(...),
    mmap_config=CacheResumeMMAPConfig(
        cache_dir=self.cfg.mmap.cache_dir,
        checkpoint_frequency=self.cfg.mmap.checkpoint_frequency),
)

CacheResumeMMAPConfig: os parâmetros do MMAP Dataloader controlam a localização do diretório de cache, os limites de tamanho e a delegação de busca de dados. Por padrão, somente a classificação TP 0 por nó busca dados da fonte, enquanto outras classificações no mesmo grupo de replicação de dados leem do cache compartilhado, eliminando transferências redundantes.

MMAPDataModule: Ele envolve o módulo de dados original e retorna o carregador de dados mmap para treinamento e validação.

Veja o exemplo para habilitar o MMAP.

Referência de API

CacheResumeMMAPConfig

class hyperpod_checkpointless_training.dataloader.config.CacheResumeMMAPConfig(
  cache_dir='/dev/shm/pdl_cache',
  prefetch_length=10,
  val_prefetch_length=10,
  lookback_length=2,
  checkpoint_frequency=None,
  model_parallel_group=None,
  enable_batch_encryption=False)

Classe de configuração para a funcionalidade do carregador de dados mapeado na memória (MMAP) em treinamento sem ponto de verificação. HyperPod

Essa configuração permite o carregamento eficiente de dados com recursos de armazenamento em cache e pré-busca, permitindo que o treinamento seja retomado rapidamente após falhas, mantendo lotes de dados em cache em arquivos mapeados na memória.

Parâmetros

Métodos

create(dataloader_init_callable,
    parallel_state_util,
   step,
    is_data_loading_rank,
   create_model_parallel_group_callable,
    name='Train',
   is_val=False,
   cached_len=0)

Cria e retorna uma instância configurada do dataloader MMAP.

Parâmetros

Retorna CacheResumePrefetchedDataLoader ou CacheResumeReadDataLoader — Instância configurada do carregador de dados MMAP

Aumenta ValueError se o parâmetro da etapa forNone.

Exemplo

from hyperpod_checkpointless_training.dataloader.config import CacheResumeMMAPConfig

# Create configuration
config = CacheResumeMMAPConfig(
    cache_dir="/tmp/training_cache",
    prefetch_length=20,
    checkpoint_frequency=100,
    enable_batch_encryption=False
)

# Create dataloader
dataloader = config.create(
    dataloader_init_callable=my_dataloader_init,
    parallel_state_util=parallel_util,
    step=current_step,
    is_data_loading_rank=lambda: rank == 0,
    create_model_parallel_group_callable=create_mp_group,
    name="TrainingData"
)

Observações

MMAPDataMódulo

class hyperpod_checkpointless_training.dataloader.mmap_data_module.MMAPDataModule(  
    data_module,  
    mmap_config,  
    parallel_state_util=MegatronParallelStateUtil(),  
    is_data_loading_rank=None)

Um DataModule wrapper PyTorch Lightning que aplica recursos de carregamento de dados mapeados em memória (MMAP) aos treinamentos existentes para fins de verificação sem necessidade de verificação. DataModules

Essa classe agrupa um PyTorch Lightning existente DataModule e o aprimora com a funcionalidade MMAP, permitindo um armazenamento eficiente de dados em cache e uma recuperação rápida durante falhas de treinamento. Ele mantém a compatibilidade com a DataModule interface original enquanto adiciona recursos de treinamento sem pontos de verificação.

Parâmetros

Atributos.

Métodos

setup(stage=None)

Configure o módulo de dados subjacente para o estágio de treinamento especificado.

train_dataloader()

Crie o treinamento DataLoader com a embalagem MMAP.

Retorna: DataLoader — Treinamento empacotado em MMAP DataLoader com recursos de cache e pré-busca

val_dataloader()

Crie a validação DataLoader com o empacotamento MMAP.

Retorna: DataLoader — Validação DataLoader empacotada em MMAP com recursos de cache

test_dataloader()

Crie o teste DataLoader se o módulo de dados subjacente for compatível com ele.

Retorna: DataLoader ou Nenhum — Teste DataLoader do módulo de dados subjacente, ou Nenhum se não for suportado

predict_dataloader()

Crie a previsão DataLoader se o módulo de dados subjacente a suportar.

Retorna: DataLoader ou Nenhum — Preveja a DataLoader partir do módulo de dados subjacente, ou Nenhum se não for suportado

load_checkpoint(checkpoint)

Carregue as informações do ponto de verificação para retomar o treinamento a partir de uma etapa específica.

get_underlying_data_module()

Obtenha o módulo de dados empacotado subjacente.

Devoluções: pl. LightningDataModule — O módulo de dados original que foi empacotado

state_dict()

Obtenha o dicionário estadual do MMAP DataModule para pontos de verificação.

Retorna: dict — Dicionário contendo comprimentos de carregadores de dados em cache

load_state_dict(state_dict)

Carregue o dicionário de estado para restaurar o DataModule estado do MMAP.

Properties

data_sampler

Exponha o amostrador de dados do módulo de dados subjacente à estrutura. NeMo

Retorna: objeto ou Nenhum — O amostrador de dados do módulo de dados subjacente

Exemplo

from hyperpod_checkpointless_training.dataloader.mmap_data_module import MMAPDataModule  
from hyperpod_checkpointless_training.dataloader.config import CacheResumeMMAPConfig  
from my_project import MyLLMDataModule  

# Create MMAP configuration  
mmap_config = CacheResumeMMAPConfig(  
    cache_dir="/tmp/training_cache",  
    prefetch_length=20,  
    checkpoint_frequency=100  
)  

# Create original data module  
original_data_module = MyLLMDataModule(  
    data_path="/path/to/data",  
    batch_size=32  
)  

# Wrap with MMAP capabilities  
mmap_data_module = MMAPDataModule(  
    data_module=original_data_module,  
    mmap_config=mmap_config  
)  

# Use in PyTorch Lightning Trainer  
trainer = pl.Trainer()  
trainer.fit(model, data=mmap_data_module)  

# Resume from checkpoint  
checkpoint = {"global_step": 1000}  
mmap_data_module.load_checkpoint(checkpoint)

Observações