Accelerate documentation

Utilitários do Megatron-LM

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Utilitários do Megatron-LM

MegatronLMPlugin

classe accelerate.utils.MegatronLMPlugin

< >

( tp_degree: int = Nonepp_degree: int = Noneuse_custom_fsdp: bool = Noneoverlap_cpu_optimizer_d2h_h2d: bool = Noneno_load_optim: bool = Noneeod_mask_loss: bool = Noneno_save_optim: bool = Noneoptimizer_cpu_offload: bool = Noneuse_precision_aware_optimizer: bool = Nonedecoder_last_pipeline_num_layers: int = Nonerecompute_granularity: str = Nonerecompute_method: str = Nonerecompute_num_layers: int = Noneattention_backend: bool = Noneexpert_model_parallel_size: int = Nonecontext_parallel_size: int = Noneattention_dropout: float = Nonehidden_dropout: float = Noneattention_softmax_in_fp32: bool = Noneexpert_tensor_parallel_size: int = Nonecalculate_per_token_loss: bool = Noneuse_rotary_position_embeddings: bool = Nonenum_micro_batches: int = Nonegradient_clipping: float = Nonesequence_parallelism: bool = Nonerecompute_activations: bool = Noneuse_distributed_optimizer: bool = Nonepipeline_model_parallel_split_rank: int = Nonenum_layers_per_virtual_pipeline_stage: int = Noneis_train_batch_min: str = Truetrain_iters: int = Nonetrain_samples: int = Noneweight_decay_incr_style: str = 'constant'start_weight_decay: float = Noneend_weight_decay: float = Nonelr_decay_style: str = 'linear'lr_decay_iters: int = Nonelr_decay_samples: int = Nonelr_warmup_iters: int = Nonelr_warmup_samples: int = Nonelr_warmup_fraction: float = Nonemin_lr: float = 0consumed_samples: list[int] = Noneno_wd_decay_cond: typing.Callable | None = Nonescale_lr_cond: typing.Callable | None = Nonelr_mult: float = 1.0megatron_dataset_flag: bool = Falseseq_length: int = Noneencoder_seq_length: int = Nonedecoder_seq_length: int = Nonetensorboard_dir: str = Noneset_all_logging_options: bool = Falseeval_iters: int = 100eval_interval: int = 1000return_logits: bool = Falsecustom_train_step_class: typing.Any | None = Nonecustom_train_step_kwargs: dict[str, typing.Any] | None = Nonecustom_model_provider_function: typing.Callable | None = Nonecustom_prepare_model_function: typing.Callable | None = Nonecustom_megatron_datasets_provider_function: typing.Callable | None = Nonecustom_get_batch_function: typing.Callable | None = Nonecustom_loss_function: typing.Callable | None = Noneother_megatron_args: dict[str, typing.Any] | None = None )

Parâmetros

  • tp_degree (int, padrão None) — Grau de paralelismo de tensor.
  • pp_degree (int, padrão None) — Grau de paralelismo de pipeline.
  • num_micro_batches (int, padrão None) — Número de micro-lotes.
  • gradient_clipping (float, padrão None) — Valor de recorte de gradiente baseado na norma L2 global (0 para desativar).
  • sequence_parallelism (bool, padrão None) — Ativa o paralelismo de sequência.
  • recompute_activations (bool, padrão None) — Ativa a recomputação seletiva de ativações.
  • use_distributed_optimizer (bool, padrão None) — Ativa o otimizador distribuído.
  • pipeline_model_parallel_split_rank (int, padrão None) — Rank onde o codificador e o decodificador devem ser separados.
  • num_layers_per_virtual_pipeline_stage (int, padrão None) — Número de camadas por estágio de pipeline virtual.
  • is_train_batch_min (str, padrão True) — Se ambos os dataloaders de treino e avaliação forem especificados, este parâmetro determinará o micro_batch_size.
  • train_iters (int, padrão None) — Número total de amostras para treinar em todas as execuções de treinamento. Observe que, ao usar MegatronLMDummyScheduler, deve-se fornecer train-iters ou train-samples.
  • train_samples (int, padrão None) — Número total de amostras para treinar em todas as execuções de treinamento. Observe que, ao usar MegatronLMDummyScheduler, deve-se fornecer train-iters ou train-samples.
  • weight_decay_incr_style (str, padrão 'constant') — Função de incremento do weight decay. choices=[“constant”, “linear”, “cosine”].
  • start_weight_decay (float, padrão None) — Coeficiente inicial de decaimento de peso para regularização L2.
  • end_weight_decay (float, padrão None) — Coeficiente de decaimento de peso no final da execução para regularização L2.
  • lr_decay_style (str, padrão 'linear') — Função de decaimento da taxa de aprendizado. choices=[‘constant’, ‘linear’, ‘cosine’].
  • lr_decay_iters (int, padrão None) — Número de iterações para o decaimento da taxa de aprendizado. Se for None, o padrão é train_iters.
  • lr_decay_samples (int, padrão None) — Número de amostras para o decaimento da taxa de aprendizado. Se for None, o padrão é train_samples.
  • lr_warmup_iters (int, padrão None) — Número de iterações para o aquecimento linear da taxa de aprendizado.
  • lr_warmup_samples (int, padrão None) — Número de amostras para o aquecimento linear da taxa de aprendizado.
  • lr_warmup_fraction (float, padrão None) — Fração de lr-warmup-(iters/samples) para aquecer linearmente a taxa de aprendizado.
  • min_lr (float, padrão 0) — Valor mínimo para a taxa de aprendizado. O agendador limita os valores abaixo desse limite.
  • consumed_samples (List, padrão None) — Número de amostras consumidas na mesma ordem dos dataloaders para a chamada de accelerator.prepare.
  • no_wd_decay_cond (Optional, padrão None) — Condição para desativar o decaimento de peso.
  • scale_lr_cond (Optional, padrão None) — Condição para escalar a taxa de aprendizado.
  • lr_mult (float, padrão 1.0) — Multiplicador da taxa de aprendizado.
  • megatron_dataset_flag (bool, padrão False) — Se o formato do conjunto de dados segue o formato Indexed/Cached/MemoryMapped do Megatron-LM.
  • seq_length (int, padrão None) — Comprimento máximo da sequência a ser processado.
  • encoder_seq_length (int, padrão None) — Comprimento máximo da sequência a ser processada pelo codificador.
  • decoder_seq_length (int, padrão None) — Comprimento máximo da sequência a ser processada para o decodificador.
  • tensorboard_dir (str, padrão None) — Caminho para salvar os logs do tensorboard.
  • set_all_logging_options (bool, padrão False) — Se deve definir todas as opções de log.
  • eval_iters (int, padrão 100) — Número de iterações a serem executadas para a validação/teste de avaliação.
  • eval_interval (int, padrão 1000) — Intervalo entre a execução da avaliação no conjunto de validação.
  • return_logits (bool, padrão False) — Se deve retornar os logits do modelo.
  • custom_train_step_class (Optional, padrão None) — Classe de etapa de treinamento personalizada.
  • custom_train_step_kwargs (Optional, padrão None) — Kwargs personalizados para o passo de treinamento.
  • custom_model_provider_function (Optional, padrão None) — Função de provedor de modelo personalizada.
  • custom_prepare_model_function (Optional, padrão None) — Função personalizada para preparar o modelo.
  • custom_megatron_datasets_provider_function (Optional, padrão None) — Função de provedor de conjuntos de dados de treino, validação e teste do Megatron personalizada.
  • custom_get_batch_function (Optional, padrão None) — Função personalizada para obter um lote.
  • custom_loss_function (Optional, padrão None) — Função de perda personalizada.
  • other_megatron_args (Optional, padrão None) — Outros argumentos do Megatron-LM. Consulte a documentação do Megatron-LM.

Plugin para Megatron-LM para habilitar paralelismo de tensor, pipeline, sequência e dados. Também para habilitar recomputação seletiva de ativação e kernels fundidos otimizados.

MegatronLMDummyScheduler

classe accelerate.utils.MegatronLMDummyScheduler

< >

( optimizertotal_num_steps = Nonewarmup_num_steps = 0**kwargs )

Parâmetros

  • optimizer (torch.optim.optimizer.Optimizer) — O otimizador a ser encapsulado.
  • total_num_steps (int) — Número total de etapas.
  • warmup_num_steps (int) — Número de etapas para o aquecimento.
  • **kwargs (argumentos de palavra-chave adicionais, opcional) — Outros argumentos.

O agendador fictício apresenta os parâmetros do modelo ou os grupos de parâmetros; isso é usado principalmente para seguir o loop de treinamento convencional quando a configuração do agendador é especificada no arquivo de configuração do DeepSpeed.

MegatronLMDummyDataLoader

classe accelerate.utils.MegatronLMDummyDataLoader

< >

( **dataset_kwargs )

Parâmetros

  • **dataset_kwargs — Argumentos de dados do Megatron.

O dataloader fictício apresenta os parâmetros do modelo ou os grupos de parâmetros, sendo usado principalmente para seguir o treinamento convencional

AbstractTrainStep

classe accelerate.utils.AbstractTrainStep

< >

( name )

Classe abstrata para loteamento, passagem direta e manipulador de perda.

GPTTrainStep

classe accelerate.utils.GPTTrainStep

< >

( acceleratorargs )

Parâmetros

  • args (argparse.Namespace) — Argumentos do Megatron-LM.

Classe de etapa de treinamento do GPT.

BertTrainStep

classe accelerate.utils.BertTrainStep

< >

( acceleratorargs )

Parâmetros

  • args (argparse.Namespace) — Argumentos do Megatron-LM.

Classe de etapa de treinamento do Bert.

T5TrainStep

classe accelerate.utils.T5TrainStep

< >

( acceleratorargs )

Parâmetros

  • args (argparse.Namespace) — Argumentos do Megatron-LM.

Classe de etapa de treinamento do T5.

avg_losses_across_data_parallel_group

accelerate.utils.avg_losses_across_data_parallel_group

< >

( losses )

Parâmetros

  • losses (List[Tensor]) — Lista de perdas para fazer a média entre o grupo de paralelismo de dados.

Perdas médias em todo o grupo de paralelismo de dados.

Update on GitHub