Accelerate documentation
Utilitários do Megatron-LM
Utilitários do Megatron-LM
MegatronLMPlugin
classe accelerate.utils.MegatronLMPlugin
< source >( tp_degree: int = Nonepp_degree: int = Noneuse_custom_fsdp: bool = Noneoverlap_cpu_optimizer_d2h_h2d: bool = Noneno_load_optim: bool = Noneeod_mask_loss: bool = Noneno_save_optim: bool = Noneoptimizer_cpu_offload: bool = Noneuse_precision_aware_optimizer: bool = Nonedecoder_last_pipeline_num_layers: int = Nonerecompute_granularity: str = Nonerecompute_method: str = Nonerecompute_num_layers: int = Noneattention_backend: bool = Noneexpert_model_parallel_size: int = Nonecontext_parallel_size: int = Noneattention_dropout: float = Nonehidden_dropout: float = Noneattention_softmax_in_fp32: bool = Noneexpert_tensor_parallel_size: int = Nonecalculate_per_token_loss: bool = Noneuse_rotary_position_embeddings: bool = Nonenum_micro_batches: int = Nonegradient_clipping: float = Nonesequence_parallelism: bool = Nonerecompute_activations: bool = Noneuse_distributed_optimizer: bool = Nonepipeline_model_parallel_split_rank: int = Nonenum_layers_per_virtual_pipeline_stage: int = Noneis_train_batch_min: str = Truetrain_iters: int = Nonetrain_samples: int = Noneweight_decay_incr_style: str = 'constant'start_weight_decay: float = Noneend_weight_decay: float = Nonelr_decay_style: str = 'linear'lr_decay_iters: int = Nonelr_decay_samples: int = Nonelr_warmup_iters: int = Nonelr_warmup_samples: int = Nonelr_warmup_fraction: float = Nonemin_lr: float = 0consumed_samples: list[int] = Noneno_wd_decay_cond: typing.Callable | None = Nonescale_lr_cond: typing.Callable | None = Nonelr_mult: float = 1.0megatron_dataset_flag: bool = Falseseq_length: int = Noneencoder_seq_length: int = Nonedecoder_seq_length: int = Nonetensorboard_dir: str = Noneset_all_logging_options: bool = Falseeval_iters: int = 100eval_interval: int = 1000return_logits: bool = Falsecustom_train_step_class: typing.Any | None = Nonecustom_train_step_kwargs: dict[str, typing.Any] | None = Nonecustom_model_provider_function: typing.Callable | None = Nonecustom_prepare_model_function: typing.Callable | None = Nonecustom_megatron_datasets_provider_function: typing.Callable | None = Nonecustom_get_batch_function: typing.Callable | None = Nonecustom_loss_function: typing.Callable | None = Noneother_megatron_args: dict[str, typing.Any] | None = None )
Parâmetros
- tp_degree (
int, padrãoNone) — Grau de paralelismo de tensor. - pp_degree (
int, padrãoNone) — Grau de paralelismo de pipeline. - num_micro_batches (
int, padrãoNone) — Número de micro-lotes. - gradient_clipping (
float, padrãoNone) — Valor de recorte de gradiente baseado na norma L2 global (0 para desativar). - sequence_parallelism (
bool, padrãoNone) — Ativa o paralelismo de sequência. - recompute_activations (
bool, padrãoNone) — Ativa a recomputação seletiva de ativações. - use_distributed_optimizer (
bool, padrãoNone) — Ativa o otimizador distribuído. - pipeline_model_parallel_split_rank (
int, padrãoNone) — Rank onde o codificador e o decodificador devem ser separados. - num_layers_per_virtual_pipeline_stage (
int, padrãoNone) — Número de camadas por estágio de pipeline virtual. - is_train_batch_min (
str, padrãoTrue) — Se ambos os dataloaders de treino e avaliação forem especificados, este parâmetro determinará omicro_batch_size. - train_iters (
int, padrãoNone) — Número total de amostras para treinar em todas as execuções de treinamento. Observe que, ao usarMegatronLMDummyScheduler, deve-se fornecer train-iters ou train-samples. - train_samples (
int, padrãoNone) — Número total de amostras para treinar em todas as execuções de treinamento. Observe que, ao usarMegatronLMDummyScheduler, deve-se fornecer train-iters ou train-samples. - weight_decay_incr_style (
str, padrão'constant') — Função de incremento do weight decay. choices=[“constant”, “linear”, “cosine”]. - start_weight_decay (
float, padrãoNone) — Coeficiente inicial de decaimento de peso para regularização L2. - end_weight_decay (
float, padrãoNone) — Coeficiente de decaimento de peso no final da execução para regularização L2. - lr_decay_style (
str, padrão'linear') — Função de decaimento da taxa de aprendizado. choices=[‘constant’, ‘linear’, ‘cosine’]. - lr_decay_iters (
int, padrãoNone) — Número de iterações para o decaimento da taxa de aprendizado. Se for None, o padrão étrain_iters. - lr_decay_samples (
int, padrãoNone) — Número de amostras para o decaimento da taxa de aprendizado. Se for None, o padrão étrain_samples. - lr_warmup_iters (
int, padrãoNone) — Número de iterações para o aquecimento linear da taxa de aprendizado. - lr_warmup_samples (
int, padrãoNone) — Número de amostras para o aquecimento linear da taxa de aprendizado. - lr_warmup_fraction (
float, padrãoNone) — Fração de lr-warmup-(iters/samples) para aquecer linearmente a taxa de aprendizado. - min_lr (
float, padrão0) — Valor mínimo para a taxa de aprendizado. O agendador limita os valores abaixo desse limite. - consumed_samples (
List, padrãoNone) — Número de amostras consumidas na mesma ordem dos dataloaders para a chamada deaccelerator.prepare. - no_wd_decay_cond (
Optional, padrãoNone) — Condição para desativar o decaimento de peso. - scale_lr_cond (
Optional, padrãoNone) — Condição para escalar a taxa de aprendizado. - lr_mult (
float, padrão1.0) — Multiplicador da taxa de aprendizado. - megatron_dataset_flag (
bool, padrãoFalse) — Se o formato do conjunto de dados segue o formato Indexed/Cached/MemoryMapped do Megatron-LM. - seq_length (
int, padrãoNone) — Comprimento máximo da sequência a ser processado. - encoder_seq_length (
int, padrãoNone) — Comprimento máximo da sequência a ser processada pelo codificador. - decoder_seq_length (
int, padrãoNone) — Comprimento máximo da sequência a ser processada para o decodificador. - tensorboard_dir (
str, padrãoNone) — Caminho para salvar os logs do tensorboard. - set_all_logging_options (
bool, padrãoFalse) — Se deve definir todas as opções de log. - eval_iters (
int, padrão100) — Número de iterações a serem executadas para a validação/teste de avaliação. - eval_interval (
int, padrão1000) — Intervalo entre a execução da avaliação no conjunto de validação. - return_logits (
bool, padrãoFalse) — Se deve retornar os logits do modelo. - custom_train_step_class (
Optional, padrãoNone) — Classe de etapa de treinamento personalizada. - custom_train_step_kwargs (
Optional, padrãoNone) — Kwargs personalizados para o passo de treinamento. - custom_model_provider_function (
Optional, padrãoNone) — Função de provedor de modelo personalizada. - custom_prepare_model_function (
Optional, padrãoNone) — Função personalizada para preparar o modelo. - custom_megatron_datasets_provider_function (
Optional, padrãoNone) — Função de provedor de conjuntos de dados de treino, validação e teste do Megatron personalizada. - custom_get_batch_function (
Optional, padrãoNone) — Função personalizada para obter um lote. - custom_loss_function (
Optional, padrãoNone) — Função de perda personalizada. - other_megatron_args (
Optional, padrãoNone) — Outros argumentos do Megatron-LM. Consulte a documentação do Megatron-LM.
Plugin para Megatron-LM para habilitar paralelismo de tensor, pipeline, sequência e dados. Também para habilitar recomputação seletiva de ativação e kernels fundidos otimizados.
MegatronLMDummyScheduler
classe accelerate.utils.MegatronLMDummyScheduler
< source >( optimizertotal_num_steps = Nonewarmup_num_steps = 0**kwargs )
O agendador fictício apresenta os parâmetros do modelo ou os grupos de parâmetros; isso é usado principalmente para seguir o loop de treinamento convencional quando a configuração do agendador é especificada no arquivo de configuração do DeepSpeed.
MegatronLMDummyDataLoader
classe accelerate.utils.MegatronLMDummyDataLoader
< source >( **dataset_kwargs )
O dataloader fictício apresenta os parâmetros do modelo ou os grupos de parâmetros, sendo usado principalmente para seguir o treinamento convencional
AbstractTrainStep
Classe abstrata para loteamento, passagem direta e manipulador de perda.
GPTTrainStep
classe accelerate.utils.GPTTrainStep
< source >( acceleratorargs )
Classe de etapa de treinamento do GPT.
BertTrainStep
classe accelerate.utils.BertTrainStep
< source >( acceleratorargs )
Classe de etapa de treinamento do Bert.
T5TrainStep
classe accelerate.utils.T5TrainStep
< source >( acceleratorargs )
Classe de etapa de treinamento do T5.
avg_losses_across_data_parallel_group
accelerate.utils.avg_losses_across_data_parallel_group
< source >( losses )
Perdas médias em todo o grupo de paralelismo de dados.