Accelerate documentation

DeepSpeed 유틸리티

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

DeepSpeed 유틸리티

DeepSpeedPlugin

get_active_deepspeed_plugin

accelerate.utils.get_active_deepspeed_plugin

< >

( state )

Raises

ValueError

  • ValueError — DeepSpeed가 활성화되지 않은 상태에서 이 함수가 호출되면 발생합니다.

현재 활성화된 DeepSpeedPlugin을 반환합니다.

class accelerate.DeepSpeedPlugin

< >

( hf_ds_config: Any = Nonegradient_accumulation_steps: int = Nonegradient_clipping: float = Nonezero_stage: int = Noneis_train_batch_min: bool = Trueoffload_optimizer_device: str = Noneoffload_param_device: str = Noneoffload_optimizer_nvme_path: str = Noneoffload_param_nvme_path: str = Nonezero3_init_flag: bool = Nonezero3_save_16bit_model: bool = Nonetransformer_moe_cls_names: str = None )

매개변수

  • hf_ds_config (Any, 기본값 None) — DeepSpeed 설정 파일의 경로 또는 dict 또는 accelerate.utils.deepspeed.HfDeepSpeedConfig 클래스의 객체.
  • gradient_accumulation_steps (int, 기본값 None) — 옵티마이저 상태를 업데이트하기 전에 그래디언트를 누적할 단계 수입니다. 설정하지 않으면 Accelerator의 값을 그대로 사용합니다.
  • gradient_clipping (float, 기본값 None) — 지정한 값으로 기울기 클리핑을 활성화합니다.
  • zero_stage (int, 기본값 None) — 가능한 값은 0, 1, 2, 3입니다. 기본값은 환경 변수에서 가져옵니다.
  • is_train_batch_min (bool, 기본값 True) — train 및 eval dataloader가 모두 지정된 경우, train_batch_size를 결정합니다.
  • offload_optimizer_device (str, 기본값 None) — 가능한 옵션은 none|cpu|nvme입니다. ZeRO Stages 2와 3에서만 적용됩니다.
  • offload_param_device (str, 기본값 None) — 가능한 옵션은 none|cpu|nvme입니다. ZeRO Stage 3에서만 적용됩니다.
  • offload_optimizer_nvme_path (str, 기본값 None) — 가능한 옵션은 /nvme|/local_nvme입니다. ZeRO Stage 3에서만 적용됩니다.
  • offload_param_nvme_path (str, 기본값 None) — 가능한 옵션은 /nvme|/local_nvme입니다. ZeRO Stage 3에서만 적용됩니다.
  • zero3_init_flag (bool, 기본값 None) — 16비트 모델을 저장할지 여부를 나타내는 플래그입니다. ZeRO Stage-3에서만 적용됩니다.
  • zero3_save_16bit_model (bool, 기본값 None) — 16-bit 모델을 저장할지 여부를 나타내는 플래그입니다. ZeRO Stage-3에서만 적용됩니다.
  • transformer_moe_cls_names (str, 기본값 None) — 대소문자를 구분하는 Transformers MoE 레이어 클래스 이름의 쉼표로 구분된 목록입니다. 예를 들어, MixtralSparseMoeBlock, Qwen2MoeSparseMoeBlock, JetMoEAttention, JetMoEBlock 등입니다.

이 플러그인은 DeepSpeed를 통합하는 데 사용됩니다.

deepspeed_config_process

< >

( prefix = ''mismatches = Noneconfig = Nonemust_match = True**kwargs )

kwargs의 값으로 DeepSpeed 구성을 처리합니다.

선택

< >

( _from_accelerator_state: bool = False )

현재 deepspeed 플러그인 구성을 사용하도록 HfDeepSpeedWeakref를 설정합니다

클래스 accelerate.utils.DummyScheduler

< >

( optimizertotal_num_steps = Nonewarmup_num_steps = 0lr_scheduler_callable = None**kwargs )

매개변수

  • optimizer (torch.optim.optimizer.Optimizer) — 래핑할 옵티마이저입니다.
  • total_num_steps (int, 선택 사항) — 총 스텝 수.
  • warmup_num_steps (int, 선택 사항) — Warmup에 사용할 단계 수.
  • lr_scheduler_callable (callable, 선택 사항) — LR Scheduler를 생성하는 callable 함수입니다. 유일한 인수로 optimizer를 받습니다.
  • **kwargs (추가 키워드 인자, 선택 사항) — 기타 인자.

Dummy scheduler는 모델 파라미터 또는 파라미터 그룹을 제공하며, deepspeed 설정 파일에 스케줄러 구성이 지정된 경우 전통적인 학습 루프를 따르는 데 주로 사용됩니다.

DeepSpeedEnginerWrapper

class accelerate.utils.DeepSpeedEngineWrapper

< >

( engine )

매개변수

  • engine (deepspeed.runtime.engine.DeepSpeedEngine) — 래핑할 DeepSpeed 엔진

deepspeed.runtime.engine.DeepSpeedEngine의 내부 래퍼입니다. 이는 일반적인 학습 루프를 따르도록 사용됩니다.

get_global_grad_norm

< >

( )

DeepSpeed 엔진에서 전역 그라디언트 노름을 가져옵니다.

DeepSpeedOptimizerWrapper

클래스 accelerate.utils.DeepSpeedOptimizerWrapper

< >

( optimizer )

매개변수

  • optimizer (torch.optim.optimizer.Optimizer) — 래핑할 옵티마이저입니다.

deepspeed 옵티마이저를 감싸는 내부 래퍼입니다.

DeepSpeedSchedulerWrapper

class accelerate.utils.DeepSpeedSchedulerWrapper

< >

( scheduleroptimizers )

매개변수

  • scheduler (torch.optim.lr_scheduler.LambdaLR) — 래핑할 스케줄러입니다.
  • optimizers (하나 또는 torch.optim.Optimizer 목록) —

deepspeed 스케줄러를 감싸는 내부 래퍼입니다.

DummyOptim

클래스 accelerate.utils.DummyOptim

< >

( paramslr = 0.001weight_decay = 0**kwargs )

매개변수

  • lr (float) — 학습률.
  • params (iterable) — 최적화할 파라미터의 iterable 또는 파라미터 그룹을 정의하는 dicts
  • weight_decay (float) — Weight decay.
  • **kwargs (추가 키워드 인자, 선택 사항) — 기타 인자.

Dummy optimizer는 모델의 파라미터 또는 파라미터 그룹을 나타내며, deepspeed 설정 파일에 optimizer 설정이 지정된 경우 전통적인 학습 루프를 따르기 위해 주로 사용됩니다.

DummyScheduler

Update on GitHub