Accelerate documentation
DeepSpeed 유틸리티
DeepSpeed 유틸리티
DeepSpeedPlugin
get_active_deepspeed_plugin
accelerate.utils.get_active_deepspeed_plugin
< source >( state )
Raises
ValueError
ValueError— DeepSpeed가 활성화되지 않은 상태에서 이 함수가 호출되면 발생합니다.
현재 활성화된 DeepSpeedPlugin을 반환합니다.
class accelerate.DeepSpeedPlugin
< source >( hf_ds_config: Any = Nonegradient_accumulation_steps: int = Nonegradient_clipping: float = Nonezero_stage: int = Noneis_train_batch_min: bool = Trueoffload_optimizer_device: str = Noneoffload_param_device: str = Noneoffload_optimizer_nvme_path: str = Noneoffload_param_nvme_path: str = Nonezero3_init_flag: bool = Nonezero3_save_16bit_model: bool = Nonetransformer_moe_cls_names: str = None )
매개변수
- hf_ds_config (
Any, 기본값None) — DeepSpeed 설정 파일의 경로 또는 dict 또는accelerate.utils.deepspeed.HfDeepSpeedConfig클래스의 객체. - gradient_accumulation_steps (
int, 기본값None) — 옵티마이저 상태를 업데이트하기 전에 그래디언트를 누적할 단계 수입니다. 설정하지 않으면Accelerator의 값을 그대로 사용합니다. - gradient_clipping (
float, 기본값None) — 지정한 값으로 기울기 클리핑을 활성화합니다. - zero_stage (
int, 기본값None) — 가능한 값은 0, 1, 2, 3입니다. 기본값은 환경 변수에서 가져옵니다. - is_train_batch_min (
bool, 기본값True) — train 및 eval dataloader가 모두 지정된 경우,train_batch_size를 결정합니다. - offload_optimizer_device (
str, 기본값None) — 가능한 옵션은 none|cpu|nvme입니다. ZeRO Stages 2와 3에서만 적용됩니다. - offload_param_device (
str, 기본값None) — 가능한 옵션은 none|cpu|nvme입니다. ZeRO Stage 3에서만 적용됩니다. - offload_optimizer_nvme_path (
str, 기본값None) — 가능한 옵션은 /nvme|/local_nvme입니다. ZeRO Stage 3에서만 적용됩니다. - offload_param_nvme_path (
str, 기본값None) — 가능한 옵션은 /nvme|/local_nvme입니다. ZeRO Stage 3에서만 적용됩니다. - zero3_init_flag (
bool, 기본값None) — 16비트 모델을 저장할지 여부를 나타내는 플래그입니다. ZeRO Stage-3에서만 적용됩니다. - zero3_save_16bit_model (
bool, 기본값None) — 16-bit 모델을 저장할지 여부를 나타내는 플래그입니다. ZeRO Stage-3에서만 적용됩니다. - transformer_moe_cls_names (
str, 기본값None) — 대소문자를 구분하는 Transformers MoE 레이어 클래스 이름의 쉼표로 구분된 목록입니다. 예를 들어,MixtralSparseMoeBlock,Qwen2MoeSparseMoeBlock,JetMoEAttention,JetMoEBlock등입니다.
이 플러그인은 DeepSpeed를 통합하는 데 사용됩니다.
deepspeed_config_process
< source >( prefix = ''mismatches = Noneconfig = Nonemust_match = True**kwargs )
kwargs의 값으로 DeepSpeed 구성을 처리합니다.
현재 deepspeed 플러그인 구성을 사용하도록 HfDeepSpeedWeakref를 설정합니다
클래스 accelerate.utils.DummyScheduler
< source >( optimizertotal_num_steps = Nonewarmup_num_steps = 0lr_scheduler_callable = None**kwargs )
Dummy scheduler는 모델 파라미터 또는 파라미터 그룹을 제공하며, deepspeed 설정 파일에 스케줄러 구성이 지정된 경우 전통적인 학습 루프를 따르는 데 주로 사용됩니다.
DeepSpeedEnginerWrapper
class accelerate.utils.DeepSpeedEngineWrapper
< source >( engine )
deepspeed.runtime.engine.DeepSpeedEngine의 내부 래퍼입니다. 이는 일반적인 학습 루프를 따르도록 사용됩니다.
DeepSpeed 엔진에서 전역 그라디언트 노름을 가져옵니다.
DeepSpeedOptimizerWrapper
클래스 accelerate.utils.DeepSpeedOptimizerWrapper
< source >( optimizer )
deepspeed 옵티마이저를 감싸는 내부 래퍼입니다.
DeepSpeedSchedulerWrapper
class accelerate.utils.DeepSpeedSchedulerWrapper
< source >( scheduleroptimizers )
deepspeed 스케줄러를 감싸는 내부 래퍼입니다.
DummyOptim
클래스 accelerate.utils.DummyOptim
< source >( paramslr = 0.001weight_decay = 0**kwargs )
Dummy optimizer는 모델의 파라미터 또는 파라미터 그룹을 나타내며, deepspeed 설정 파일에 optimizer 설정이 지정된 경우 전통적인 학습 루프를 따르기 위해 주로 사용됩니다.