Accelerate documentation

FSDP 与 DeepSpeed

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

FSDP 与 DeepSpeed

Accelerate 提供了训练框架的灵活性,通过集成两个功能强大的分布式训练工具,即 Pytorch FSDP 和 Microsoft DeepSpeed。本教程旨在阐明这两个框架之间的相似之处,并概述它们之间可能存在的差异,从而帮助用户在这两个框架之间无缝切换。

要在框架之间切换,我们建议通过 accelerate launch 启动代码,并使用 --config_file 传入正确的配置文件,或者直接为 FSDP 和 DeepSpeed 传入相应的参数。

在此处可以找到 DeepSpeed 和 FSDP 的 Accelerate 配置示例,也可以在 “Launch Configurations”下的示例库 中找到。

本教程仅适用于单节点、多 GPU 场景。

配置功能

模型张量会被拆分到不同的 GPU 上,以尝试扩展模型规模;这在 FSDP 中被称为 sharding,在 DeepSpeed 中被称为 partitioning。FSDP 的 sharding 和 DeepSpeed ZeRO(partitioning)阶段分别由 --fsdp_sharding_strategy 和 --zero_stage 进行配置。具体来说,FSDP 的 FULL_SHARD 对应于 DeepSpeed ZeRO 阶段 3;请参阅此FSDP sharding 与 DeepSpeed ZeRO 设置之间的全面映射。下表对类似的设置进行了总结和分组:

组框架配置示例限制(如有)
分片 / 分区FSDP
DeepSpeed
--fsdp_sharding_strategy
--zero_stage
1 (FULL_SHARD)
3
offloadFSDP
DeepSpeed
--fsdp_offload_params
--offload_param_device
--offload_optimizer_device
true
cpu
cpu
全有或全无

模型加载FSDP
DeepSpeed
--fsdp_cpu_ram_efficient_loading
--zero3_init_flag
true
true

仅 ZeRO 3
高效检查点FSDP
DeepSpeed
--fsdp_state_dict_type
--zero3_save_16bit_model
SHARDED_STATE_DICT
true

仅 ZeRO 3
权重预取FSDP

DeepSpeed
--fsdp_forward_prefetch
--fsdp_backward_prefetch
无
true
BACKWARD_PRE


modelFSDP

DeepSpeed
--fsdp_auto_wrap_policy
--fsdp_transformer_layer_cls_to_wrap
无
TRANSFORMER_BASED_WRAP
<层类>

通常不需要
对用户透明。
parameters 召唤FSDP
DeepSpeed
--fsdp_use_orig_params
无
truetorch.compile 所必需
对用户透明
参数同步FSDP
DeepSpeed
--fsdp_sync_module_states
无
true
trainingFSDP
DeepSpeed
None
--gradient_accumulation_steps
--gradient_clipping

auto
auto
对用户透明

有关上述内容的详细说明,请参阅 Accelerate 启动文档。

若要访问其他 DeepSpeed 配置(例如混合精度设置),您需要传入 --deepspeed_config_file,请参阅文档。

DeepSpeed 也可以通过 DeepSpeedPlugin 进行配置,例如,DeepSpeedPlugin.zero_stage 等同于 --zero_stage,并且可以使用 DeepSpeedPlugin.hf_ds_config 来传递 --deepeed_config_file.

FSDP 也可以通过 FullyShardedDataParallelPlugin 进行配置,例如,FullyShardedDataParallelPlugin.sharding_strategy 等同于 --fsdp_sharding_strategy。

检查点

请注意,虽然 FSDP 可以通过 --fsdp_state_dict_type 配置为保存完整 / 分片检查点。

对于 DeepSpeed Zero3,可以传入 --zero3_save_16bit_model true,该参数会方便地将模型整合到单个 rank 并保存;这相当于 FSDP 中的 fsdp_state_dict_type: FULL_STATE_DICT。

对于大型模型,将模型整合到单个 rank 上可能会非常缓慢。

为了更快地保存检查点,对于 FSDP 请使用 fsdp_state_dict_type: SHARDED_STATE_DICT,对于 DeepSpeed Zero3 请 使用 zero_to_fp32.py 脚本对分片检查点进行后处理转换。

Offloading

FSDP 仅支持全有或全无的卸载(即要么将参数、梯度和优化器全部卸载,要么全部保留在 GPU 上),而 DeepSpeed 可以分别对参数和优化器进行不同的卸载。此外,DeepSpeed 还支持卸载到 NVME。

预取

FSDP 提供了两种预取配置 --fsdp_forward_prefetch 和 --fsdp_backward_prefetch,以额外的内存开销为代价,提升通信与计算的并行度,详见 FSDP 文档。 对于 DeepSpeed,预取会在需要时自动开启,其开启与否取决于某些超参数,例如 stage3_param_persistence_threshold、stage3_max_reuse_distance 等,这些参数可在 Zero3 中进行配置;如果您未在 deepspeed 配置文件中显式设置这些超参数,accelerate 可能会自动为您设置。

对于 FSDP,如果内存允许,请设置 fsdp_backward_prefetch: BACKWARD_PRE 以提高吞吐量。

模型加载

虽然 FSDP 需要显式指定 --fsdp_cpu_ram_efficient_loading true 才能启用高效的模型加载,但 transformers 在使用 DeepSpeed Zero3 时会自动启用类似的功能。

对于 FSDP,只要设置了 --fsdp_cpu_ram_efficient_loading true,accelerate 就会自动将 sync_module_states 设置为 true。 在内存高效加载模式下,权重仅会在单个 rank 上加载,因此需要 sync_module_states 将权重广播到其他 rank。

模型

FSDP 需要一个显式的 --fsdp_auto_wrap_policy,以便算法决定如何调度 all-gather 和 reduce-scatter 操作。但对于 DeepSpeed 而言,这一过程对用户是透明的。

对于 FSDP,只需设置 fsdp_auto_wrap_policy: TRANSFORMER_BASED_WRAP。在最新的 transformers 版本中,我们会尽力为 HF transformers 模型确定合适的 fsdp_transformer_layer_cls_to_wrap。但如果您遇到与此相关的错误,请手动指定该参数。

参数召唤

如果使用 torch.compile,FSDP 需要显式指定 --fsdp_use_orig_params 标志,请参阅 PyTorch 文档。对于 DeepSpeed,此过程对用户是透明的。

对于 FSDP,在使用 torch.compile 时,请设置 fsdp_use_orig_params: True。

训练

DeepSpeed 需要显式指定 --gradient_accumulation_steps 和 --gradient_clipping 标志。对于 FSDP,这些设置对用户是透明的。

使用 DeepSpeed 时,将 gradient_accumulation_steps: "auto" 和 gradient_clipping: "auto" 设置为自动获取在 Accelerator 或 TrainingArguments(如果使用 transformers)中设置的值。

关于数据精度处理差异

要讨论 FSDP 和 DeepSpeed 如何处理数据精度,首先有必要概述这些框架中模型参数的处理方式。在将模型 / 优化器参数分发到各 GPU 之前,需要进行参数准备,先将它们“展平”为一维的 torch.Tensor。FSDP / DeepSpeed 的实现区别在于存储这些“展平”参数所使用的 dtype,并且这会影响 torch.Optimizer 如何分配其 dtype。下表概述了这两个框架的处理流程;“Local”列表示在单个 GPU 级别上发生的过程,因此由上转换(upcasting)带来的任何内存开销都应理解为已按所用 GPU 数量进行了分摊。

作为一般经验法则,在使用自动混合精度进行稳定训练时,所有可训练参数都必须为 torch.float32。

流程本地框架详细信息
加载,即 AutoModel.from_pretrained(..., torch_dtype=torch_dtype)
准备工作,即创建“扁平参数”✅FSDP
DeepSpeed
在 torch_dtype 中创建。
忽略 torch_dtype,在 float32 中创建。
优化器初始化✅FSDP
DeepSpeed
在 torch_dtype 中创建参数
在 float32 中创建参数
训练步骤,即前向、反向、归约FSDP
DeepSpeed
遵循 MixedPrecision
遵循 deepspeed_config_file 中的混合精度设置。
优化器(步骤前)✅FSDP
DeepSpeed
上转换(如有)至 torch_dtype
上转换为 float32
优化器(实际步骤)✅FSDP
DeepSpeed
发生在 torch_dtype
发生在 float32 中。

因此,在使用 DeepSpeed 时,如果 GPU 数量较少,请注意在准备阶段由于类型提升(upcasting)可能导致显著的内存开销。

在使用 FSDP 时,若未启用混合精度,可以以低精度 torch_dtype 运行 torch.Optimizer,这在 GPU 数量较少时可能有所帮助。

在使用混合精度时,FSDP 和 DeepSpeed 会在模型准备步骤中进行上转换(参见上表)。但请注意,FSDP 随后会以转换后的高精度保存检查点;如果指定了 --zero3_save_16bit_model,DeepSpeed 仍可能保存低精度检查点。

为澄清上表,请参考以下具体示例;为简洁起见,优化器的预步骤和实际步骤已合并。使用 FSDP 时,可以运行以下两种模式,但 DeepSpeed 仅支持其中一种。

框架模型加载(torch_dtype)混合精度准备(本地)训练优化器(本地)
FSDPbf16默认(无)bf16bf16bf16
FSDPbf16bf16fp32bf16fp32
DeepSpeedbf16bf16fp32bf16fp32
Update on GitHub