Accelerate documentation
FSDP 与 DeepSpeed
FSDP 与 DeepSpeed
Accelerate 提供了训练框架的灵活性,通过集成两个功能强大的分布式训练工具,即 Pytorch FSDP 和 Microsoft DeepSpeed。本教程旨在阐明这两个框架之间的相似之处,并概述它们之间可能存在的差异,从而帮助用户在这两个框架之间无缝切换。
要在框架之间切换,我们建议通过
accelerate launch启动代码,并使用--config_file传入正确的配置文件,或者直接为 FSDP 和 DeepSpeed 传入相应的参数。在此处可以找到 DeepSpeed 和 FSDP 的 Accelerate 配置示例,也可以在 “Launch Configurations”下的示例库 中找到。
本教程仅适用于单节点、多 GPU 场景。
配置功能
模型张量会被拆分到不同的 GPU 上,以尝试扩展模型规模;这在 FSDP 中被称为 sharding,在 DeepSpeed 中被称为 partitioning。FSDP 的 sharding 和 DeepSpeed ZeRO(partitioning)阶段分别由 --fsdp_sharding_strategy 和 --zero_stage 进行配置。具体来说,FSDP 的 FULL_SHARD 对应于 DeepSpeed ZeRO 阶段 3;请参阅此FSDP sharding 与 DeepSpeed ZeRO 设置之间的全面映射。下表对类似的设置进行了总结和分组:
| 组 | 框架 | 配置 | 示例 | 限制(如有) |
|---|---|---|---|---|
| 分片 / 分区 | FSDP DeepSpeed | --fsdp_sharding_strategy--zero_stage | 1 (FULL_SHARD) 3 | |
| offload | FSDP DeepSpeed | --fsdp_offload_params--offload_param_device--offload_optimizer_device | truecpucpu | 全有或全无 |
| 模型加载 | FSDP DeepSpeed | --fsdp_cpu_ram_efficient_loading--zero3_init_flag | truetrue | 仅 ZeRO 3 |
| 高效检查点 | FSDP DeepSpeed | --fsdp_state_dict_type--zero3_save_16bit_model | SHARDED_STATE_DICTtrue | 仅 ZeRO 3 |
| 权重预取 | FSDP DeepSpeed | --fsdp_forward_prefetch--fsdp_backward_prefetch无 | trueBACKWARD_PRE | |
| model | FSDP DeepSpeed | --fsdp_auto_wrap_policy--fsdp_transformer_layer_cls_to_wrap无 | TRANSFORMER_BASED_WRAP<层类> | 通常不需要 对用户透明。 |
| parameters 召唤 | FSDP DeepSpeed | --fsdp_use_orig_params无 | true | torch.compile 所必需对用户透明 |
| 参数同步 | FSDP DeepSpeed | --fsdp_sync_module_states无 | true | |
| training | FSDP DeepSpeed | None--gradient_accumulation_steps--gradient_clipping | autoauto | 对用户透明 |
有关上述内容的详细说明,请参阅 Accelerate 启动文档。
若要访问其他 DeepSpeed 配置(例如混合精度设置),您需要传入
--deepspeed_config_file,请参阅文档。DeepSpeed 也可以通过 DeepSpeedPlugin 进行配置,例如,
DeepSpeedPlugin.zero_stage等同于--zero_stage,并且可以使用DeepSpeedPlugin.hf_ds_config来传递--deepeed_config_file.
FSDP 也可以通过 FullyShardedDataParallelPlugin 进行配置,例如,
FullyShardedDataParallelPlugin.sharding_strategy等同于--fsdp_sharding_strategy。
检查点
请注意,虽然 FSDP 可以通过 --fsdp_state_dict_type 配置为保存完整 / 分片检查点。
对于 DeepSpeed Zero3,可以传入
--zero3_save_16bit_model true,该参数会方便地将模型整合到单个 rank 并保存;这相当于 FSDP 中的fsdp_state_dict_type: FULL_STATE_DICT。
对于大型模型,将模型整合到单个 rank 上可能会非常缓慢。
为了更快地保存检查点,对于 FSDP 请使用
fsdp_state_dict_type: SHARDED_STATE_DICT,对于 DeepSpeed Zero3 请 使用zero_to_fp32.py脚本对分片检查点进行后处理转换。
Offloading
FSDP 仅支持全有或全无的卸载(即要么将参数、梯度和优化器全部卸载,要么全部保留在 GPU 上),而 DeepSpeed 可以分别对参数和优化器进行不同的卸载。此外,DeepSpeed 还支持卸载到 NVME。
预取
FSDP 提供了两种预取配置 --fsdp_forward_prefetch 和 --fsdp_backward_prefetch,以额外的内存开销为代价,提升通信与计算的并行度,详见 FSDP 文档。
对于 DeepSpeed,预取会在需要时自动开启,其开启与否取决于某些超参数,例如 stage3_param_persistence_threshold、stage3_max_reuse_distance 等,这些参数可在 Zero3 中进行配置;如果您未在 deepspeed 配置文件中显式设置这些超参数,accelerate 可能会自动为您设置。
对于 FSDP,如果内存允许,请设置
fsdp_backward_prefetch: BACKWARD_PRE以提高吞吐量。
模型加载
虽然 FSDP 需要显式指定 --fsdp_cpu_ram_efficient_loading true 才能启用高效的模型加载,但 transformers 在使用 DeepSpeed Zero3 时会自动启用类似的功能。
对于 FSDP,只要设置了
--fsdp_cpu_ram_efficient_loading true,accelerate就会自动将sync_module_states设置为 true。 在内存高效加载模式下,权重仅会在单个 rank 上加载,因此需要sync_module_states将权重广播到其他 rank。
模型
FSDP 需要一个显式的 --fsdp_auto_wrap_policy,以便算法决定如何调度 all-gather 和 reduce-scatter 操作。但对于 DeepSpeed 而言,这一过程对用户是透明的。
对于 FSDP,只需设置
fsdp_auto_wrap_policy: TRANSFORMER_BASED_WRAP。在最新的transformers版本中,我们会尽力为 HF transformers 模型确定合适的fsdp_transformer_layer_cls_to_wrap。但如果您遇到与此相关的错误,请手动指定该参数。
参数召唤
如果使用 torch.compile,FSDP 需要显式指定 --fsdp_use_orig_params 标志,请参阅 PyTorch 文档。对于 DeepSpeed,此过程对用户是透明的。
对于 FSDP,在使用
torch.compile时,请设置fsdp_use_orig_params: True。
训练
DeepSpeed 需要显式指定 --gradient_accumulation_steps 和 --gradient_clipping 标志。对于 FSDP,这些设置对用户是透明的。
使用 DeepSpeed 时,将
gradient_accumulation_steps: "auto"和gradient_clipping: "auto"设置为自动获取在 Accelerator 或TrainingArguments(如果使用transformers)中设置的值。
关于数据精度处理差异
要讨论 FSDP 和 DeepSpeed 如何处理数据精度,首先有必要概述这些框架中模型参数的处理方式。在将模型 / 优化器参数分发到各 GPU 之前,需要进行参数准备,先将它们“展平”为一维的 torch.Tensor。FSDP / DeepSpeed 的实现区别在于存储这些“展平”参数所使用的 dtype,并且这会影响 torch.Optimizer 如何分配其 dtype。下表概述了这两个框架的处理流程;“Local”列表示在单个 GPU 级别上发生的过程,因此由上转换(upcasting)带来的任何内存开销都应理解为已按所用 GPU 数量进行了分摊。
作为一般经验法则,在使用自动混合精度进行稳定训练时,所有可训练参数都必须为
torch.float32。
| 流程 | 本地 | 框架 | 详细信息 |
|---|---|---|---|
加载,即 AutoModel.from_pretrained(..., torch_dtype=torch_dtype) | |||
| 准备工作,即创建“扁平参数” | ✅ | FSDP DeepSpeed | 在 torch_dtype 中创建。忽略 torch_dtype,在 float32 中创建。 |
| 优化器初始化 | ✅ | FSDP DeepSpeed | 在 torch_dtype 中创建参数在 float32 中创建参数 |
| 训练步骤,即前向、反向、归约 | FSDP DeepSpeed | 遵循 MixedPrecision遵循 deepspeed_config_file 中的混合精度设置。 | |
| 优化器(步骤前) | ✅ | FSDP DeepSpeed | 上转换(如有)至 torch_dtype上转换为 float32 |
| 优化器(实际步骤) | ✅ | FSDP DeepSpeed | 发生在 torch_dtype 发生在 float32 中。 |
因此,在使用 DeepSpeed 时,如果 GPU 数量较少,请注意在准备阶段由于类型提升(upcasting)可能导致显著的内存开销。
在使用 FSDP 时,若未启用混合精度,可以以低精度
torch_dtype运行torch.Optimizer,这在 GPU 数量较少时可能有所帮助。
在使用混合精度时,FSDP 和 DeepSpeed 会在模型准备步骤中进行上转换(参见上表)。但请注意,FSDP 随后会以转换后的高精度保存检查点;如果指定了
--zero3_save_16bit_model,DeepSpeed 仍可能保存低精度检查点。
为澄清上表,请参考以下具体示例;为简洁起见,优化器的预步骤和实际步骤已合并。使用 FSDP 时,可以运行以下两种模式,但 DeepSpeed 仅支持其中一种。
| 框架 | 模型加载(torch_dtype) | 混合精度 | 准备(本地) | 训练 | 优化器(本地) |
|---|---|---|---|---|---|
| FSDP | bf16 | 默认(无) | bf16 | bf16 | bf16 |
| FSDP | bf16 | bf16 | fp32 | bf16 | fp32 |
| DeepSpeed | bf16 | bf16 | fp32 | bf16 | fp32 |