Accelerate documentation

FSDP مقابل DeepSpeed

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

FSDP مقابل DeepSpeed

توفر مكتبة Accelerate مرونة في أطر العمل التدريبية من خلال دمج أداتين قويتين للغاية للتدريب الموزّع، وهما Pytorch FSDP وMicrosoft DeepSpeed. يهدف هذا الشرح إلى تسليط الضوء على أوجه التشابه، كما يوضح الفروق المحتملة، لتمكين المستخدم من التنقل بسلاسة بين هذين الإطارين.

للتبديل بين الإطارات، ننصح بتشغيل الكود accelerate launch مع تمرير ملف الإعداد الصحيح باستخدام --config_file، أو تمرير الحجج الخاصة بكلٍّ من FSDP وDeepSpeed مباشرةً.

يمكن العثور على أمثلة لتكوينات Accelerate هنا لـ DeepSpeed و FSDP، أو في مجموعة الأمثلة تحت “Launch Configurations”

هذا الشرح مخصص فقط لسيناريوهات عقدة واحدة متعددة وحدات معالجة الرسوميات.

تهيئة الوظائف

تُقسَّم مشغّلات النموذج (Model tensors) على وحدات معالجة رسومية مختلفة في محاولة لتوسيع أحجام النماذج؛ ويُطلق على ذلك مصطلح التجزئة في FSDP، والتقسيم في DeepSpeed. يتم تكوين مراحل تجزئة FSDP ومراحل تقسيم DeepSpeed ZeRO بواسطة --fsdp_sharding_strategy و--zero_stage على التوالي. وبشكل خاص، يتطابق FULL_SHARD في FSDP مع المرحلة 3 من DeepSpeed ZeRO؛ راجع هذا الربط الشامل بين إعدادات تجزئة FSDP وإعدادات DeepSpeed ZeRO. تلخّص الجدول أدناه الإعدادات المشابهة وتجمّعها:

مجموعةالإطارالإعدادمثالالقيود (إن وجدت)
التجزئة / التقسيمFSDP
DeepSpeed
--fsdp_sharding_strategy
--zero_stage
1 (FULL_SHARD)
3
تفريغFSDP
DeepSpeed
--fsdp_offload_params
--offload_param_device
--offload_optimizer_device
true
cpu
cpu
الكل أو لا شيء

تحميل النموذجFSDP
DeepSpeed
--fsdp_cpu_ram_efficient_loading
--zero3_init_flag
true
true

ZeRO 3 فقط
التحقيق الفعّالFSDP
DeepSpeed
--fsdp_state_dict_type
--zero3_save_16bit_model
SHARDED_STATE_DICT
true

ZeRO 3 فقط
الاستباق في جلب الأوزانFSDP

DeepSpeed
--fsdp_forward_prefetch
--fsdp_backward_prefetch
لا شيء
true
BACKWARD_PRE


نموذجFSDP

DeepSpeed
--fsdp_auto_wrap_policy
--fsdp_transformer_layer_cls_to_wrap
لا شيء
TRANSFORMER_BASED_WRAP
<Layer Class>

عادةً لا تكون مطلوبة
شفافة للمستخدم.
معلمات الاستدعاءFSDP
DeepSpeed
--fsdp_use_orig_params
لا شيء
trueمطلوب لـtorch.compile
شفاف للمستخدم
مزامنة المعلماتFSDP
DeepSpeed
--fsdp_sync_module_states
لا شيء
true
التدريبFSDP
DeepSpeed
لا شيء
--gradient_accumulation_steps
--gradient_clipping

auto
auto
شفاف للمستخدم

للحصول على أوصاف تفصيلية لما سبق، يُرجى الرجوع إلى وثائق إطلاق Accelerate.

للوصول إلى إعدادات DeepSpeed الأخرى، مثل إعدادات الدقة المختلطة، تحتاج إلى تمرير --deepspeed_config_file، راجع التوثيق.

يمكن أيضًا تكوين DeepSpeed عبر DeepSpeedPlugin، على سبيل المثال، DeepSpeedPlugin.zero_stage مكافئ لـ --zero_stage، ويمكن استخدام DeepSpeedPlugin.hf_ds_config لتمرير --deepeed_config_file.

يمكن أيضًا تكوين FSDP عبر FullyShardedDataParallelPlugin، على سبيل المثال، FullyShardedDataParallelPlugin.sharding_strategy مكافئ لـ --fsdp_sharding_strategy.

التحقق من النقاط

لاحظ أن FSDP يمكن ضبطه عبر --fsdp_state_dict_type لحفظ نقاط التفتيش الكاملة أو المجزأة.

في حالة DeepSpeed Zero3، يمكن تمرير --zero3_save_16bit_model true، مما يجمع النموذج بشكل مريح في رتبة واحدة ويحفظه؛ وهذا ما يعادل fsdp_state_dict_type: FULL_STATE_DICT في FSDP.

بالنسبة للنماذج الكبيرة، يمكن أن يكون تجميع النموذج في رتبة واحدة بطيئًا للغاية.

لحفظ نقاط التفتيش بشكل أسرع، استخدم fsdp_state_dict_type: SHARDED_STATE_DICT لـ FSDP، واستخدم سكربت zero_to_fp32.py لتحويل نقاط التفتيش المجزأة بعد الحفظ لـ DeepSpeed Zero3.

إخلاء

يسمح FSDP فقط بإزاحة كل شيء أو لا شيء (أي إما إزاحة المعاملات والتدرجات والمُحسِّن، أو إبقاؤها جميعًا على وحدة معالجة الرسوميات)، بينما يمكن لـ DeepSpeed إزاحة المعاملات والمُحسِّن بطرق مختلفة. علاوة على ذلك، يدعم DeepSpeed أيضًا الإزاحة إلى NVME.

الاستباق

يتيح FSDP إعدادين مسبقين لجلب البيانات --fsdp_forward_prefetch و--fsdp_backward_prefetch لتحسين التداخل بين الاتصالات والحسابات على حساب ذاكرة إضافية، راجع توثيق FSDP. أما بالنسبة إلى DeepSpeed، فسيتم تفعيل الجلب المسبق عند الحاجة، ويُفعَّل بناءً على معلمات فائقة معينة مثل stage3_param_persistence_threshold وstage3_max_reuse_distance وغيرها، والتي يمكن ضبطها لـ Zero3؛ وقد يضبط accelerate هذه المعلمات الفائقة تلقائيًا إذا لم تضبطها صراحةً في ملف إعدادات deepspeed.

لـ FSDP، اضبط fsdp_backward_prefetch: BACKWARD_PRE لتحسين الإنتاجية إذا سمحت الذاكرة بذلك.

تحميل النموذج

بينما يتطلب FSDP تحديد --fsdp_cpu_ram_efficient_loading true بشكل صريح لتفعيل التحميل الفعال للنموذج، فإن transformers سيقوم بتفعيل الميزة المماثلة تلقائياً كلما تم استخدام DeepSpeed Zero3.

في حالة FSDP، عند تعيين --fsdp_cpu_ram_efficient_loading true، سيقوم accelerate تلقائيًا بتعيين sync_module_states إلى true. لتحميل ذاكرة الوصول العشوائي بكفاءة، يتم تحميل الأوزان في رتبة واحدة فقط، وبالتالي يتطلب الأمر sync_module_states لبث الأوزان إلى الرتب الأخرى.

النموذج

يتطلب FSDP تحديد --fsdp_auto_wrap_policy بشكل صريح حتى تتمكن الخوارزمية من تحديد كيفية جدولة عمليات all-gather وreduce-scatter. أما في حالة DeepSpeed، فإن هذه العملية تكون شفافة للمستخدم.

في حالة FSDP، ما عليك سوى تعيين fsdp_auto_wrap_policy: TRANSFORMER_BASED_WRAP. مع أحدث إصدارات transformers، نبذل قصارى جهدنا لتحديد fsdp_transformer_layer_cls_to_wrap المناسب لنماذج HF transformers. ومع ذلك، إذا واجهت خطأً متعلقاً بذلك، يرجى تحديد هذا الإعداد.

معاملات استدعاء

يتطلب FSDP استخدام علم --fsdp_use_orig_params صراحةً عند استخدام torch.compile، راجع توثيق pytorch. أما في حالة DeepSpeed، فإن الأمر شفاف للمستخدم.

في حالة FSDP، عند استخدام torch.compile يرجى تعيين fsdp_use_orig_params: True.

التدريب

يتطلب DeepSpeed تحديد أعلام --gradient_accumulation_steps و--gradient_clipping بشكل صريح. أما في حالة FSDP، فإن الأمر شفاف للمستخدم.

عند استخدام DeepSpeed، اضبط gradient_accumulation_steps: "auto" وgradient_clipping: "auto" لاختيار القيم المُعيّنة في Accelerator أو TrainingArguments (في حال استخدام transformers) تلقائيًا.

حول الاختلافات في معالجة دقة البيانات

لمناقشة كيفية معالجة دقة البيانات في كلٍّ من FSDP و DeepSpeed، من المفيد أولاً تقديم نظرة عامة على كيفية معالجة معاملات النموذج في هذه الإطارات. قبل توزيع معاملات النموذج / المُحسِّن على وحدات معالجة الرسوميات، تتضمن مرحلة إعداد المعاملات أولاً “تسطيح”ها إلى torch.Tensor أحادي البُعد. يختلف تنفيذ FSDP / DeepSpeed فيما يتعلق بـ dtype الذي تُخزَّن به هذه المعاملات “المسطّحة”، وهناك تداعيات فيما يتعلق بكيفية تخصيص torch.Optimizer لأنواع dtype الخاصة بها. توضح الجدول أدناه العمليات في كلا الإطارين؛ يشير عمود “المحلي” إلى العملية التي تحدث على مستوى كل وحدة معالجة رسومات، وبالتالي يجب فهم أي أعباء ذاكرة ناتجة عن الترقية (upcasting) على أنها موزعة على عدد وحدات معالجة الرسوميات المستخدمة.

كقاعدة عامة، من أجل تدريب مستقر مع الدقة المختلطة التلقائية، يجب أن تكون جميع المعاملات القابلة للتدريب في torch.float32.

العمليةمحليالإطارتفاصيل
التحميل، أي AutoModel.from_pretrained(..., torch_dtype=torch_dtype)
التحضير، أي إنشاء “flat params”✅FSDP
DeepSpeed
تم إنشاؤه في torch_dtype.
يتجاهل torch_dtype، وتم إنشاؤه في float32.
تهيئة المُحسِّن✅FSDP
DeepSpeed
ينشئ المعاملات في torch_dtype
ينشئ المعاملات في float32
خطوة التدريب، أي، الأمامي، الخلفي، الاختزالFSDP
DeepSpeed
يتبع MixedPrecision
إعدادات الدقة المختلطة في deepspeed_config_file.
المُحسِّن (قبل الخطوة)✅FSDP
DeepSpeed
الترقية (إن وجدت) إلى torch_dtype
تمت ترقية إلى float32
المُحسِّن (الخطوة الفعلية)✅FSDP
DeepSpeed
يحدث في torch_dtype
يحدث في float32.

لذلك، عند استخدام DeepSpeed مع عدد صغير من وحدات معالجة الرسوميات (GPUs)، كن على دراية بإمكانية حدوث أحمال ذاكرة كبيرة بشكل ملحوظ بسبب الترقية (upcasting) أثناء الإعداد.

مع FSDP، وفي غياب الدقة المختلطة، من الممكن تشغيل torch.Optimizer بدقة منخفضة torch_dtype، وقد يكون ذلك مفيدًا عند استخدام عدد قليل من وحدات معالجة الرسومات.

مع الدقة المختلطة، سيقوم FSDP و DeepSpeed بترقية الدقة في خطوة تجهيز النموذج (انظر الجدول أعلاه). لكن لاحظ أن FSDP سيحفظ نقاط التفتيش (checkpoints) بالدقة المرقّاة؛ بينما قد يحفظ DeepSpeed نقاط تفتيش بدقة منخفضة إذا تم تحديد --zero3_save_16bit_model.

لتوضيح الجدول أعلاه، راجع الأمثلة الملموسة أدناه؛ حيث تم دمج خطوة المُحسِّن المسبقة والخطوة الفعلية معًا للاختصار. مع FSDP، من الممكن العمل في الوضعين الموضحين أدناه، لكن DeepSpeed لا يمكنه العمل إلا في وضع واحد.

الإطارتحميل النموذج (torch_dtype)الدقة المختلطةالتحضير (محلي)التدريبالمُحسِّن (محلي)
FSDPbf16افتراضي (لا شيء)bf16bf16bf16
FSDPbf16bf16fp32bf16fp32
DeepSpeedbf16bf16fp32bf16fp32
Update on GitHub