Accelerate documentation
FSDP مقابل DeepSpeed
FSDP مقابل DeepSpeed
توفر مكتبة Accelerate مرونة في أطر العمل التدريبية من خلال دمج أداتين قويتين للغاية للتدريب الموزّع، وهما Pytorch FSDP وMicrosoft DeepSpeed. يهدف هذا الشرح إلى تسليط الضوء على أوجه التشابه، كما يوضح الفروق المحتملة، لتمكين المستخدم من التنقل بسلاسة بين هذين الإطارين.
للتبديل بين الإطارات، ننصح بتشغيل الكود
accelerate launchمع تمرير ملف الإعداد الصحيح باستخدام--config_file، أو تمرير الحجج الخاصة بكلٍّ من FSDP وDeepSpeed مباشرةً.يمكن العثور على أمثلة لتكوينات Accelerate هنا لـ DeepSpeed و FSDP، أو في مجموعة الأمثلة تحت “Launch Configurations”
هذا الشرح مخصص فقط لسيناريوهات عقدة واحدة متعددة وحدات معالجة الرسوميات.
تهيئة الوظائف
تُقسَّم مشغّلات النموذج (Model tensors) على وحدات معالجة رسومية مختلفة في محاولة لتوسيع أحجام النماذج؛ ويُطلق على ذلك مصطلح التجزئة في FSDP، والتقسيم في DeepSpeed. يتم تكوين مراحل تجزئة FSDP ومراحل تقسيم DeepSpeed ZeRO بواسطة --fsdp_sharding_strategy و--zero_stage على التوالي. وبشكل خاص، يتطابق FULL_SHARD في FSDP مع المرحلة 3 من DeepSpeed ZeRO؛ راجع هذا الربط الشامل بين إعدادات تجزئة FSDP وإعدادات DeepSpeed ZeRO. تلخّص الجدول أدناه الإعدادات المشابهة وتجمّعها:
| مجموعة | الإطار | الإعداد | مثال | القيود (إن وجدت) |
|---|---|---|---|---|
| التجزئة / التقسيم | FSDP DeepSpeed | --fsdp_sharding_strategy--zero_stage | 1 (FULL_SHARD) 3 | |
| تفريغ | FSDP DeepSpeed | --fsdp_offload_params--offload_param_device--offload_optimizer_device | truecpucpu | الكل أو لا شيء |
| تحميل النموذج | FSDP DeepSpeed | --fsdp_cpu_ram_efficient_loading--zero3_init_flag | truetrue | ZeRO 3 فقط |
| التحقيق الفعّال | FSDP DeepSpeed | --fsdp_state_dict_type--zero3_save_16bit_model | SHARDED_STATE_DICTtrue | ZeRO 3 فقط |
| الاستباق في جلب الأوزان | FSDP DeepSpeed | --fsdp_forward_prefetch--fsdp_backward_prefetchلا شيء | trueBACKWARD_PRE | |
| نموذج | FSDP DeepSpeed | --fsdp_auto_wrap_policy--fsdp_transformer_layer_cls_to_wrapلا شيء | TRANSFORMER_BASED_WRAP<Layer Class> | عادةً لا تكون مطلوبة شفافة للمستخدم. |
| معلمات الاستدعاء | FSDP DeepSpeed | --fsdp_use_orig_paramsلا شيء | true | مطلوب لـtorch.compileشفاف للمستخدم |
| مزامنة المعلمات | FSDP DeepSpeed | --fsdp_sync_module_statesلا شيء | true | |
| التدريب | FSDP DeepSpeed | لا شيء--gradient_accumulation_steps--gradient_clipping | autoauto | شفاف للمستخدم |
للحصول على أوصاف تفصيلية لما سبق، يُرجى الرجوع إلى وثائق إطلاق Accelerate.
للوصول إلى إعدادات DeepSpeed الأخرى، مثل إعدادات الدقة المختلطة، تحتاج إلى تمرير
--deepspeed_config_file، راجع التوثيق.يمكن أيضًا تكوين DeepSpeed عبر DeepSpeedPlugin، على سبيل المثال،
DeepSpeedPlugin.zero_stageمكافئ لـ--zero_stage، ويمكن استخدامDeepSpeedPlugin.hf_ds_configلتمرير--deepeed_config_file.
يمكن أيضًا تكوين FSDP عبر FullyShardedDataParallelPlugin، على سبيل المثال،
FullyShardedDataParallelPlugin.sharding_strategyمكافئ لـ--fsdp_sharding_strategy.
التحقق من النقاط
لاحظ أن FSDP يمكن ضبطه عبر --fsdp_state_dict_type لحفظ نقاط التفتيش الكاملة أو المجزأة.
في حالة DeepSpeed Zero3، يمكن تمرير
--zero3_save_16bit_model true، مما يجمع النموذج بشكل مريح في رتبة واحدة ويحفظه؛ وهذا ما يعادلfsdp_state_dict_type: FULL_STATE_DICTفي FSDP.
بالنسبة للنماذج الكبيرة، يمكن أن يكون تجميع النموذج في رتبة واحدة بطيئًا للغاية.
لحفظ نقاط التفتيش بشكل أسرع، استخدم
fsdp_state_dict_type: SHARDED_STATE_DICTلـ FSDP، واستخدم سكربتzero_to_fp32.pyلتحويل نقاط التفتيش المجزأة بعد الحفظ لـ DeepSpeed Zero3.
إخلاء
يسمح FSDP فقط بإزاحة كل شيء أو لا شيء (أي إما إزاحة المعاملات والتدرجات والمُحسِّن، أو إبقاؤها جميعًا على وحدة معالجة الرسوميات)، بينما يمكن لـ DeepSpeed إزاحة المعاملات والمُحسِّن بطرق مختلفة. علاوة على ذلك، يدعم DeepSpeed أيضًا الإزاحة إلى NVME.
الاستباق
يتيح FSDP إعدادين مسبقين لجلب البيانات --fsdp_forward_prefetch و--fsdp_backward_prefetch لتحسين التداخل بين الاتصالات والحسابات على حساب ذاكرة إضافية، راجع توثيق FSDP.
أما بالنسبة إلى DeepSpeed، فسيتم تفعيل الجلب المسبق عند الحاجة، ويُفعَّل بناءً على معلمات فائقة معينة مثل stage3_param_persistence_threshold وstage3_max_reuse_distance وغيرها، والتي يمكن ضبطها لـ Zero3؛ وقد يضبط accelerate هذه المعلمات الفائقة تلقائيًا إذا لم تضبطها صراحةً في ملف إعدادات deepspeed.
لـ FSDP، اضبط
fsdp_backward_prefetch: BACKWARD_PREلتحسين الإنتاجية إذا سمحت الذاكرة بذلك.
تحميل النموذج
بينما يتطلب FSDP تحديد --fsdp_cpu_ram_efficient_loading true بشكل صريح لتفعيل التحميل الفعال للنموذج، فإن transformers سيقوم بتفعيل الميزة المماثلة تلقائياً كلما تم استخدام DeepSpeed Zero3.
في حالة FSDP، عند تعيين
--fsdp_cpu_ram_efficient_loading true، سيقومaccelerateتلقائيًا بتعيينsync_module_statesإلى true. لتحميل ذاكرة الوصول العشوائي بكفاءة، يتم تحميل الأوزان في رتبة واحدة فقط، وبالتالي يتطلب الأمرsync_module_statesلبث الأوزان إلى الرتب الأخرى.
النموذج
يتطلب FSDP تحديد --fsdp_auto_wrap_policy بشكل صريح حتى تتمكن الخوارزمية من تحديد كيفية جدولة عمليات all-gather وreduce-scatter. أما في حالة DeepSpeed، فإن هذه العملية تكون شفافة للمستخدم.
في حالة FSDP، ما عليك سوى تعيين
fsdp_auto_wrap_policy: TRANSFORMER_BASED_WRAP. مع أحدث إصداراتtransformers، نبذل قصارى جهدنا لتحديدfsdp_transformer_layer_cls_to_wrapالمناسب لنماذج HF transformers. ومع ذلك، إذا واجهت خطأً متعلقاً بذلك، يرجى تحديد هذا الإعداد.
معاملات استدعاء
يتطلب FSDP استخدام علم --fsdp_use_orig_params صراحةً عند استخدام torch.compile، راجع توثيق pytorch. أما في حالة DeepSpeed، فإن الأمر شفاف للمستخدم.
في حالة FSDP، عند استخدام
torch.compileيرجى تعيينfsdp_use_orig_params: True.
التدريب
يتطلب DeepSpeed تحديد أعلام --gradient_accumulation_steps و--gradient_clipping بشكل صريح. أما في حالة FSDP، فإن الأمر شفاف للمستخدم.
عند استخدام DeepSpeed، اضبط
gradient_accumulation_steps: "auto"وgradient_clipping: "auto"لاختيار القيم المُعيّنة في Accelerator أوTrainingArguments(في حال استخدامtransformers) تلقائيًا.
حول الاختلافات في معالجة دقة البيانات
لمناقشة كيفية معالجة دقة البيانات في كلٍّ من FSDP و DeepSpeed، من المفيد أولاً تقديم نظرة عامة على كيفية معالجة معاملات النموذج في هذه الإطارات. قبل توزيع معاملات النموذج / المُحسِّن على وحدات معالجة الرسوميات، تتضمن مرحلة إعداد المعاملات أولاً “تسطيح”ها إلى torch.Tensor أحادي البُعد. يختلف تنفيذ FSDP / DeepSpeed فيما يتعلق بـ dtype الذي تُخزَّن به هذه المعاملات “المسطّحة”، وهناك تداعيات فيما يتعلق بكيفية تخصيص torch.Optimizer لأنواع dtype الخاصة بها. توضح الجدول أدناه العمليات في كلا الإطارين؛ يشير عمود “المحلي” إلى العملية التي تحدث على مستوى كل وحدة معالجة رسومات، وبالتالي يجب فهم أي أعباء ذاكرة ناتجة عن الترقية (upcasting) على أنها موزعة على عدد وحدات معالجة الرسوميات المستخدمة.
كقاعدة عامة، من أجل تدريب مستقر مع الدقة المختلطة التلقائية، يجب أن تكون جميع المعاملات القابلة للتدريب في
torch.float32.
| العملية | محلي | الإطار | تفاصيل |
|---|---|---|---|
التحميل، أي AutoModel.from_pretrained(..., torch_dtype=torch_dtype) | |||
| التحضير، أي إنشاء “flat params” | ✅ | FSDP DeepSpeed | تم إنشاؤه في torch_dtype.يتجاهل torch_dtype، وتم إنشاؤه في float32. |
| تهيئة المُحسِّن | ✅ | FSDP DeepSpeed | ينشئ المعاملات في torch_dtypeينشئ المعاملات في float32 |
| خطوة التدريب، أي، الأمامي، الخلفي، الاختزال | FSDP DeepSpeed | يتبع MixedPrecisionإعدادات الدقة المختلطة في deepspeed_config_file. | |
| المُحسِّن (قبل الخطوة) | ✅ | FSDP DeepSpeed | الترقية (إن وجدت) إلى torch_dtypeتمت ترقية إلى float32 |
| المُحسِّن (الخطوة الفعلية) | ✅ | FSDP DeepSpeed | يحدث في torch_dtype يحدث في float32. |
لذلك، عند استخدام DeepSpeed مع عدد صغير من وحدات معالجة الرسوميات (GPUs)، كن على دراية بإمكانية حدوث أحمال ذاكرة كبيرة بشكل ملحوظ بسبب الترقية (upcasting) أثناء الإعداد.
مع FSDP، وفي غياب الدقة المختلطة، من الممكن تشغيل
torch.Optimizerبدقة منخفضةtorch_dtype، وقد يكون ذلك مفيدًا عند استخدام عدد قليل من وحدات معالجة الرسومات.
مع الدقة المختلطة، سيقوم FSDP و DeepSpeed بترقية الدقة في خطوة تجهيز النموذج (انظر الجدول أعلاه). لكن لاحظ أن FSDP سيحفظ نقاط التفتيش (checkpoints) بالدقة المرقّاة؛ بينما قد يحفظ DeepSpeed نقاط تفتيش بدقة منخفضة إذا تم تحديد
--zero3_save_16bit_model.
لتوضيح الجدول أعلاه، راجع الأمثلة الملموسة أدناه؛ حيث تم دمج خطوة المُحسِّن المسبقة والخطوة الفعلية معًا للاختصار. مع FSDP، من الممكن العمل في الوضعين الموضحين أدناه، لكن DeepSpeed لا يمكنه العمل إلا في وضع واحد.
| الإطار | تحميل النموذج (torch_dtype) | الدقة المختلطة | التحضير (محلي) | التدريب | المُحسِّن (محلي) |
|---|---|---|---|---|---|
| FSDP | bf16 | افتراضي (لا شيء) | bf16 | bf16 | bf16 |
| FSDP | bf16 | bf16 | fp32 | bf16 | fp32 |
| DeepSpeed | bf16 | bf16 | fp32 | bf16 | fp32 |