Accelerate documentation

أدوات التوازي الكامل للبيانات المجزأة

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

أدوات التوازي الكامل للبيانات المجزأة

enable_fsdp_ram_efficient_loading

accelerate.utils.enable_fsdp_ram_efficient_loading

< >

( )

يتيح تحميل نماذج Hugging Face بكفاءة في الذاكرة العشوائية (RAM) لـ FSDP في البيئة.

disable_fsdp_ram_efficient_loading

accelerate.utils.disable_fsdp_ram_efficient_loading

< >

( )

يعطّل التحميل الموفّر للذاكرة العشوائية (RAM) لنماذج Hugging Face الخاصة بـ FSDP في البيئة.

merge_fsdp_weights

accelerate.utils.merge_fsdp_weights

< >

( checkpoint_dir: stroutput_path: strsafe_serialization: bool = Trueremove_checkpoint_dir: bool = False )

المعاملات

  • checkpoint_dir (str) — المجلد الذي يحتوي على نقاط التفتيش الخاصة بـ FSDP (يمكن أن تكون للنموذج أو المُحسِّن).
  • output_path (str) — المسار لحفظ نقطة التفتيش المدمجة.
  • safe_serialization (bool، اختياري، القيمة الافتراضية True) — ما إذا كان سيتم حفظ الأوزان المدمجة باستخدام safetensors (موصى به).
  • remove_checkpoint_dir (bool، اختياري، القيمة الافتراضية False) — ما إذا كان يجب حذف مجلد نقطة التفتيش بعد الدمج.

دمج الأوزان من نقاط التفتيش لنماذج FSDP المقسمة إلى نقطة تفتيش موحدة واحدة. يجب استخدامه إذا كان SHARDED_STATE_DICT قد استُخدم للنموذج. سيتم حفظ الأوزان في {output_path}/model.safetensors إذا كان safe_serialization وإلا في pytorch_model.bin.

ملاحظة: هذه عملية تعتمد على المعالج.

FullyShardedDataParallelPlugin

فئة accelerate.FullyShardedDataParallelPlugin

< >

( fsdp_version: int = Nonesharding_strategy: str | ForwardRef('torch.distributed.fsdp.ShardingStrategy') = Nonereshard_after_forward: str | ForwardRef('torch.distributed.fsdp.ShardingStrategy') | bool = Nonebackward_prefetch: str | ForwardRef('torch.distributed.fsdp.BackwardPrefetch') | None = Nonemixed_precision_policy: dict | str | ForwardRef('torch.distributed.fsdp.MixedPrecision') | ForwardRef('torch.distributed.fsdp.MixedPrecisionPolicy') | None = Noneauto_wrap_policy: typing.Callable | typing.Literal['transformer_based_wrap', 'size_based_wrap', 'no_wrap'] | None = Nonecpu_offload: bool | ForwardRef('torch.distributed.fsdp.CPUOffload') | ForwardRef('torch.distributed.fsdp.CPUOffloadPolicy') = Noneignored_modules: collections.abc.Iterable[torch.nn.Module] | str | None = Nonestate_dict_type: str | ForwardRef('torch.distributed.fsdp.StateDictType') = Nonestate_dict_config: ForwardRef('torch.distributed.fsdp.FullStateDictConfig') | ForwardRef('torch.distributed.fsdp.ShardedStateDictConfig') | None = Noneoptim_state_dict_config: ForwardRef('torch.distributed.fsdp.FullOptimStateDictConfig') | ForwardRef('torch.distributed.fsdp.ShardedOptimStateDictConfig') | None = Nonelimit_all_gathers: bool = Trueuse_orig_params: bool | None = Noneparam_init_fn: typing.Callable[[torch.nn.Module], NoneType] | None = Nonesync_module_states: bool | None = Noneforward_prefetch: bool = Noneactivation_checkpointing: bool = Noneactivation_checkpointing_offload: bool = Nonecpu_ram_efficient_loading: bool = Nonetransformer_cls_names_to_wrap: list[str] | None = Nonemin_num_params: int | None = None )

المعاملات

  • fsdp_version (int، القيمة الافتراضية 1) — إصدار FSDP الذي سيتم استخدامه. القيمة الافتراضية هي 1. إذا تم ضبطه على 2، يتوقع المُشغِّل أن يكون الإعداد محوّلًا إلى صيغة FSDP2.
  • sharding_strategy (Union[str, torch.distributed.fsdp.ShardingStrategy]، القيمة الافتراضية 'FULL_SHARD') — استراتيجية التجزئة (Sharding) المستخدمة. يجب أن تكون إما str أو مثيلًا من torch.distributed.fsdp.fully_sharded_data_parallel.ShardingStrategy. تم إيقاف استخدامها لصالح reshard_after_forward.
  • reshard_after_forward (Union[str, torch.distributed.fsdp.ShardingStrategy, bool]، القيمة الافتراضية هي 'FULL_SHARD' عند fsdp_version=1 وTrue عند fsdp_version=2) — استراتيجية التجزئة (Sharding) المستخدمة. يجب أن تكون قيمة منطقية (bool) إذا كانت fsdp_version مضبوطة على 2، وإلا فستكون str أو مثيلًا من torch.distributed.fsdp.fully_sharded_data_parallel.ShardingStrategy.
  • backward_prefetch (Union[str, torch.distributed.fsdp.BackwardPrefetch]، القيمة الافتراضية 'NO_PREFETCH') — استراتيجية الاستباق العكسي (Backward prefetch) المستخدمة. يجب أن تكون إما str أو مثيلًا من torch.distributed.fsdp.fully_sharded_data_parallel.BackwardPrefetch.
  • mixed_precision_policy (Optional[Union[dict, str, torch.distributed.fsdp.MixedPrecision, torch.distributed.fsdp.MixedPrecisionPolicy]]، القيمة الافتراضية None) — إعدادات لتفعيل التدريب بدقة مختلطة باستخدام FullyShardedDataParallel. إذا تم تمرير dict، فيجب أن يحتوي على المفاتيح التالية: param_dtype، reduce_dtype، وbuffer_dtype، ويمكن أن يكون كائنًا من torch.distributed.fsdp.MixedPrecisionPolicy إذا تم ضبط fsdp_version على 2. إذا تم تمرير str، فيجب أن يكون أحد القيم التالية: fp8، fp16، bf16، fp32، ويُستخدم لضبط param_dtype، reduce_dtype، وbuffer_dtype.
  • auto_wrap_policy (Optional(Union[Callable, Literal["transformer_based_wrap", "size_based_wrap", "no_wrap"]]), defaults to NO_WRAP) -- A callable or string specifying a policy to recursively wrap layers with FSDP. If a string, it must be one of transformer_based_wrap, size_based_wrap, or no_wrap. See torch.distributed.fsdp.wrap.size_based_wrap_policy` for a direction on what it should look like.
  • cpu_offload (Union[bool, torch.distributed.fsdp.CPUOffload, torch.distributed.fsdp.CPUOffloadPolicy]، القيمة الافتراضية False) — ما إذا كان سيتم نقل المعاملات إلى وحدة المعالجة المركزية (CPU). يجب أن تكون إما قيمة bool أو مثيلًا من torch.distributed.fsdp.fully_sharded_data_parallel.CPUOffload أو torch.distributed.fsdp.fully_sharded_data_parallel.CPUOffloadPolicy إذا تم تعيين fsdp_version إلى 2.
  • ignored_modules (Optional[Union[Iterable[torch.nn.Module], str]]، القيمة الافتراضية None) — قائمة بالوحدات التي يجب تجاهلها عند التغليف باستخدام FSDP. عند تمرير نص، سيتم مطابقة الوحدات بالاسم باستخدام regex fullmatch. إذا كانت fsdp_version مضبوطة على 2، يتم تحويل الوحدات إلى معاملات واستخدامها.
  • state_dict_type (Union[str, torch.distributed.fsdp.StateDictType]، القيمة الافتراضية 'FULL_STATE_DICT') — نوع state dict المستخدم. إذا كان نصًا، فيجب أن يكون أحد full_state_dict أو local_state_dict أو sharded_state_dict.
  • state_dict_config (Optional[Union[torch.distributed.fsdp.FullStateDictConfig, torch.distributed.fsdp.ShardedStateDictConfig]، القيمة الافتراضية None) — إعدادات state dict المستخدمة. يتم تحديدها بناءً على state_dict_type إذا لم يتم تمريرها.
  • optim_state_dict_config (Optional[Union[torch.distributed.fsdp.FullOptimStateDictConfig, torch.distributed.fsdp.ShardedOptimStateDictConfig]، القيمة الافتراضية None) — إعدادات optim state dict المستخدمة. يتم تحديدها بناءً على state_dict_type إذا لم يتم تمريرها.
  • limit_all_gathers (bool، القيمة الافتراضية True) — ما إذا كان FSDP سيُزامن خيط المعالج المركزي (CPU) بشكل صريح لمنع وجود عدد كبير من عمليات all-gather قيد التنفيذ. يؤثر هذا bool فقط على استراتيجيات التجزئة التي تُجدول عمليات all-gather. قد يساعد تفعيل هذا الخيار في تقليل عدد محاولات إعادة تخصيص الذاكرة (malloc) في CUDA.
  • use_orig_params (bool، القيمة الافتراضية False) — ما إذا كان سيتم استخدام المعاملات الأصلية لمُحسِّن التدريب.
  • param_init_fn (Optional[Callable[[torch.nn.Module], None]، القيمة الافتراضية None) — دالة Callable[torch.nn.Module] -> None تحدد كيفية تهيئة الوحدات الموجودة حاليًا على جهاز meta على جهاز فعلي. تنطبق فقط عندما تكون sync_module_states قيمتها True. افتراضيًا، تكون دالة lambda تستدعي to_empty على الوحدة.
  • sync_module_states (bool، القيمة الافتراضية False) — ما إذا كان يجب على كل وحدة FSDP مُغلَفة بشكل فردي بث معاملات الوحدة من الرتبة 0 للتأكد من أنها متطابقة عبر جميع الرتب بعد التهيئة. تكون القيمة الافتراضية False ما لم تكن cpu_ram_efficient_loading هي True، وفي هذه الحالة سيتم تفعيلها إجبارياً.
  • forward_prefetch (bool، القيمة الافتراضية False) — ما إذا كان يجب على FSDP أن يجلب مسبقًا بشكل صريح عملية all-gather التالية أثناء التنفيذ في مسار الأمامي. استخدمه فقط مع الرسوم البيانية الثابتة.
  • activation_checkpointing (bool) — القيمة الافتراضية False — تقنية لتقليل استهلاك الذاكرة من خلال مسح التفعيلات (activations) لطبقات معينة وإعادة حسابها أثناء عملية الرجوع (backward pass). وبشكل فعّال، فإن هذا يحوّل وقت الحساب الإضافي إلى تقليل في استهلاك الذاكرة.
  • cpu_ram_efficient_loading (bool، القيمة الافتراضية None) — إذا كانت القيمة True، فإن العملية الأولى فقط هي التي تُحمّل نقطة التفتيش للنموذج المُدرَّب مسبقًا، بينما تكون الأوزان فارغة في جميع العمليات الأخرى. ينطبق هذا على Transformers فقط. عند استخدام هذا الخيار، يجب أن تكون قيمة sync_module_states هي True.
  • transformer_cls_names_to_wrap (Optional[List[str]]، القيمة الافتراضية None) — قائمة بأسماء فئات طبقات التحويل (transformer) التي يجب تغليفها. لا تنطبق إلا عندما تكون auto_wrap_policy هي transformer_based_wrap.
  • min_num_params (Optional[int]، القيمة الافتراضية None) — الحد الأدنى لعدد المعاملات التي يجب أن يحتويها الوحدة (module) حتى يتم تغليفها. ينطبق فقط عندما تكون auto_wrap_policy هي size_based_wrap.

يُستخدم هذا الإضافة (plugin) لتفعيل توازٍ البيانات المُجزّأة بالكامل (fully sharded data parallelism).

set_auto_wrap_policy

< >

( model )

بناءً على model، ينشئ auto_wrap_policy استناداً إلى السياسة المُمرَّرة، مع تحديد ما إذا كان بإمكاننا استخدام transformer_cls_to_wrap

set_mixed_precision

< >

( mixed_precisionbuffer_autocast = Falseoverride = False )

يحدد سياسة الدقة المختلطة لـ FSDP

set_state_dict_type

< >

( state_dict_type = None )

اضبط إعدادات StateDictType بناءً على StateDictType.

validate_mixed_precision_policy

< >

( )

يتحقق من سياسة الدقة المختلطة، مع تجريد التفاصيل لتجنب استيراد المكتبات إذا لم تكن مطلوبة.

fsdp2_load_full_state_dict

accelerate.utils.fsdp2_load_full_state_dict

< >

( acceleratormodel: Modulefull_sd: dictcpu_offload: bool = False )

المعاملات

  • accelerator (Accelerator) — مثال المُسرِّع
  • model (torch.nn.Module) — النموذج الذي سيتم تحميل حالة القاموس (state dict) فيه، ويُتوقع أن يكون على جهاز meta أو قد يحدث ارتفاع مفاجئ في ذاكرة VRAM
  • full_sd (dict) — قاموس الحالة الكامل الذي سيتم تحميله، ولا يمكن أن يكون موجودًا إلا على الرتبة 0
  • cpu_offload (bool، القيمة الافتراضية False) — إذا كانت القيمة True، يتم نقل المعاملات المجزأة إلى وحدة المعالجة المركزية (CPU) بعد التوزيع. هذا مطلوب عند تمكين تفريغ FSDP إلى وحدة المعالجة المركزية. تبقى المخازن (Buffers) والمعاملات المستثناة على جهاز التسريع.

يحمّل هذا الدالة كامل حالة القاموس (قد يكون ذلك على الرتبة 0 فقط) إلى النموذج المقسّم. يتم ذلك عن طريق بث المعاملات من الرتبة 0 إلى جميع الرتب الأخرى. تعدّل هذه الدالة النموذج في مكانه.

fsdp2_switch_optimizer_parameters

accelerate.utils.fsdp2_switch_optimizer_parameters

< >

( optimizer: Optimizermapping: dict )

المعاملات

  • optimizer (torch.optim.Optimizer) — مثال على المُحسِّن يحتوي على معاملات النموذج الأصلية
  • mapping (dict) — تعيين من مؤشر بيانات المعامل الأصلي (أو الهوية لمعاملات meta) إلى المعامل المجزأ.

يرفع

KeyError

  • KeyError — إذا تعذّر تبديل معامل في المُحسِّن إلى نسخته المجزّأة. يجب ألّا يحدث هذا أبدًا، وإنّ حدوثه يدلّ على وجود خطأ برمجي. لو احتفظنا بالمعاملات الأصلية بدلًا من رفع الخطأ، لما كانت النتائج العددية للتدريب صحيحة، ولما تمّ تحديث الأوزان.

يُبدّل معامِلات المُحسِّن إلى معامِلات جديدة (معامِلات مُجزّأة في الحالة المعتادة). تُعدِّل هذه الدالة المُحسِّن في مكانه.

fsdp2_prepare_model

accelerate.utils.fsdp2_prepare_model

< >

( acceleratormodel: Module ) → torch.nn.Module

المعاملات

  • accelerator (Accelerator) — مثال المُسرِّع
  • model (torch.nn.Module) — النموذج الذي يجب تجهيزه

يعيد

torch.nn.Module

النموذج المُعد

يُعدّ النموذج لتطبيق FSDP2 في مكانه. كما يعيد النموذج لتجنب سوء استخدام النموذج الأصلي.

fsdp2_prepare_auto_wrap_policy

Update on GitHub