Accelerate documentation
أدوات التوازي الكامل للبيانات المجزأة
أدوات التوازي الكامل للبيانات المجزأة
enable_fsdp_ram_efficient_loading
يتيح تحميل نماذج Hugging Face بكفاءة في الذاكرة العشوائية (RAM) لـ FSDP في البيئة.
disable_fsdp_ram_efficient_loading
يعطّل التحميل الموفّر للذاكرة العشوائية (RAM) لنماذج Hugging Face الخاصة بـ FSDP في البيئة.
merge_fsdp_weights
accelerate.utils.merge_fsdp_weights
< source >( checkpoint_dir: stroutput_path: strsafe_serialization: bool = Trueremove_checkpoint_dir: bool = False )
المعاملات
- checkpoint_dir (
str) — المجلد الذي يحتوي على نقاط التفتيش الخاصة بـ FSDP (يمكن أن تكون للنموذج أو المُحسِّن). - output_path (
str) — المسار لحفظ نقطة التفتيش المدمجة. - safe_serialization (
bool، اختياري، القيمة الافتراضيةTrue) — ما إذا كان سيتم حفظ الأوزان المدمجة باستخدام safetensors (موصى به). - remove_checkpoint_dir (
bool، اختياري، القيمة الافتراضيةFalse) — ما إذا كان يجب حذف مجلد نقطة التفتيش بعد الدمج.
دمج الأوزان من نقاط التفتيش لنماذج FSDP المقسمة إلى نقطة تفتيش موحدة واحدة. يجب استخدامه إذا كان SHARDED_STATE_DICT قد استُخدم للنموذج. سيتم حفظ الأوزان في {output_path}/model.safetensors إذا كان safe_serialization وإلا في pytorch_model.bin.
ملاحظة: هذه عملية تعتمد على المعالج.
FullyShardedDataParallelPlugin
فئة accelerate.FullyShardedDataParallelPlugin
< source >( fsdp_version: int = Nonesharding_strategy: str | ForwardRef('torch.distributed.fsdp.ShardingStrategy') = Nonereshard_after_forward: str | ForwardRef('torch.distributed.fsdp.ShardingStrategy') | bool = Nonebackward_prefetch: str | ForwardRef('torch.distributed.fsdp.BackwardPrefetch') | None = Nonemixed_precision_policy: dict | str | ForwardRef('torch.distributed.fsdp.MixedPrecision') | ForwardRef('torch.distributed.fsdp.MixedPrecisionPolicy') | None = Noneauto_wrap_policy: typing.Callable | typing.Literal['transformer_based_wrap', 'size_based_wrap', 'no_wrap'] | None = Nonecpu_offload: bool | ForwardRef('torch.distributed.fsdp.CPUOffload') | ForwardRef('torch.distributed.fsdp.CPUOffloadPolicy') = Noneignored_modules: collections.abc.Iterable[torch.nn.Module] | str | None = Nonestate_dict_type: str | ForwardRef('torch.distributed.fsdp.StateDictType') = Nonestate_dict_config: ForwardRef('torch.distributed.fsdp.FullStateDictConfig') | ForwardRef('torch.distributed.fsdp.ShardedStateDictConfig') | None = Noneoptim_state_dict_config: ForwardRef('torch.distributed.fsdp.FullOptimStateDictConfig') | ForwardRef('torch.distributed.fsdp.ShardedOptimStateDictConfig') | None = Nonelimit_all_gathers: bool = Trueuse_orig_params: bool | None = Noneparam_init_fn: typing.Callable[[torch.nn.Module], NoneType] | None = Nonesync_module_states: bool | None = Noneforward_prefetch: bool = Noneactivation_checkpointing: bool = Noneactivation_checkpointing_offload: bool = Nonecpu_ram_efficient_loading: bool = Nonetransformer_cls_names_to_wrap: list[str] | None = Nonemin_num_params: int | None = None )
المعاملات
- fsdp_version (
int، القيمة الافتراضية1) — إصدار FSDP الذي سيتم استخدامه. القيمة الافتراضية هي 1. إذا تم ضبطه على 2، يتوقع المُشغِّل أن يكون الإعداد محوّلًا إلى صيغة FSDP2. - sharding_strategy (
Union[str, torch.distributed.fsdp.ShardingStrategy]، القيمة الافتراضية'FULL_SHARD') — استراتيجية التجزئة (Sharding) المستخدمة. يجب أن تكون إماstrأو مثيلًا منtorch.distributed.fsdp.fully_sharded_data_parallel.ShardingStrategy. تم إيقاف استخدامها لصالحreshard_after_forward. - reshard_after_forward (
Union[str, torch.distributed.fsdp.ShardingStrategy, bool]، القيمة الافتراضية هي'FULL_SHARD'عندfsdp_version=1وTrueعندfsdp_version=2) — استراتيجية التجزئة (Sharding) المستخدمة. يجب أن تكون قيمة منطقية (bool) إذا كانتfsdp_versionمضبوطة على 2، وإلا فستكونstrأو مثيلًا منtorch.distributed.fsdp.fully_sharded_data_parallel.ShardingStrategy. - backward_prefetch (
Union[str, torch.distributed.fsdp.BackwardPrefetch]، القيمة الافتراضية'NO_PREFETCH') — استراتيجية الاستباق العكسي (Backward prefetch) المستخدمة. يجب أن تكون إماstrأو مثيلًا منtorch.distributed.fsdp.fully_sharded_data_parallel.BackwardPrefetch. - mixed_precision_policy (
Optional[Union[dict, str, torch.distributed.fsdp.MixedPrecision, torch.distributed.fsdp.MixedPrecisionPolicy]]، القيمة الافتراضيةNone) — إعدادات لتفعيل التدريب بدقة مختلطة باستخدام FullyShardedDataParallel. إذا تم تمريرdict، فيجب أن يحتوي على المفاتيح التالية:param_dtype،reduce_dtype، وbuffer_dtype، ويمكن أن يكون كائنًا منtorch.distributed.fsdp.MixedPrecisionPolicyإذا تم ضبطfsdp_versionعلى 2. إذا تم تمريرstr، فيجب أن يكون أحد القيم التالية: fp8، fp16، bf16، fp32، ويُستخدم لضبطparam_dtype،reduce_dtype، وbuffer_dtype. - auto_wrap_policy (
Optional(Union[Callable, Literal["transformer_based_wrap", "size_based_wrap", "no_wrap"]]), defaults toNO_WRAP) -- A callable or string specifying a policy to recursively wrap layers with FSDP. If a string, it must be one oftransformer_based_wrap,size_based_wrap, orno_wrap. Seetorch.distributed.fsdp.wrap.size_based_wrap_policy` for a direction on what it should look like. - cpu_offload (
Union[bool, torch.distributed.fsdp.CPUOffload, torch.distributed.fsdp.CPUOffloadPolicy]، القيمة الافتراضيةFalse) — ما إذا كان سيتم نقل المعاملات إلى وحدة المعالجة المركزية (CPU). يجب أن تكون إما قيمةboolأو مثيلًا منtorch.distributed.fsdp.fully_sharded_data_parallel.CPUOffloadأوtorch.distributed.fsdp.fully_sharded_data_parallel.CPUOffloadPolicyإذا تم تعيينfsdp_versionإلى 2. - ignored_modules (
Optional[Union[Iterable[torch.nn.Module], str]]، القيمة الافتراضيةNone) — قائمة بالوحدات التي يجب تجاهلها عند التغليف باستخدام FSDP. عند تمرير نص، سيتم مطابقة الوحدات بالاسم باستخدام regex fullmatch. إذا كانتfsdp_versionمضبوطة على 2، يتم تحويل الوحدات إلى معاملات واستخدامها. - state_dict_type (
Union[str, torch.distributed.fsdp.StateDictType]، القيمة الافتراضية'FULL_STATE_DICT') — نوع state dict المستخدم. إذا كان نصًا، فيجب أن يكون أحدfull_state_dictأوlocal_state_dictأوsharded_state_dict. - state_dict_config (
Optional[Union[torch.distributed.fsdp.FullStateDictConfig, torch.distributed.fsdp.ShardedStateDictConfig]، القيمة الافتراضيةNone) — إعدادات state dict المستخدمة. يتم تحديدها بناءً علىstate_dict_typeإذا لم يتم تمريرها. - optim_state_dict_config (
Optional[Union[torch.distributed.fsdp.FullOptimStateDictConfig, torch.distributed.fsdp.ShardedOptimStateDictConfig]، القيمة الافتراضيةNone) — إعدادات optim state dict المستخدمة. يتم تحديدها بناءً علىstate_dict_typeإذا لم يتم تمريرها. - limit_all_gathers (
bool، القيمة الافتراضيةTrue) — ما إذا كان FSDP سيُزامن خيط المعالج المركزي (CPU) بشكل صريح لمنع وجود عدد كبير من عمليات all-gather قيد التنفيذ. يؤثر هذاboolفقط على استراتيجيات التجزئة التي تُجدول عمليات all-gather. قد يساعد تفعيل هذا الخيار في تقليل عدد محاولات إعادة تخصيص الذاكرة (malloc) في CUDA. - use_orig_params (
bool، القيمة الافتراضيةFalse) — ما إذا كان سيتم استخدام المعاملات الأصلية لمُحسِّن التدريب. - param_init_fn (
Optional[Callable[[torch.nn.Module], None]، القيمة الافتراضيةNone) — دالةCallable[torch.nn.Module] -> Noneتحدد كيفية تهيئة الوحدات الموجودة حاليًا على جهاز meta على جهاز فعلي. تنطبق فقط عندما تكونsync_module_statesقيمتهاTrue. افتراضيًا، تكون دالةlambdaتستدعيto_emptyعلى الوحدة. - sync_module_states (
bool، القيمة الافتراضيةFalse) — ما إذا كان يجب على كل وحدة FSDP مُغلَفة بشكل فردي بث معاملات الوحدة من الرتبة 0 للتأكد من أنها متطابقة عبر جميع الرتب بعد التهيئة. تكون القيمة الافتراضيةFalseما لم تكنcpu_ram_efficient_loadingهيTrue، وفي هذه الحالة سيتم تفعيلها إجبارياً. - forward_prefetch (
bool، القيمة الافتراضيةFalse) — ما إذا كان يجب على FSDP أن يجلب مسبقًا بشكل صريح عملية all-gather التالية أثناء التنفيذ في مسار الأمامي. استخدمه فقط مع الرسوم البيانية الثابتة. - activation_checkpointing (
bool) — القيمة الافتراضيةFalse— تقنية لتقليل استهلاك الذاكرة من خلال مسح التفعيلات (activations) لطبقات معينة وإعادة حسابها أثناء عملية الرجوع (backward pass). وبشكل فعّال، فإن هذا يحوّل وقت الحساب الإضافي إلى تقليل في استهلاك الذاكرة. - cpu_ram_efficient_loading (
bool، القيمة الافتراضيةNone) — إذا كانت القيمة True، فإن العملية الأولى فقط هي التي تُحمّل نقطة التفتيش للنموذج المُدرَّب مسبقًا، بينما تكون الأوزان فارغة في جميع العمليات الأخرى. ينطبق هذا على Transformers فقط. عند استخدام هذا الخيار، يجب أن تكون قيمةsync_module_statesهيTrue. - transformer_cls_names_to_wrap (
Optional[List[str]]، القيمة الافتراضيةNone) — قائمة بأسماء فئات طبقات التحويل (transformer) التي يجب تغليفها. لا تنطبق إلا عندما تكونauto_wrap_policyهيtransformer_based_wrap. - min_num_params (
Optional[int]، القيمة الافتراضيةNone) — الحد الأدنى لعدد المعاملات التي يجب أن يحتويها الوحدة (module) حتى يتم تغليفها. ينطبق فقط عندما تكونauto_wrap_policyهيsize_based_wrap.
يُستخدم هذا الإضافة (plugin) لتفعيل توازٍ البيانات المُجزّأة بالكامل (fully sharded data parallelism).
بناءً على model، ينشئ auto_wrap_policy استناداً إلى السياسة المُمرَّرة، مع تحديد ما إذا كان بإمكاننا استخدام transformer_cls_to_wrap
يحدد سياسة الدقة المختلطة لـ FSDP
اضبط إعدادات StateDictType بناءً على StateDictType.
يتحقق من سياسة الدقة المختلطة، مع تجريد التفاصيل لتجنب استيراد المكتبات إذا لم تكن مطلوبة.
fsdp2_load_full_state_dict
accelerate.utils.fsdp2_load_full_state_dict
< source >( acceleratormodel: Modulefull_sd: dictcpu_offload: bool = False )
المعاملات
- accelerator (
Accelerator) — مثال المُسرِّع - model (
torch.nn.Module) — النموذج الذي سيتم تحميل حالة القاموس (state dict) فيه، ويُتوقع أن يكون على جهاز meta أو قد يحدث ارتفاع مفاجئ في ذاكرة VRAM - full_sd (
dict) — قاموس الحالة الكامل الذي سيتم تحميله، ولا يمكن أن يكون موجودًا إلا على الرتبة 0 - cpu_offload (
bool، القيمة الافتراضيةFalse) — إذا كانت القيمة True، يتم نقل المعاملات المجزأة إلى وحدة المعالجة المركزية (CPU) بعد التوزيع. هذا مطلوب عند تمكين تفريغ FSDP إلى وحدة المعالجة المركزية. تبقى المخازن (Buffers) والمعاملات المستثناة على جهاز التسريع.
يحمّل هذا الدالة كامل حالة القاموس (قد يكون ذلك على الرتبة 0 فقط) إلى النموذج المقسّم. يتم ذلك عن طريق بث المعاملات من الرتبة 0 إلى جميع الرتب الأخرى. تعدّل هذه الدالة النموذج في مكانه.
fsdp2_switch_optimizer_parameters
accelerate.utils.fsdp2_switch_optimizer_parameters
< source >( optimizer: Optimizermapping: dict )
المعاملات
- optimizer (
torch.optim.Optimizer) — مثال على المُحسِّن يحتوي على معاملات النموذج الأصلية - mapping (
dict) — تعيين من مؤشر بيانات المعامل الأصلي (أو الهوية لمعاملات meta) إلى المعامل المجزأ.
يرفع
KeyError
KeyError— إذا تعذّر تبديل معامل في المُحسِّن إلى نسخته المجزّأة. يجب ألّا يحدث هذا أبدًا، وإنّ حدوثه يدلّ على وجود خطأ برمجي. لو احتفظنا بالمعاملات الأصلية بدلًا من رفع الخطأ، لما كانت النتائج العددية للتدريب صحيحة، ولما تمّ تحديث الأوزان.
يُبدّل معامِلات المُحسِّن إلى معامِلات جديدة (معامِلات مُجزّأة في الحالة المعتادة). تُعدِّل هذه الدالة المُحسِّن في مكانه.
fsdp2_prepare_model
accelerate.utils.fsdp2_prepare_model
< source >( acceleratormodel: Module ) → torch.nn.Module
يُعدّ النموذج لتطبيق FSDP2 في مكانه. كما يعيد النموذج لتجنب سوء استخدام النموذج الأصلي.