Accelerate documentation

DataLoaders, оптимизаторы и планировщики

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

DataLoaders, оптимизаторы и планировщики

Внутренние классы, которые Accelerate использует для подготовки объектов к распределённому обучению при вызове prepare().

Утилиты DataLoader

accelerate.data_loader.prepare_data_loader

< >

( dataloader: DataLoaderdevice: torch.device | None = Nonenum_processes: int | None = Noneprocess_index: int | None = Nonesplit_batches: bool = Falseput_on_device: bool = Falserng_types: list[str | accelerate.utils.dataclasses.RNGType] | None = Nonedispatch_batches: bool | None = Noneeven_batches: bool = Trueslice_fn_for_dispatch: typing.Callable | None = Noneuse_seedable_sampler: bool = Falsedata_seed: int | None = Nonenon_blocking: bool = Falseuse_stateful_dataloader: bool = Falsetorch_device_mesh = None ) → torch.utils.data.dataloader.DataLoader

Параметры

  • dataloader (torch.utils.data.dataloader.DataLoader) — Загрузчик данных для распределения по нескольким устройствам.
  • device (torch.device) — Целевое устройство для возвращаемого DataLoader.
  • num_processes (int, необязательный) — Количество процессов, выполняемых одновременно. По умолчанию используется значение, заданное PartialState.
  • process_index (int, необязательный) — Индекс текущего процесса. По умолчанию используется значение, заданное PartialState.
  • split_batches (bool, optional, defaults to False) — Whether the resulting DataLoader should split the batches of the original data loader across devices or yield full batches (in which case it will yield batches starting at the process_index-th and advancing of num_processes batches at each iteration).

    Другой способ взглянуть на это: наблюдаемый размер батча будет таким же, как у исходного dataloader, если эта опция установлена в True, а в противном случае — равным размеру батча исходного dataloader, умноженному на num_processes.

    Установка этого параметра в True требует, чтобы размер батча в dataloader был кратен batch_size.

  • put_on_device (bool, необязательный, по умолчанию False) — Определяет, следует ли перемещать батчи на device (работает только в том случае, если батчи представляют собой вложенные списки, кортежи или словари тензоров).
  • rng_types (список str или RNGType) — Список генераторов случайных чисел, которые необходимо синхронизировать в начале каждой итерации. Должен содержать один или несколько из:
    • "torch": базовый генератор случайных чисел torch
    • "cuda": генератор случайных чисел CUDA (только GPU)
    • Тип устройства любого зарегистрированного ускорителя PyTorch: его генератор случайных чисел для устройства.
    • "xla": генератор случайных чисел XLA (только TPU)
    • "generator": torch.Generator сэмплера (или батч-сэмплера, если в вашем dataloader нет сэмплера) или итерируемого датасета (если он существует), если базовый датасет имеет соответствующий тип.
  • dispatch_batches (bool, необязательный) — Если установлено в True, подготовленный dataloader итерируется только в основном процессе, после чего батчи разделяются и транслируются каждому процессу. По умолчанию принимает значение True, если базовый датасет является IterableDataset, и False в противном случае.
  • even_batches (bool, необязательный, по умолчанию True) — Если установлено в True, то в случаях, когда общий размер батча во всех процессах не делится на размер датасета без остатка, образцы из начала датасета дублируются, чтобы батч можно было разделить поровну между всеми воркерами.
  • slice_fn_for_dispatch (Callable, optional) -- If passed, this function will be used to slice tensors across num_processes. Will default to [slice_tensors()](/docs/accelerate/v1.16.0/en/package_reference/utilities#accelerate.utils.slice_tensors). This argument is used only when dispatch_batchesis set toTrue` and will be ignored otherwise.
  • use_seedable_sampler (bool, необязательный, по умолчанию False) — Определяет, следует ли использовать SeedableRandomSampler вместо RandomSampler для лучшей воспроизводимости. Это может привести к различиям в производительности из-за разных алгоритмов перемешивания, но гарантирует, что результаты будут полностью одинаковыми. Должно использоваться в паре с set_seed() при каждом self.set_epoch
  • data_seed (int, необязательный, по умолчанию None) — Значение seed для базового генератора при использовании use_seedable_sampler. Если None, генератор будет использовать текущий seed по умолчанию из torch.
  • non_blocking (bool, необязательный, по умолчанию False) — Если установлено в True, dataloader будет использовать неблокирующие передачи данных с хоста на устройство. Если для dataloader pin_memory установлено в True, это поможет увеличить перекрытие между передачей данных и вычислениями.
  • use_stateful_dataloader (bool, необязательный, по умолчанию False) — «Если установлено значение true, dataloader, подготовленный Accelerator, будет использовать в качестве основы torchdata.StatefulDataLoader. Для этого необходимо установить torchdata версии 0.8.0 или выше, поддерживающий StatefulDataLoader.»
  • torch_device_mesh (torch.distributed.DeviceMesh, необязательный, по умолчанию None) — сетка устройств PyTorch.

Возвращает

torch.utils.data.dataloader.DataLoader

Новый загрузчик данных, который будет возвращать часть батчей

Оборачивает DataLoader PyTorch для генерации батчей только для одного из процессов.

В зависимости от значения атрибута drop_last переданного dataloader, итерация либо остановится на первой слишком малой / отсутствующей на всех процессах партии, либо начнёт заново с начала по индексам.

BatchSampler с изменяемым размером батча по умолчанию не поддерживаются. Чтобы включить такое поведение, установите even_batches равным False

accelerate.skip_first_batches

< >

( dataloadernum_batches = 0 )

Создаёт torch.utils.data.DataLoader, который эффективно пропускает первые num_batches. Не следует использовать, если исходный dataloader является StatefulDataLoader.

BatchSamplerShard

класс accelerate.data_loader.BatchSamplerShard

< >

( batch_sampler: BatchSamplernum_processes: int = 1process_index: int = 0split_batches: bool = Falseeven_batches: bool = True )

Параметры

  • batch_sampler (torch.utils.data.sampler.BatchSampler) — Сэмплер батчей для разбиения на несколько шардов.
  • num_processes (int, необязательный, по умолчанию 1) — Количество процессов, выполняемых одновременно.
  • process_index (int, необязательный, по умолчанию 0) — Индекс текущего процесса.
  • split_batches (bool, необязательный, по умолчанию False) — Определяет, следует ли создавать шарды, разбивая батч и передавая его часть на каждый процесс, или выдавая на каждом процессе разные полные батчи.

    На двух процессах с сэмплером [[0, 1, 2, 3], [4, 5, 6, 7]] это приведёт к следующему:

    • сэмплер на процессе 0 возвращает [0, 1, 2, 3], а сэмплер на процессе 1 — [4, 5, 6, 7], если этот аргумент установлен в False.
    • сэмплер на процессе 0 возвращает [0, 1], затем [4, 5], а сэмплер на процессе 1 возвращает [2, 3], затем [6, 7], если этот аргумент установлен в True.
  • even_batches (bool, необязательный, по умолчанию True) — Определяет, следует ли возвращаться к началу сэмплера, если количество выборок не является целым кратным (исходный размер батча / количество процессов).

Обёртка для BatchSampler из PyTorch, генерирующая батчи только для одного из процессов. Экземпляры этого класса всегда возвращают количество батчей, кратное num_processes, причём все батчи имеют одинаковый размер. В зависимости от значения атрибута drop_last переданного батч-сэмплера, итерация либо останавливается на первом батче, который оказался бы слишком маленьким или отсутствовал бы на всех процессах, либо продолжается с повторным использованием индексов с начала.

BatchSampler с изменяемым размером батча по умолчанию не поддерживаются. Чтобы включить такое поведение, установите even_batches равным False

IterableDatasetShard

класс accelerate.data_loader.IterableDatasetShard

< >

( dataset: IterableDatasetbatch_size: int = 1drop_last: bool = Falsenum_processes: int = 1process_index: int = 0split_batches: bool = False )

Параметры

  • dataset (torch.utils.data.dataset.IterableDataset) — Сэмплер батчей для разбиения на несколько шардов.
  • batch_size (int, необязательный, по умолчанию 1) — Размер батчей на каждый шард (если split_batches=False) или размер батчей (если split_batches=True).
  • drop_last (bool, необязательный, по умолчанию False) — Определяет, следует ли отбрасывать последний неполный батч или дополнять последний батч, используя образцы из начала.
  • num_processes (int, необязательный, по умолчанию 1) — Количество процессов, выполняемых одновременно.
  • process_index (int, необязательный, по умолчанию 0) — Индекс текущего процесса.
  • split_batches (bool, необязательный, по умолчанию False) — Определяет, следует ли создавать шарды, разбивая батч и передавая его часть каждому процессу, или выдавая на каждом процессе разные полные батчи.

    На двух процессах с итерируемым набором данных, возвращающим [0, 1, 2, 3, 4, 5, 6, 7], это приведёт к следующему:

    • шард на процессе 0 даст [0, 1, 2, 3], а шард на процессе 1 — [4, 5, 6, 7], если этот аргумент установлен в False.
    • shard на процессе 0, чтобы получить [0, 1, 4, 5], и sampler на процессе 1, чтобы получить [2, 3, 6, 7], если этот аргумент установлен в True.

Обёртка для PyTorch IterableDataset, генерирующая примеры только для одного из процессов. Экземпляры этого класса всегда возвращают количество примеров, кратное фактическому размеру батча (в зависимости от значения split_batches это либо batch_size, либо batch_size x num_processes). В зависимости от значения атрибута drop_last переданного батч-сэмплера, итерация либо останавливается на первом батче, который оказался слишком маленьким, либо продолжается с повторным использованием индексов с начала.

DataLoaderShard

класс accelerate.data_loader.DataLoaderShard

< >

( datasetdevice = Nonerng_types = Nonesynchronized_generator = Noneskip_batches = 0use_stateful_dataloader = False_drop_last: bool = False_non_blocking: bool = Falsetorch_device_mesh = Noneiteration = 0**kwargs )

Параметры

  • dataset (torch.utils.data.dataset.Dataset) — Набор данных, используемый для создания этого загрузчика данных.
  • device (torch.device, необязательный) — Если передан, устройство, на которое будут помещены все батчи.
  • rng_types (список str или RNGType) — Список генераторов случайных чисел, которые необходимо синхронизировать в начале каждой итерации. Должен содержать один или несколько из:
    • "torch": базовый генератор случайных чисел torch
    • "cuda": генератор случайных чисел CUDA (только GPU)
    • Тип устройства любого зарегистрированного ускорителя PyTorch: его генератор случайных чисел для устройства.
    • "xla": генератор случайных чисел XLA (только TPU)
    • "generator": необязательный torch.Generator
  • synchronized_generator (torch.Generator, необязательный) — Генератор случайных чисел для синхронизации между процессами.
  • skip_batches (int, необязательный, по умолчанию 0) — Количество батчей, которые нужно пропустить в начале.
  • use_stateful_dataloader (bool, необязательный, по умолчанию False) — Определяет, следует ли этому классу адаптировать StatefulDataLoader из torchdata вместо обычного DataLoader.
  • **kwargs (дополнительные именованные аргументы, необязательные) — Все остальные именованные аргументы для передачи в стандартную инициализацию DataLoader.

Подкласс DataLoaderAdapter, который управляет размещением на устройствах и текущей конфигурацией распределённых вычислений.

Доступные атрибуты:

  • total_batch_size (int) — Общий размер батча загрузчика данных во всех процессах. Равен исходному размеру батча, если split_batches=True; в противном случае — исходному размеру батча, умноженному на общее число процессов

  • total_dataset_length (int) — Общая длина внутреннего набора данных во всех процессах.

DataLoaderDispatcher

класс accelerate.data_loader.DataLoaderDispatcher

< >

( datasetsplit_batches: bool = Falseskip_batches = 0use_stateful_dataloader = False_drop_last: bool = False_non_blocking: bool = Falseslice_fn = Nonetorch_device_mesh = Noneiteration = 0**kwargs )

Параметры

  • split_batches (bool, optional, defaults to False) — Whether the resulting DataLoader should split the batches of the original data loader across devices or yield full batches (in which case it will yield batches starting at the process_index-th and advancing of num_processes batches at each iteration). Another way to see this is that the observed batch size will be the same as the initial dataloader if this option is set to True, the batch size of the initial dataloader multiplied by num_processes otherwise. Setting this option to True requires that the batch size of the dataloader is a round multiple of batch_size.
  • skip_batches (int, необязательный, по умолчанию 0) — Количество батчей, которые пропускаются в начале итерации.
  • use_stateful_dataloader (bool, необязательный, по умолчанию False) — Определяет, следует ли этому классу адаптировать StatefulDataLoader из torchdata вместо обычного DataLoader.

Подкласс DataLoaderAdapter, который выполняет итерацию и предобработку только на процессе 0, а затем распределяет по каждому процессу его часть батча.

Доступные атрибуты:

  • total_batch_size (int) — Общий размер батча загрузчика данных во всех процессах. Равен исходному размеру батча, если split_batches=True; в противном случае — исходному размеру батча, умноженному на общее число процессов

  • total_dataset_length (int) — Общая длина внутреннего набора данных во всех процессах.

AcceleratedOptimizer

класс accelerate.optimizer.AcceleratedOptimizer

< >

( optimizerdevice_placement = Truescaler = None )

Параметры

  • optimizer (torch.optim.optimizer.Optimizer) — Оптимизатор, который нужно обернуть.
  • device_placement (bool, необязательный, по умолчанию True) — Определяет, должен ли оптимизатор управлять размещением на устройствах. Если да, он размещает словарь состояния optimizer на соответствующем устройстве.
  • scaler (torch.amp.GradScaler or torch.cuda.amp.GradScaler, необязательный) — Масштабатор, используемый в функции step при обучении с смешанной точностью.

Внутренняя обёртка вокруг оптимизатора torch.

Условно выполняет step и zero_grad, если при накоплении градиентов необходимо синхронизировать градиенты.

eval

< >

( )

Устанавливает оптимизатор в режим «eval». Полезно для оптимизаторов, таких как schedule_free

обучение

< >

( )

Устанавливает оптимизатор в режим «train». Полезно для оптимизаторов, таких как schedule_free

AcceleratedScheduler

класс accelerate.scheduler.AcceleratedScheduler

< >

( scheduleroptimizersstep_with_optimizer: bool = Truesplit_batches: bool = False )

Параметры

  • scheduler (torch.optim.lr_scheduler._LRScheduler) — Объект планировщика, который нужно обернуть.
  • optimizers (один или список torch.optim.Optimizer) — Используемые оптимизаторы.
  • step_with_optimizer (bool, необязательный, по умолчанию True) — Определяет, следует ли делать шаг планировщика на каждом шаге оптимизатора.
  • split_batches (bool, необязательный, по умолчанию False) — Определяет, разбивают ли загрузчики данных одну партию между различными процессами (тогда размер партии остаётся одинаковым независимо от количества процессов) или создают партии на каждом процессе (тогда размер партии равен исходному размеру партии, умноженному на количество процессов).

Обёртка над планировщиком скорости обучения, которая выполняет шаг только тогда, когда оптимизатор(ы) делают шаг обучения. Полезно для того, чтобы избежать слишком быстрого шага планировщика в случае переполнения градиентов, когда шаг обучения не выполнялся (при обучении с смешанной точностью)

При использовании градиентной аккумуляции длины планировщика не следует изменять соответственно: Accelerate всегда выполняет шаг планировщика, чтобы учесть это.

Update on GitHub