Accelerate documentation
DataLoaders, оптимизаторы и планировщики
DataLoaders, оптимизаторы и планировщики
Внутренние классы, которые Accelerate использует для подготовки объектов к распределённому обучению при вызове prepare().
Утилиты DataLoader
accelerate.data_loader.prepare_data_loader
< source >( dataloader: DataLoaderdevice: torch.device | None = Nonenum_processes: int | None = Noneprocess_index: int | None = Nonesplit_batches: bool = Falseput_on_device: bool = Falserng_types: list[str | accelerate.utils.dataclasses.RNGType] | None = Nonedispatch_batches: bool | None = Noneeven_batches: bool = Trueslice_fn_for_dispatch: typing.Callable | None = Noneuse_seedable_sampler: bool = Falsedata_seed: int | None = Nonenon_blocking: bool = Falseuse_stateful_dataloader: bool = Falsetorch_device_mesh = None ) → torch.utils.data.dataloader.DataLoader
Параметры
- dataloader (
torch.utils.data.dataloader.DataLoader) — Загрузчик данных для распределения по нескольким устройствам. - device (
torch.device) — Целевое устройство для возвращаемогоDataLoader. - num_processes (
int, необязательный) — Количество процессов, выполняемых одновременно. По умолчанию используется значение, заданное PartialState. - process_index (
int, необязательный) — Индекс текущего процесса. По умолчанию используется значение, заданное PartialState. - split_batches (
bool, optional, defaults toFalse) — Whether the resultingDataLoadershould split the batches of the original data loader across devices or yield full batches (in which case it will yield batches starting at theprocess_index-th and advancing ofnum_processesbatches at each iteration).Другой способ взглянуть на это: наблюдаемый размер батча будет таким же, как у исходного
dataloader, если эта опция установлена вTrue, а в противном случае — равным размеру батча исходногоdataloader, умноженному наnum_processes.Установка этого параметра в
Trueтребует, чтобы размер батча вdataloaderбыл кратенbatch_size. - put_on_device (
bool, необязательный, по умолчаниюFalse) — Определяет, следует ли перемещать батчи наdevice(работает только в том случае, если батчи представляют собой вложенные списки, кортежи или словари тензоров). - rng_types (список
strили RNGType) — Список генераторов случайных чисел, которые необходимо синхронизировать в начале каждой итерации. Должен содержать один или несколько из:"torch": базовый генератор случайных чисел torch"cuda": генератор случайных чисел CUDA (только GPU)- Тип устройства любого зарегистрированного ускорителя PyTorch: его генератор случайных чисел для устройства.
"xla": генератор случайных чисел XLA (только TPU)"generator":torch.Generatorсэмплера (или батч-сэмплера, если в вашем dataloader нет сэмплера) или итерируемого датасета (если он существует), если базовый датасет имеет соответствующий тип.
- dispatch_batches (
bool, необязательный) — Если установлено вTrue, подготовленный dataloader итерируется только в основном процессе, после чего батчи разделяются и транслируются каждому процессу. По умолчанию принимает значениеTrue, если базовый датасет являетсяIterableDataset, иFalseв противном случае. - even_batches (
bool, необязательный, по умолчаниюTrue) — Если установлено вTrue, то в случаях, когда общий размер батча во всех процессах не делится на размер датасета без остатка, образцы из начала датасета дублируются, чтобы батч можно было разделить поровну между всеми воркерами. - slice_fn_for_dispatch (
Callable, optional) -- If passed, this function will be used to slice tensors acrossnum_processes. Will default to [slice_tensors()](/docs/accelerate/v1.16.0/en/package_reference/utilities#accelerate.utils.slice_tensors). This argument is used only whendispatch_batchesis set toTrue` and will be ignored otherwise. - use_seedable_sampler (
bool, необязательный, по умолчаниюFalse) — Определяет, следует ли использоватьSeedableRandomSamplerвместоRandomSamplerдля лучшей воспроизводимости. Это может привести к различиям в производительности из-за разных алгоритмов перемешивания, но гарантирует, что результаты будут полностью одинаковыми. Должно использоваться в паре сset_seed()при каждомself.set_epoch - data_seed (
int, необязательный, по умолчаниюNone) — Значение seed для базового генератора при использованииuse_seedable_sampler. ЕслиNone, генератор будет использовать текущий seed по умолчанию из torch. - non_blocking (
bool, необязательный, по умолчаниюFalse) — Если установлено вTrue, dataloader будет использовать неблокирующие передачи данных с хоста на устройство. Если для dataloaderpin_memoryустановлено вTrue, это поможет увеличить перекрытие между передачей данных и вычислениями. - use_stateful_dataloader (
bool, необязательный, по умолчаниюFalse) — «Если установлено значение true, dataloader, подготовленный Accelerator, будет использовать в качестве основы torchdata.StatefulDataLoader. Для этого необходимо установитьtorchdataверсии 0.8.0 или выше, поддерживающий StatefulDataLoader.» - torch_device_mesh (
torch.distributed.DeviceMesh, необязательный, по умолчаниюNone) — сетка устройств PyTorch.
Возвращает
torch.utils.data.dataloader.DataLoader
Новый загрузчик данных, который будет возвращать часть батчей
Оборачивает DataLoader PyTorch для генерации батчей только для одного из процессов.
В зависимости от значения атрибута drop_last переданного dataloader, итерация либо остановится на первой слишком малой / отсутствующей на всех процессах партии, либо начнёт заново с начала по индексам.
BatchSamplerс изменяемым размером батча по умолчанию не поддерживаются. Чтобы включить такое поведение, установитеeven_batchesравнымFalse
Создаёт torch.utils.data.DataLoader, который эффективно пропускает первые num_batches. Не следует использовать, если исходный dataloader является StatefulDataLoader.
BatchSamplerShard
класс accelerate.data_loader.BatchSamplerShard
< source >( batch_sampler: BatchSamplernum_processes: int = 1process_index: int = 0split_batches: bool = Falseeven_batches: bool = True )
Параметры
- batch_sampler (
torch.utils.data.sampler.BatchSampler) — Сэмплер батчей для разбиения на несколько шардов. - num_processes (
int, необязательный, по умолчанию 1) — Количество процессов, выполняемых одновременно. - process_index (
int, необязательный, по умолчанию 0) — Индекс текущего процесса. - split_batches (
bool, необязательный, по умолчаниюFalse) — Определяет, следует ли создавать шарды, разбивая батч и передавая его часть на каждый процесс, или выдавая на каждом процессе разные полные батчи.На двух процессах с сэмплером
[[0, 1, 2, 3], [4, 5, 6, 7]]это приведёт к следующему:- сэмплер на процессе 0 возвращает
[0, 1, 2, 3], а сэмплер на процессе 1 —[4, 5, 6, 7], если этот аргумент установлен вFalse. - сэмплер на процессе 0 возвращает
[0, 1], затем[4, 5], а сэмплер на процессе 1 возвращает[2, 3], затем[6, 7], если этот аргумент установлен вTrue.
- сэмплер на процессе 0 возвращает
- even_batches (
bool, необязательный, по умолчаниюTrue) — Определяет, следует ли возвращаться к началу сэмплера, если количество выборок не является целым кратным (исходный размер батча / количество процессов).
Обёртка для BatchSampler из PyTorch, генерирующая батчи только для одного из процессов. Экземпляры этого класса всегда возвращают количество батчей, кратное num_processes, причём все батчи имеют одинаковый размер. В зависимости от значения атрибута drop_last переданного батч-сэмплера, итерация либо останавливается на первом батче, который оказался бы слишком маленьким или отсутствовал бы на всех процессах, либо продолжается с повторным использованием индексов с начала.
BatchSamplerс изменяемым размером батча по умолчанию не поддерживаются. Чтобы включить такое поведение, установитеeven_batchesравнымFalse
IterableDatasetShard
класс accelerate.data_loader.IterableDatasetShard
< source >( dataset: IterableDatasetbatch_size: int = 1drop_last: bool = Falsenum_processes: int = 1process_index: int = 0split_batches: bool = False )
Параметры
- dataset (
torch.utils.data.dataset.IterableDataset) — Сэмплер батчей для разбиения на несколько шардов. - batch_size (
int, необязательный, по умолчанию 1) — Размер батчей на каждый шард (еслиsplit_batches=False) или размер батчей (еслиsplit_batches=True). - drop_last (
bool, необязательный, по умолчаниюFalse) — Определяет, следует ли отбрасывать последний неполный батч или дополнять последний батч, используя образцы из начала. - num_processes (
int, необязательный, по умолчанию 1) — Количество процессов, выполняемых одновременно. - process_index (
int, необязательный, по умолчанию 0) — Индекс текущего процесса. - split_batches (
bool, необязательный, по умолчаниюFalse) — Определяет, следует ли создавать шарды, разбивая батч и передавая его часть каждому процессу, или выдавая на каждом процессе разные полные батчи.На двух процессах с итерируемым набором данных, возвращающим
[0, 1, 2, 3, 4, 5, 6, 7], это приведёт к следующему:- шард на процессе 0 даст
[0, 1, 2, 3], а шард на процессе 1 —[4, 5, 6, 7], если этот аргумент установлен вFalse. - shard на процессе 0, чтобы получить
[0, 1, 4, 5], и sampler на процессе 1, чтобы получить[2, 3, 6, 7], если этот аргумент установлен вTrue.
- шард на процессе 0 даст
Обёртка для PyTorch IterableDataset, генерирующая примеры только для одного из процессов. Экземпляры этого класса всегда возвращают количество примеров, кратное фактическому размеру батча (в зависимости от значения split_batches это либо batch_size, либо batch_size x num_processes). В зависимости от значения атрибута drop_last переданного батч-сэмплера, итерация либо останавливается на первом батче, который оказался слишком маленьким, либо продолжается с повторным использованием индексов с начала.
DataLoaderShard
класс accelerate.data_loader.DataLoaderShard
< source >( datasetdevice = Nonerng_types = Nonesynchronized_generator = Noneskip_batches = 0use_stateful_dataloader = False_drop_last: bool = False_non_blocking: bool = Falsetorch_device_mesh = Noneiteration = 0**kwargs )
Параметры
- dataset (
torch.utils.data.dataset.Dataset) — Набор данных, используемый для создания этого загрузчика данных. - device (
torch.device, необязательный) — Если передан, устройство, на которое будут помещены все батчи. - rng_types (список
strили RNGType) — Список генераторов случайных чисел, которые необходимо синхронизировать в начале каждой итерации. Должен содержать один или несколько из:"torch": базовый генератор случайных чисел torch"cuda": генератор случайных чисел CUDA (только GPU)- Тип устройства любого зарегистрированного ускорителя PyTorch: его генератор случайных чисел для устройства.
"xla": генератор случайных чисел XLA (только TPU)"generator": необязательныйtorch.Generator
- synchronized_generator (
torch.Generator, необязательный) — Генератор случайных чисел для синхронизации между процессами. - skip_batches (
int, необязательный, по умолчанию 0) — Количество батчей, которые нужно пропустить в начале. - use_stateful_dataloader (
bool, необязательный, по умолчаниюFalse) — Определяет, следует ли этому классу адаптироватьStatefulDataLoaderизtorchdataвместо обычногоDataLoader. - **kwargs (дополнительные именованные аргументы, необязательные) —
Все остальные именованные аргументы для передачи в стандартную инициализацию
DataLoader.
Подкласс DataLoaderAdapter, который управляет размещением на устройствах и текущей конфигурацией распределённых вычислений.
Доступные атрибуты:
total_batch_size (
int) — Общий размер батча загрузчика данных во всех процессах. Равен исходному размеру батча, еслиsplit_batches=True; в противном случае — исходному размеру батча, умноженному на общее число процессовtotal_dataset_length (
int) — Общая длина внутреннего набора данных во всех процессах.
DataLoaderDispatcher
класс accelerate.data_loader.DataLoaderDispatcher
< source >( datasetsplit_batches: bool = Falseskip_batches = 0use_stateful_dataloader = False_drop_last: bool = False_non_blocking: bool = Falseslice_fn = Nonetorch_device_mesh = Noneiteration = 0**kwargs )
Параметры
- split_batches (
bool, optional, defaults toFalse) — Whether the resultingDataLoadershould split the batches of the original data loader across devices or yield full batches (in which case it will yield batches starting at theprocess_index-th and advancing ofnum_processesbatches at each iteration). Another way to see this is that the observed batch size will be the same as the initialdataloaderif this option is set toTrue, the batch size of the initialdataloadermultiplied bynum_processesotherwise. Setting this option toTruerequires that the batch size of thedataloaderis a round multiple ofbatch_size. - skip_batches (
int, необязательный, по умолчанию 0) — Количество батчей, которые пропускаются в начале итерации. - use_stateful_dataloader (
bool, необязательный, по умолчаниюFalse) — Определяет, следует ли этому классу адаптироватьStatefulDataLoaderизtorchdataвместо обычногоDataLoader.
Подкласс DataLoaderAdapter, который выполняет итерацию и предобработку только на процессе 0, а затем распределяет по каждому процессу его часть батча.
Доступные атрибуты:
total_batch_size (
int) — Общий размер батча загрузчика данных во всех процессах. Равен исходному размеру батча, еслиsplit_batches=True; в противном случае — исходному размеру батча, умноженному на общее число процессовtotal_dataset_length (
int) — Общая длина внутреннего набора данных во всех процессах.
AcceleratedOptimizer
класс accelerate.optimizer.AcceleratedOptimizer
< source >( optimizerdevice_placement = Truescaler = None )
Параметры
- optimizer (
torch.optim.optimizer.Optimizer) — Оптимизатор, который нужно обернуть. - device_placement (
bool, необязательный, по умолчаниюTrue) — Определяет, должен ли оптимизатор управлять размещением на устройствах. Если да, он размещает словарь состоянияoptimizerна соответствующем устройстве. - scaler (
torch.amp.GradScalerortorch.cuda.amp.GradScaler, необязательный) — Масштабатор, используемый в функции step при обучении с смешанной точностью.
Внутренняя обёртка вокруг оптимизатора torch.
Условно выполняет step и zero_grad, если при накоплении градиентов необходимо синхронизировать градиенты.
Устанавливает оптимизатор в режим «eval». Полезно для оптимизаторов, таких как schedule_free
Устанавливает оптимизатор в режим «train». Полезно для оптимизаторов, таких как schedule_free
AcceleratedScheduler
класс accelerate.scheduler.AcceleratedScheduler
< source >( scheduleroptimizersstep_with_optimizer: bool = Truesplit_batches: bool = False )
Параметры
- scheduler (
torch.optim.lr_scheduler._LRScheduler) — Объект планировщика, который нужно обернуть. - optimizers (один или список
torch.optim.Optimizer) — Используемые оптимизаторы. - step_with_optimizer (
bool, необязательный, по умолчаниюTrue) — Определяет, следует ли делать шаг планировщика на каждом шаге оптимизатора. - split_batches (
bool, необязательный, по умолчаниюFalse) — Определяет, разбивают ли загрузчики данных одну партию между различными процессами (тогда размер партии остаётся одинаковым независимо от количества процессов) или создают партии на каждом процессе (тогда размер партии равен исходному размеру партии, умноженному на количество процессов).
Обёртка над планировщиком скорости обучения, которая выполняет шаг только тогда, когда оптимизатор(ы) делают шаг обучения. Полезно для того, чтобы избежать слишком быстрого шага планировщика в случае переполнения градиентов, когда шаг обучения не выполнялся (при обучении с смешанной точностью)
При использовании градиентной аккумуляции длины планировщика не следует изменять соответственно: Accelerate всегда выполняет шаг планировщика, чтобы учесть это.