Accelerate documentation
Примеры Zoo
Начало работы
Учебные материалы
ОбзорДобавление Accelerate в ваш кодПроцесс выполненияОбучение на TPUЗапуск скриптов AccelerateЗапуск распределённого обучения из Jupyter Notebooks
Руководства
Accelerate
Начните здесь!Оценщик памяти моделиКвантование моделейТрекеры экспериментовПрофилировщикСоздание контрольных точекУстранение неполадокПримеры Zoo
Обучение
Накопление градиентовЛокальный SGDОбучение с низкой точностью (FP8)DeepSpeedИспользование нескольких моделей с DeepSpeedDDP Communication HooksПолностью шардированная параллельная обработка данныхMegatron-LMAmazon SageMakerApple M1 GPUsIntel CPUIntel GaudiКомпиляция
Вывод
Концепции и основы
Внутренний механизм AccelerateЗагрузка больших моделей в памятьСравнение производительности в распределённых конфигурацияхВыполнение и откладывание заданийСинхронизация градиентовFSDP и DeepSpeedFSDP1 и FSDP2Параллелизм контекстаПараллелизм последовательностейМетоды обучения с низкой точностьюОбучение на TPU
Справочник
УскорительКлассы с состояниемКомандная строкаDataLoaders, Оптимизаторы, ПланировщикиСистемы отслеживания экспериментовЗапускУтилиты DeepSpeedЛогированиеРабота с большими моделямиОбработчики аргументов KwargsFP8Вспомогательные функции и классыУтилиты Megatron-LMУтилиты полностью шардированного параллелизма данных
Примеры Zoo
Ниже приведён неполный список учебников и скриптов, демонстрирующих возможности Accelerate.
Официальные примеры Accelerate:
Базовые примеры
Эти примеры демонстрируют базовые возможности Accelerate и являются отличной отправной точкой
- Минимальный пример NLP
- Минимальный пример распределённого NLP в Jupyter Notebook
- Минимальный пример компьютерного зрения
- Минимальный пример распределённого компьютерного зрения в Jupyter Notebook
- Использование Accelerate в Kaggle
Примеры по функциям
Эти примеры демонстрируют конкретные возможности, которые предоставляет фреймворк Accelerate
- Автоматическое накопление градиентов с учётом памяти
- Сохранение состояний контрольных точек
- Кросс-валидация
- DeepSpeed
- Полностью шардированная параллельная обработка данных
- Накопление градиентов
- Поиск размера батча с учётом памяти
- Вычисление метрик
- Использование трекеров
- Использование Megatron-LM
Полные примеры
Эти примеры демонстрируют все возможности Accelerate, показанные в разделе «Примеры по отдельным функциям»
- Полный пример NLP
- Полный пример компьютерного зрения
- Очень полный и расширяемый пример работы с изображениями, демонстрирующий SLURM, hydra и гибкое использование фреймворка
- Пример дообучения каузальной языковой модели
- Пример дообучения модели с маскированием языка
- Пример предобучения для распознавания речи
- Пример дообучения для перевода
- Пример дообучения для классификации текста
- Пример дообучения для семантической сегментации
- Пример дообучения для задачи вопрос-ответ
- Пример дообучения для вопросно-ответной задачи с поиском по лучам
- Пример дообучения для ответа на вопросы с множественным выбором
- Пример дообучения для распознавания именованных сущностей
- Пример дообучения для классификации изображений
- Пример дообучения для суммаризации
- Полные примеры использования интеграции AWS SageMaker в Accelerate
- Примеры Megatron-LM для различных задач NLP
Примеры интеграции
Это учебные материалы из библиотек, интегрируемых с Accelerate:
Не нашли здесь свою интеграцию? Создайте PR, чтобы добавить её!
Amphion
- Обучение моделей синтеза речи с помощью Amphion
- Обучение моделей преобразования поющего голоса с помощью Amphion
- Обучение вокодеров с помощью Amphion
Catalyst
DALLE2-pytorch
Diffusers
fastai
- Распределённое обучение из Jupyter Notebooks с fastai
- Базовые примеры распределённого обучения с fastai
GradsFlow
imagen-pytorch
Kornia
PyTorch Accelerated
PyTorch3D
Stable-Dreamfusion
Tez
trlx
Comfy-UI
В науке
Ниже приведён неполный список статей, в которых используется Accelerate.
Не нашли свою статью здесь? Создайте PR, чтобы добавить её!
- Yuval Kirstain, Adam Polyak, Uriel Singer, Shahbuland Matiana, Joe Penna, Omer Levy: «Pick-a-Pic: An Open Dataset of User Preferences for Text-to-Image Generation», 2023; arXiv:2305.01569.
- Lei Wang, Wanyu Xu, Yihuai Lan, Zhiqiang Hu, Yunshi Lan, Roy Ka-Wei Lee, Ee-Peng Lim: «Plan-and-Solve Prompting: Improving Zero-Shot Chain-of-Thought Reasoning by Large Language Models», 2023; arXiv:2305.04091.
- Arthur Câmara, Claudia Hauff: «Moving Stuff Around: A study on efficiency of moving documents into memory for Neural IR models», 2022; arXiv:2205.08343.
- Ying Sheng, Lianmin Zheng, Binhang Yuan, Zhuohan Li, Max Ryabinin, Daniel Y. Fu, Zhiqiang Xie, Beidi Chen, Clark Barrett, Joseph E. Gonzalez, Percy Liang, Christopher Ré, Ion Stoica, Ce Zhang: «High-throughput Generative Inference of Large Language Models with a Single GPU», 2023; arXiv:2303.06865.
- Peter Melchior, Yan Liang, ChangHoon Hahn, Andy Goulding: «Autoencoding Galaxy Spectra I: Architecture», 2022; arXiv:2211.07890.
- Jiaao Chen, Aston Zhang, Mu Li, Alex Smola, Diyi Yang: «A Cheaper and Better Diffusion Language Model with Soft-Masked Noise», 2023; arXiv:2304.04746.
- Ayaan Haque, Matthew Tancik, Alexei A. Efros, Aleksander Holynski, Angjoo Kanazawa: «Instruct-NeRF2NeRF: Editing 3D Scenes with Instructions», 2023; arXiv:2303.12789.
- Luke Melas-Kyriazi, Christian Rupprecht, Iro Laina, Andrea Vedaldi: “RealFusion: 360° Reconstruction of Any Object from a Single Image”, 2023; arXiv:2302.10663.
- Xiaoshi Wu, Keqiang Sun, Feng Zhu, Rui Zhao, Hongsheng Li: «Better Aligning Text-to-Image Models with Human Preference», 2023; arXiv:2303.14420.
- Yongliang Shen, Kaitao Song, Xu Tan, Dongsheng Li, Weiming Lu, Yueting Zhuang: “HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in HuggingFace”, 2023; arXiv:2303.17580.
- Yue Yang, Wenlin Yao, Hongming Zhang, Xiaoyang Wang, Dong Yu, Jianshu Chen: «Z-LaVI: Zero-Shot Language Solver Fueled by Visual Imagination», 2022; arXiv:2210.12261.
- Sheng-Yen Chou, Pin-Yu Chen, Tsung-Yi Ho: «How to Backdoor Diffusion Models?», 2022; arXiv:2212.05400.
- Junyoung Seo, Wooseok Jang, Min-Seop Kwak, Jaehoon Ko, Hyeonsu Kim, Junho Kim, Jin-Hwa Kim, Jiyoung Lee, Seungryong Kim: «Let 2D Diffusion Model Know 3D-Consistency for Robust Text-to-3D Generation», 2023; arXiv:2303.07937.
- Or Patashnik, Daniel Garibi, Idan Azuri, Hadar Averbuch-Elor, Daniel Cohen-Or: “Localizing Object-level Shape Variations with Text-to-Image Diffusion Models”, 2023; arXiv:2303.11306.
- Dídac Surís, Sachit Menon, Carl Vondrick: “ViperGPT: Visual Inference via Python Execution for Reasoning”, 2023; arXiv:2303.08128.
- Chenyang Qi, Xiaodong Cun, Yong Zhang, Chenyang Lei, Xintao Wang, Ying Shan, Qifeng Chen: “FateZero: Fusing Attentions for Zero-shot Text-based Video Editing”, 2023; arXiv:2303.09535.
- Sean Welleck, Jiacheng Liu, Ximing Lu, Hannaneh Hajishirzi, Yejin Choi: «NaturalProver: Grounded Mathematical Proof Generation with Language Models», 2022; arXiv:2205.12910.
- Elad Richardson, Gal Metzer, Yuval Alaluf, Raja Giryes, Daniel Cohen-Or: «TEXTure: Text-Guided Texturing of 3D Shapes», 2023; arXiv:2302.01721.
- Puijin Cheng, Li Lin, Yijin Huang, Huaqing He, Wenhan Luo, Xiaoying Tang: “Learning Enhancement From Degradation: A Diffusion Model For Fundus Image Enhancement”, 2023; arXiv:2303.04603.
- Shun Shao, Yftah Ziser, Shay Cohen: «Erasure of Unaligned Attributes from Neural Representations», 2023; arXiv:2302.02997.
- Seonghyeon Ye, Hyeonbin Hwang, Sohee Yang, Hyeongu Yun, Yireun Kim, Minjoon Seo: “In-Context Instruction Learning”, 2023; arXiv:2302.14691.
- Shikun Liu, Linxi Fan, Edward Johns, Zhiding Yu, Chaowei Xiao, Anima Anandkumar: “Prismer: A Vision-Language Model with An Ensemble of Experts”, 2023; arXiv:2303.02506.
- Haoyu Chen, Zhihua Wang, Yang Yang, Qilin Sun, Kede Ma: «Learning a Deep Color Difference Metric for Photographic Images», 2023; arXiv:2303.14964.
- Van-Hoang Le, Hongyu Zhang: «Log Parsing with Prompt-based Few-shot Learning», 2023; arXiv:2302.07435.
- Keito Kudo, Yoichi Aoki, Tatsuki Kuribayashi, Ana Brassard, Masashi Yoshikawa, Keisuke Sakaguchi, Kentaro Inui: «Do Deep Neural Networks Capture Compositionality in Arithmetic Reasoning?», 2023; arXiv:2302.07866.
- Ruoyao Wang, Peter Jansen, Marc-Alexandre Côté, Prithviraj Ammanabrolu: “Behavior Cloned Transformers are Neurosymbolic Reasoners”, 2022; arXiv:2210.07382.
- Martin Wessel, Tomáš Horych, Terry Ruas, Akiko Aizawa, Bela Gipp, Timo Spinde: «Introducing MBIB — the first Media Bias Identification Benchmark Task and Dataset Collection», 2023; arXiv:2304.13148. DOI: [https://dx.doi.org/10.1145/3539618.3591882 10.1145/3539618.3591882].
- Hila Chefer, Yuval Alaluf, Yael Vinker, Lior Wolf, Daniel Cohen-Or: “Attend-and-Excite: Attention-Based Semantic Guidance for Text-to-Image Diffusion Models”, 2023; arXiv:2301.13826.
- Marcio Fonseca, Yftah Ziser, Shay B. Cohen: «Factorizing Content and Budget Decisions in Abstractive Summarization of Long Documents», 2022; arXiv:2205.12486.
- Elad Richardson, Gal Metzer, Yuval Alaluf, Raja Giryes, Daniel Cohen-Or: «TEXTure: Text-Guided Texturing of 3D Shapes», 2023; arXiv:2302.01721.
- Tianxing He, Jingyu Zhang, Tianle Wang, Sachin Kumar, Kyunghyun Cho, James Glass, Yulia Tsvetkov: «On the Blind Spots of Model-Based Evaluation Metrics for Text Generation», 2022; arXiv:2212.10020.
- Ori Ram, Yoav Levine, Itay Dalmedigos, Dor Muhlgay, Amnon Shashua, Kevin Leyton-Brown, Yoav Shoham: «In-Context Retrieval-Augmented Language Models», 2023; arXiv:2302.00083.
- Dacheng Li, Rulin Shao, Hongyi Wang, Han Guo, Eric P. Xing, Hao Zhang: «MPCFormer: fast, performant and private Transformer inference with MPC», 2022; arXiv:2211.01452.
- Baolin Peng, Michel Galley, Pengcheng He, Chris Brockett, Lars Liden, Elnaz Nouri, Zhou Yu, Bill Dolan, Jianfeng Gao: «GODEL: Large-Scale Pre-Training for Goal-Directed Dialog», 2022; arXiv:2206.11309.
- Egil Rønningstad, Erik Velldal, Lilja Øvrelid: «Entity-Level Sentiment Analysis (ELSA): An exploratory task survey», 2023, Proceedings of the 29th International Conference on Computational Linguistics, 2022, страницы 6773-6783; arXiv:2304.14241.
- Чарли Снелл, Илья Костриков, И Су, Мэнцзяо Ян, Сергей Левин: «Offline RL for Natural Language Generation with Implicit Language Q Learning», 2022; arXiv:2206.11871.
- Zhiruo Wang, Shuyan Zhou, Daniel Fried, Graham Neubig: «Execution-Based Evaluation for Open-Domain Code Generation», 2022; arXiv:2212.10481.
- Minh-Long Luu, Zeyi Huang, Eric P. Xing, Yong Jae Lee, Haohan Wang: «Expeditious Saliency-guided Mix-up through Random Gradient Thresholding», 2022; arXiv:2212.04875.
- Jun Hao Liew, Hanshu Yan, Daquan Zhou, Jiashi Feng: «MagicMix: Semantic Mixing with Diffusion Models», 2022; arXiv:2210.16056.
- Yaqing Wang, Subhabrata Mukherjee, Xiaodong Liu, Jing Gao, Ahmed Hassan Awadallah, Jianfeng Gao: “LiST: Lite Prompted Self-training Makes Parameter-Efficient Few-shot Learners”, 2021; arXiv:2110.06274.