Accelerate documentation
저정밀도 학습 방법
저정밀도 학습 방법
Accelerate는 TransformersEngine 및 torchao 패키지를 통해 지정된 지원 하드웨어를 사용하여 낮은 정밀도 방식으로 학습할 수 있는 통합 기능을 제공합니다. 이 문서에서는 어떤 하드웨어가 지원되는지, Accelerator를 어떻게 구성해야 낮은 정밀도 방식을 활용할 수 있는지, 그리고 학습 시 어떤 결과를 기대할 수 있는지를 안내합니다.
FP8에서 학습하는 것의 의미
PyTorch와 Accelerate를 사용하여 FP8로 학습하는 세부 사항을 더 자세히 살펴보고 싶다면, 이것이 왜 어려운지 설명하는 concept_guide를 확인해 보세요. 기본적으로 BF16으로 학습하는 대신, 모델 학습의 일부(또는 전체) 측면을 16비트 대신 8비트로 수행할 수 있습니다. 여기서의 과제는 최종 성능이 저하되지 않도록 하는 것입니다.
이 기능은 특정 NVIDIA 하드웨어, 즉 다음 하드웨어에서만 활성화됩니다:
- 3000 시리즈 소비자용 그래픽 카드 이후의 제품(예: 4090)
- Hopper 기반 GPU 아키텍처(예:
H100,H200)
이로 인해 일부 학습 단계에서 필요한 메모리가 절반으로 줄어듦에 따라 사용 메모리가 감소하고, 특정 레이어를 FP8 지원 레이어로 대체할 수 있는 더 큰 모델의 경우에도 처리량이 증가하는 것이 확인될 것입니다.
가속기 구성
현재 FP8에 대해 두 가지의 능동적으로 유지 관리되는 백엔드(TransformersEngine 및 torchao)가 지원되며, 각각 다른 기능과 구성을 제공합니다.
둘 중 어느 것을 사용하더라도 동일한 핵심 API를 사용합니다. accelerate config 실행 시 혼합 정밀도에 대해 질문을 받으면 mixed_precision="fp8"를 Accelerator에 전달하거나, config.yaml 파일의 mixed_precision 키로 지정하세요:
from accelerate import Accelerator
accelerator = Accelerator(mixed_precision="fp8")백엔드를 지정하고(그리고 FP8 혼합 정밀도 설정의 다른 부분을 사용자 정의하려면) utils.AORecipeKwargs 또는 utils.TERecipeKwargs와 같은 RecipeKwargs 데이터 클래스 중 하나를 활용할 수 있습니다. 또한 설정 yaml에서 또는 accelerate launch 시점에 이를 명확히 할 수도 있습니다. 새로운 프로젝트에는 TransformersEngine 또는 torchao 사용을 권장합니다:
from accelerate import Accelerator
from accelerate.utils import TERecipeKwargs, AORecipeKwargs
# Use TransformersEngine
kwargs = [TERecipeKwargs()]
# Or to use torchao
# kwargs = [AORecipeKwargs()]
accelerator = Accelerator(mixed_precision="fp8", kwarg_handlers=kwargs)mixed_precision: fp8
fp8_config:
amax_compute_algo: max
amax_history_len: 1024
backend: TE
fp8_format: HYBRID
interval: 1
margin: 0
override_linear_precision: (false, false, false)
use_autocast_during_eval: falseTransformersEngine 구성
TransformersEngine에는 FP8 계산의 수행 방식과 대상에 대한 다양한 커스터마이징 옵션이 있습니다. 지원되는 인수의 전체 목록과 그 의미는 NVIDIA의 문서에서 확인할 수 있으며, 편의를 위해 FP8KwargsHandler의 docstring에도 다시 명시되어 있습니다.
Accelerate는 합리적인 기본값을 설정하도록 노력하지만, 다양한 매개변수를 직접 탐색하고 조정하면 잠재적으로 더 나은 성능을 얻을 수 있습니다.
사용하려면 backend="te"를 지정하고 kwarg 핸들러의 일부로 원하는 인수를 수정합니다:
from accelerate import Accelerator
from accelerate.utils import TERecipeKwargs
kwargs = [TERecipeKwargs(...)]
accelerator = Accelerator(mixed_precision="fp8", kwargs_handlers=kwargs)또는 --fp8_backend=te ...를 통해 accelerate launch 실행 시 사용할 수 있습니다. 관련 인수를 확인하려면 accelerate launch --fp8_backend=te -h를 사용하세요.
마찬가지로 config.yaml에서 이를 설정할 수 있습니다:
mixed_precision: fp8
fp8_config:
amax_compute_algo: max
amax_history_len: 1024
backend: TE
fp8_format: HYBRID
interval: 1
margin: 0
override_linear_precision: (false, false, false)
use_autocast_during_eval: falsetorchao 구성
torchao는 PyTorch 기반의 해킹 가능한 FP8 백엔드로, 이전 두 엔진보다 접근하기 쉽도록 설계되었습니다. ao의 이전 두 엔진과 비교했을 때 핵심 차이점 중 하나는 수치적 안정성을 위해 모델의 첫 번째 및 마지막 레이어를 일반 정밀도(FP32 또는 BF16)로 유지하고, 나머지 레이어만 FP8로 양자화하는 것이 일반적으로 더 좋다는 점입니다. 따라서 ao의 설정은 다음과 같이 약간 다르게 보입니다:
참고: 이 API는 실험적이며 변경될 수 있습니다
from accelerate import Accelerator
from accelerate.utils import AORecipeKwargs, TorchDynamoPlugin, FullyShardedDataParallelPlugin
from torchao.float8 import Float8LinearConfig
fsdp2_plugin = FullyShardedDataParallelPlugin(
fsdp_version=2,
cpu_ram_efficient_loading=False, # CPU RAM efficient loading CANNOT work with fp8 torchao
fsdp_auto_wrap_policy="TRANSFORMER_BASED_WRAP",
)
dynamo_plugin = TorchDynamoPlugin(
backend="inductor",
use_regional_compilation=True,
)
fp8_config = Float8LinearConfig(
enable_fsdp_float8_all_gather=True, # Use FP8 all_gather in FSDP2
pad_inner_dim=True,
)
kwargs = [AORecipeKwargs(
config=fp8_config
)]
accelerator = Accelerator(
mixed_precision="fp8",
fsdp_plugin=fsdp2_plugin,
dynamo_plugin=dynamo_plugin,
kwarg_handlers=kwargs,
)또는 --fp8_backend=ao ...를 통해 accelerate launch 실행 시 사용할 수 있습니다. 관련 인수를 확인하려면 accelerate launch --fp8_backend=ao -h를 사용하세요.
마찬가지로, config.yaml에서 이를 설정할 수 있습니다:
mixed_precision: fp8
fsdp_config:
fsdp_auto_wrap_policy: TRANSFORMER_BASED_WRAP
fsdp_cpu_ram_efficient_loading: false
fsdp_version: 2
fp8_config:
backend: AO
pad_inner_dim: true
enable_fsdp_float8_all_gather: true
dynamo_config:
dynamo_backend: INDUCTOR
dynamo_use_regional_compilation: true구체적으로 사용할 매개변수에 대해 자세히 알아보려면 공식 torchao 저장소를 참고하세요.
예제 Zoo
accelerate 레포지토리에서 accelerate와 그 기반 구현을 모두 사용하여 FP8로 학습하는 예제를 제공합니다. 현재 다음을 보여주는 스크립트를 지원합니다:
- 단일 GPU
- 분산 데이터 병렬성(멀티-GPU)
- Fully Sharded Data Parallelism
- DeepSpeed ZeRO 1~3
자세한 내용은 여기에서 확인하세요.
추가 자료
FP8으로 학습하는 방법에 대해 자세히 알아보려면 다음 리소스를 확인하세요:
- 개념 가이드에서 TransformersEngine과 torchao에 대해 자세히 설명합니다
transformers-engine문서torchao문서