Accelerate documentation

저정밀도 학습 방법

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

저정밀도 학습 방법

Accelerate는 TransformersEngine 및 torchao 패키지를 통해 지정된 지원 하드웨어를 사용하여 낮은 정밀도 방식으로 학습할 수 있는 통합 기능을 제공합니다. 이 문서에서는 어떤 하드웨어가 지원되는지, Accelerator를 어떻게 구성해야 낮은 정밀도 방식을 활용할 수 있는지, 그리고 학습 시 어떤 결과를 기대할 수 있는지를 안내합니다.

FP8에서 학습하는 것의 의미

PyTorch와 Accelerate를 사용하여 FP8로 학습하는 세부 사항을 더 자세히 살펴보고 싶다면, 이것이 왜 어려운지 설명하는 concept_guide를 확인해 보세요. 기본적으로 BF16으로 학습하는 대신, 모델 학습의 일부(또는 전체) 측면을 16비트 대신 8비트로 수행할 수 있습니다. 여기서의 과제는 최종 성능이 저하되지 않도록 하는 것입니다.

이 기능은 특정 NVIDIA 하드웨어, 즉 다음 하드웨어에서만 활성화됩니다:

  • 3000 시리즈 소비자용 그래픽 카드 이후의 제품(예: 4090)
  • Hopper 기반 GPU 아키텍처(예: H100, H200)

이로 인해 일부 학습 단계에서 필요한 메모리가 절반으로 줄어듦에 따라 사용 메모리가 감소하고, 특정 레이어를 FP8 지원 레이어로 대체할 수 있는 더 큰 모델의 경우에도 처리량이 증가하는 것이 확인될 것입니다.

가속기 구성

현재 FP8에 대해 두 가지의 능동적으로 유지 관리되는 백엔드(TransformersEngine 및 torchao)가 지원되며, 각각 다른 기능과 구성을 제공합니다.

둘 중 어느 것을 사용하더라도 동일한 핵심 API를 사용합니다. accelerate config 실행 시 혼합 정밀도에 대해 질문을 받으면 mixed_precision="fp8"를 Accelerator에 전달하거나, config.yaml 파일의 mixed_precision 키로 지정하세요:

from accelerate import Accelerator
accelerator = Accelerator(mixed_precision="fp8")

백엔드를 지정하고(그리고 FP8 혼합 정밀도 설정의 다른 부분을 사용자 정의하려면) utils.AORecipeKwargs 또는 utils.TERecipeKwargs와 같은 RecipeKwargs 데이터 클래스 중 하나를 활용할 수 있습니다. 또한 설정 yaml에서 또는 accelerate launch 시점에 이를 명확히 할 수도 있습니다. 새로운 프로젝트에는 TransformersEngine 또는 torchao 사용을 권장합니다:

from accelerate import Accelerator
from accelerate.utils import TERecipeKwargs, AORecipeKwargs
# Use TransformersEngine
kwargs = [TERecipeKwargs()]
# Or to use torchao
# kwargs = [AORecipeKwargs()]
accelerator = Accelerator(mixed_precision="fp8", kwarg_handlers=kwargs)
mixed_precision: fp8
fp8_config:
  amax_compute_algo: max
  amax_history_len: 1024
  backend: TE
  fp8_format: HYBRID
  interval: 1
  margin: 0
  override_linear_precision: (false, false, false)
  use_autocast_during_eval: false

TransformersEngine 구성

TransformersEngine에는 FP8 계산의 수행 방식과 대상에 대한 다양한 커스터마이징 옵션이 있습니다. 지원되는 인수의 전체 목록과 그 의미는 NVIDIA의 문서에서 확인할 수 있으며, 편의를 위해 FP8KwargsHandler의 docstring에도 다시 명시되어 있습니다.

Accelerate는 합리적인 기본값을 설정하도록 노력하지만, 다양한 매개변수를 직접 탐색하고 조정하면 잠재적으로 더 나은 성능을 얻을 수 있습니다.

사용하려면 backend="te"를 지정하고 kwarg 핸들러의 일부로 원하는 인수를 수정합니다:

from accelerate import Accelerator
from accelerate.utils import TERecipeKwargs
kwargs = [TERecipeKwargs(...)]
accelerator = Accelerator(mixed_precision="fp8", kwargs_handlers=kwargs)

또는 --fp8_backend=te ...를 통해 accelerate launch 실행 시 사용할 수 있습니다. 관련 인수를 확인하려면 accelerate launch --fp8_backend=te -h를 사용하세요.

마찬가지로 config.yaml에서 이를 설정할 수 있습니다:

mixed_precision: fp8
fp8_config:
    amax_compute_algo: max
    amax_history_len: 1024
    backend: TE
    fp8_format: HYBRID
    interval: 1
    margin: 0
    override_linear_precision: (false, false, false)
    use_autocast_during_eval: false

torchao 구성

torchao는 PyTorch 기반의 해킹 가능한 FP8 백엔드로, 이전 두 엔진보다 접근하기 쉽도록 설계되었습니다. ao의 이전 두 엔진과 비교했을 때 핵심 차이점 중 하나는 수치적 안정성을 위해 모델의 첫 번째 및 마지막 레이어를 일반 정밀도(FP32 또는 BF16)로 유지하고, 나머지 레이어만 FP8로 양자화하는 것이 일반적으로 더 좋다는 점입니다. 따라서 ao의 설정은 다음과 같이 약간 다르게 보입니다:

참고: 이 API는 실험적이며 변경될 수 있습니다

from accelerate import Accelerator
from accelerate.utils import AORecipeKwargs, TorchDynamoPlugin, FullyShardedDataParallelPlugin
from torchao.float8 import Float8LinearConfig

fsdp2_plugin = FullyShardedDataParallelPlugin(
  fsdp_version=2,
  cpu_ram_efficient_loading=False, # CPU RAM efficient loading CANNOT work with fp8 torchao
  fsdp_auto_wrap_policy="TRANSFORMER_BASED_WRAP",
)
dynamo_plugin = TorchDynamoPlugin(
  backend="inductor",
  use_regional_compilation=True,
)
fp8_config = Float8LinearConfig(
  enable_fsdp_float8_all_gather=True, # Use FP8 all_gather in FSDP2
  pad_inner_dim=True,
)
kwargs = [AORecipeKwargs(
  config=fp8_config
)]
accelerator = Accelerator(
  mixed_precision="fp8",
  fsdp_plugin=fsdp2_plugin,
  dynamo_plugin=dynamo_plugin,
  kwarg_handlers=kwargs,
)

또는 --fp8_backend=ao ...를 통해 accelerate launch 실행 시 사용할 수 있습니다. 관련 인수를 확인하려면 accelerate launch --fp8_backend=ao -h를 사용하세요.

마찬가지로, config.yaml에서 이를 설정할 수 있습니다:

mixed_precision: fp8
fsdp_config:
  fsdp_auto_wrap_policy: TRANSFORMER_BASED_WRAP
  fsdp_cpu_ram_efficient_loading: false
  fsdp_version: 2
fp8_config:
  backend: AO
  pad_inner_dim: true
  enable_fsdp_float8_all_gather: true
dynamo_config:
  dynamo_backend: INDUCTOR
  dynamo_use_regional_compilation: true

구체적으로 사용할 매개변수에 대해 자세히 알아보려면 공식 torchao 저장소를 참고하세요.

예제 Zoo

accelerate 레포지토리에서 accelerate와 그 기반 구현을 모두 사용하여 FP8로 학습하는 예제를 제공합니다. 현재 다음을 보여주는 스크립트를 지원합니다:

  • 단일 GPU
  • 분산 데이터 병렬성(멀티-GPU)
  • Fully Sharded Data Parallelism
  • DeepSpeed ZeRO 1~3

자세한 내용은 여기에서 확인하세요.

추가 자료

FP8으로 학습하는 방법에 대해 자세히 알아보려면 다음 리소스를 확인하세요:

Update on GitHub