Accelerate documentation

Amazon SageMaker

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Amazon SageMaker

A Hugging Face e a Amazon apresentaram novos contêineres de aprendizado profundo da Hugging Face (DLCs) para tornar mais fácil do que nunca treinar modelos Transformer da Hugging Face no Amazon SageMaker.

Começando

Configuração & Instalação

Antes de executar seus scripts do Accelerate no Amazon SageMaker, você precisa se cadastrar em uma conta AWS. Se você ainda não tem uma conta AWS, saiba mais aqui.

Depois de ter sua conta AWS, você precisa instalar o sdk sagemaker para o Accelerate com:

pip install "accelerate[sagemaker]" --upgrade

O Accelerate atualmente usa os DLCs, com transformers, datasets e tokenizers pré-instalados. O Accelerate ainda não está no DLC (será adicionado em breve!), portanto, para usá-lo no Amazon SageMaker, você precisa criar um requirements.txt no mesmo diretório em que seu script de treinamento está localizado e adicioná-lo como dependência:

accelerate

Você também deve adicionar quaisquer outras dependências que tiver a este requirements.txt.

Configure o Accelerate

Você pode configurar a configuração de lançamento para o Amazon SageMaker da mesma forma que faz para os trabalhos de treinamento não-SageMaker com a CLI do Accelerate:

accelerate config
# In which compute environment are you running? ([0] This machine, [1] AWS (Amazon SageMaker)): 1

O Accelerate passará por um questionário sobre a sua configuração do Amazon SageMaker e criará um arquivo de configuração que você pode editar.

O Accelerate não salva nenhuma das suas credenciais.

Prepare um script de fine-tuning do Accelerate

O script de treinamento é muito semelhante a um script de treinamento que você talvez execute fora do SageMaker, mas para salvar seu modelo após o treinamento, você precisa especificar /opt/ml/model ou usar os.environ["SM_MODEL_DIR"] como seu diretório de salvamento. Após o treinamento, os artefatos neste diretório são enviados para o S3:

- torch.save('/opt/ml/model`)
+ accelerator.save('/opt/ml/model')

O SageMaker não suporta ações do argparse. Se você quiser usar, por exemplo, hiperparâmetros booleanos, precisa especificar type como bool no seu script e fornecer um valor explícito True ou False para esse hiperparâmetro. [REF].

Iniciar o Treinamento

Você pode iniciar seu treinamento com o Accelerate CLI com:

accelerate launch path_to_script.py --args_to_the_script

Isso iniciará seu script de treinamento usando sua configuração. A única coisa que você precisa fazer é fornecer todos os argumentos necessários para o seu script de treinamento como argumentos nomeados.

Exemplos

Se você executar um dos scripts de exemplo, não se esqueça de adicionar accelerator.save('/opt/ml/model') a ele.

accelerate launch ./examples/sagemaker_example.py

Saídas:

Configuring Amazon SageMaker environment
Converting Arguments to Hyperparameters
Creating Estimator
2021-04-08 11:56:50 Starting - Starting the training job...
2021-04-08 11:57:13 Starting - Launching requested ML instancesProfilerReport-1617883008: InProgress
.........
2021-04-08 11:58:54 Starting - Preparing the instances for training.........
2021-04-08 12:00:24 Downloading - Downloading input data
2021-04-08 12:00:24 Training - Downloading the training image..................
2021-04-08 12:03:39 Training - Training image download completed. Training in progress..
........
epoch 0: {'accuracy': 0.7598039215686274, 'f1': 0.8178438661710037}
epoch 1: {'accuracy': 0.8357843137254902, 'f1': 0.882249560632689}
epoch 2: {'accuracy': 0.8406862745098039, 'f1': 0.8869565217391304}
........
2021-04-08 12:05:40 Uploading - Uploading generated training model
2021-04-08 12:05:40 Completed - Training job completed
Training seconds: 331
Billable seconds: 331
You can find your model data at: s3://your-bucket/accelerate-sagemaker-1-2021-04-08-11-56-47-108/output/model.tar.gz

Recursos Avançados

Treinamento Distribuído: Paralelismo de Dados

Configure o config do accelerate executando accelerate config e respondendo às perguntas do SageMaker para configurá-lo. Para usar o DDP do SageMaker, selecione-o quando for perguntado What is the distributed mode? ([0] No distributed training, [1] data parallelism):. Exemplo de config abaixo:

base_job_name: accelerate-sagemaker-1
compute_environment: AMAZON_SAGEMAKER
distributed_type: DATA_PARALLEL
ec2_instance_type: ml.p3.16xlarge
iam_role_name: xxxxx
image_uri: null
mixed_precision: fp16
num_machines: 1
profile: xxxxx
py_version: py10
pytorch_version: 2.5.0
region: us-east-1
transformers_version: 4.17.0
use_cpu: false

Treinamento Distribuído: Paralelismo de Modelo

atualmente em desenvolvimento, será suportado em breve.

Pacotes e dependências do Python

O Accelerate atualmente usa os DLCs, com transformers, datasets e tokenizers pré-instalados. Se você quiser usar pacotes Python diferentes/outros, pode fazer isso adicionando-os ao requirements.txt. Esses pacotes serão instalados antes do início do seu script de treinamento.

Treinamento local: modo local do SageMaker

O modo local no SDK do SageMaker permite executar seu script de treinamento localmente dentro do HuggingFace DLC (Deep Learning container) ou usando sua imagem de container personalizada. Isso é útil para depurar e testar seu script de treinamento dentro do ambiente de container final. O modo local usa Docker compose (Observação: o Docker Compose V2 ainda não é suportado). O SDK cuidará da autenticação contra o ECR para puxar o DLC para o seu ambiente local. Você pode emular jobs de treinamento do SageMaker com CPU (instância única e múltiplas instâncias) e GPU (instância única).

Para usar o modo local, você precisa definir seu ec2_instance_type como local.

ec2_instance_type: local

Configuração avançada

A configuração permite que você substitua parâmetros do Estimator. Essas configurações precisam ser aplicadas no arquivo de configuração e não fazem parte do accelerate config. Você pode controlar muitos outros aspectos do trabalho de treinamento, por exemplo, usar instâncias Spot, habilitar isolamento de rede e muito mais.

additional_args:
  # enable network isolation to restrict internet access for containers
  enable_network_isolation: True

Você pode encontrar todas as configurações disponíveis aqui.

Use Instâncias Spot

Você pode usar Spot Instances, por exemplo, usando (veja Configuração avançada):

additional_args:
  use_spot_instances: True
  max_wait: 86400

Observação: Spot Instances estão sujeitos a encerramento e o treinamento deve ser retomado a partir de um checkpoint. Isso não é tratado pelo Accelerate por padrão. Entre em contato conosco se você deseja essa funcionalidade.

Scripts remotos: use scripts localizados no Github

ainda não definido se o recurso é necessário. Entre em contato conosco se você deseja esse recurso.

Update on GitHub