Accelerate documentation
Amazon SageMaker
Amazon SageMaker
A Hugging Face e a Amazon apresentaram novos contêineres de aprendizado profundo da Hugging Face (DLCs) para tornar mais fácil do que nunca treinar modelos Transformer da Hugging Face no Amazon SageMaker.
Começando
Configuração & Instalação
Antes de executar seus scripts do Accelerate no Amazon SageMaker, você precisa se cadastrar em uma conta AWS. Se você ainda não tem uma conta AWS, saiba mais aqui.
Depois de ter sua conta AWS, você precisa instalar o sdk sagemaker para o Accelerate com:
pip install "accelerate[sagemaker]" --upgradeO Accelerate atualmente usa os DLCs, com transformers, datasets e tokenizers pré-instalados. O Accelerate ainda não está no DLC (será adicionado em breve!), portanto, para usá-lo no Amazon SageMaker, você precisa criar um requirements.txt no mesmo diretório em que seu script de treinamento está localizado e adicioná-lo como dependência:
accelerateVocê também deve adicionar quaisquer outras dependências que tiver a este requirements.txt.
Configure o Accelerate
Você pode configurar a configuração de lançamento para o Amazon SageMaker da mesma forma que faz para os trabalhos de treinamento não-SageMaker com a CLI do Accelerate:
accelerate config
# In which compute environment are you running? ([0] This machine, [1] AWS (Amazon SageMaker)): 1O Accelerate passará por um questionário sobre a sua configuração do Amazon SageMaker e criará um arquivo de configuração que você pode editar.
O Accelerate não salva nenhuma das suas credenciais.
Prepare um script de fine-tuning do Accelerate
O script de treinamento é muito semelhante a um script de treinamento que você talvez execute fora do SageMaker, mas para salvar seu modelo após o treinamento, você precisa especificar /opt/ml/model ou usar os.environ["SM_MODEL_DIR"] como seu diretório de salvamento. Após o treinamento, os artefatos neste diretório são enviados para o S3:
- torch.save('/opt/ml/model`)
+ accelerator.save('/opt/ml/model')O SageMaker não suporta ações do argparse. Se você quiser usar, por exemplo, hiperparâmetros booleanos, precisa especificar type como bool no seu script e fornecer um valor explícito True ou False para esse hiperparâmetro. [REF].
Iniciar o Treinamento
Você pode iniciar seu treinamento com o Accelerate CLI com:
accelerate launch path_to_script.py --args_to_the_scriptIsso iniciará seu script de treinamento usando sua configuração. A única coisa que você precisa fazer é fornecer todos os argumentos necessários para o seu script de treinamento como argumentos nomeados.
Exemplos
Se você executar um dos scripts de exemplo, não se esqueça de adicionar
accelerator.save('/opt/ml/model')a ele.
accelerate launch ./examples/sagemaker_example.py
Saídas:
Configuring Amazon SageMaker environment
Converting Arguments to Hyperparameters
Creating Estimator
2021-04-08 11:56:50 Starting - Starting the training job...
2021-04-08 11:57:13 Starting - Launching requested ML instancesProfilerReport-1617883008: InProgress
.........
2021-04-08 11:58:54 Starting - Preparing the instances for training.........
2021-04-08 12:00:24 Downloading - Downloading input data
2021-04-08 12:00:24 Training - Downloading the training image..................
2021-04-08 12:03:39 Training - Training image download completed. Training in progress..
........
epoch 0: {'accuracy': 0.7598039215686274, 'f1': 0.8178438661710037}
epoch 1: {'accuracy': 0.8357843137254902, 'f1': 0.882249560632689}
epoch 2: {'accuracy': 0.8406862745098039, 'f1': 0.8869565217391304}
........
2021-04-08 12:05:40 Uploading - Uploading generated training model
2021-04-08 12:05:40 Completed - Training job completed
Training seconds: 331
Billable seconds: 331
You can find your model data at: s3://your-bucket/accelerate-sagemaker-1-2021-04-08-11-56-47-108/output/model.tar.gzRecursos Avançados
Treinamento Distribuído: Paralelismo de Dados
Configure o config do accelerate executando accelerate config e respondendo às perguntas do SageMaker para configurá-lo.
Para usar o DDP do SageMaker, selecione-o quando for perguntado What is the distributed mode? ([0] No distributed training, [1] data parallelism):.
Exemplo de config abaixo:
base_job_name: accelerate-sagemaker-1
compute_environment: AMAZON_SAGEMAKER
distributed_type: DATA_PARALLEL
ec2_instance_type: ml.p3.16xlarge
iam_role_name: xxxxx
image_uri: null
mixed_precision: fp16
num_machines: 1
profile: xxxxx
py_version: py10
pytorch_version: 2.5.0
region: us-east-1
transformers_version: 4.17.0
use_cpu: falseTreinamento Distribuído: Paralelismo de Modelo
atualmente em desenvolvimento, será suportado em breve.
Pacotes e dependências do Python
O Accelerate atualmente usa os DLCs, com transformers, datasets e tokenizers pré-instalados. Se você
quiser usar pacotes Python diferentes/outros, pode fazer isso adicionando-os ao requirements.txt. Esses pacotes
serão instalados antes do início do seu script de treinamento.
Treinamento local: modo local do SageMaker
O modo local no SDK do SageMaker permite executar seu script de treinamento localmente dentro do HuggingFace DLC (Deep Learning container) ou usando sua imagem de container personalizada. Isso é útil para depurar e testar seu script de treinamento dentro do ambiente de container final. O modo local usa Docker compose (Observação: o Docker Compose V2 ainda não é suportado). O SDK cuidará da autenticação contra o ECR para puxar o DLC para o seu ambiente local. Você pode emular jobs de treinamento do SageMaker com CPU (instância única e múltiplas instâncias) e GPU (instância única).
Para usar o modo local, você precisa definir seu ec2_instance_type como local.
ec2_instance_type: localConfiguração avançada
A configuração permite que você substitua parâmetros do Estimator.
Essas configurações precisam ser aplicadas no arquivo de configuração e não fazem parte do accelerate config. Você pode controlar muitos outros aspectos do trabalho de treinamento, por exemplo, usar instâncias Spot, habilitar isolamento de rede e muito mais.
additional_args:
# enable network isolation to restrict internet access for containers
enable_network_isolation: TrueVocê pode encontrar todas as configurações disponíveis aqui.
Use Instâncias Spot
Você pode usar Spot Instances, por exemplo, usando (veja Configuração avançada):
additional_args:
use_spot_instances: True
max_wait: 86400Observação: Spot Instances estão sujeitos a encerramento e o treinamento deve ser retomado a partir de um checkpoint. Isso não é tratado pelo Accelerate por padrão. Entre em contato conosco se você deseja essa funcionalidade.
Scripts remotos: use scripts localizados no Github
ainda não definido se o recurso é necessário. Entre em contato conosco se você deseja esse recurso.
Update on GitHub