Accelerate documentation

So sánh hiệu năng giữa các cấu hình phân tán

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

So sánh hiệu năng giữa các cấu hình phân tán

Việc đánh giá và so sánh hiệu suất từ các cấu hình khác nhau có thể khá phức tạp nếu bạn không biết cần chú ý đến điều gì. Ví dụ, bạn không thể chạy cùng một script với cùng một batch size trên TPU, multi-GPU và single-GPU bằng Accelerate rồi kỳ vọng kết quả của mình sẽ khớp nhau.

Nhưng tại sao?

Có ba lý do cho điều này mà hướng dẫn này sẽ đề cập:

  1. Đặt các hạt giống phù hợp
  2. Cỡ Lô Quan Sát Được
  3. Tốc độ học

Đặt hạt giống

Mặc dù vấn đề này không thường xuyên xảy ra, hãy đảm bảo sử dụng utils.set_seed() để đặt seed hoàn chỉnh trong tất cả các trường hợp phân tán nhằm đảm bảo quá trình huấn luyện có thể tái lập được:

from accelerate.utils import set_seed

set_seed(42)

Tại sao điều này lại quan trọng? Bên trong, thao tác này sẽ thiết lập 5 cài đặt seed khác nhau:

    random.seed(seed)
    np.random.seed(seed)
    torch.manual_seed(seed)
    torch.cuda.manual_seed_all(seed) # or torch.xpu.manual_seed_all, etc
    # ^^ safe to call this function even if cuda is not available
    if is_torch_xla_available():
        xm.set_rng_state(seed)

Trạng thái ngẫu nhiên, trạng thái của numpy, torch, trạng thái thiết bị của torch, và trạng thái cuda của torch_xla nếu TPU khả dụng.

Kích thước lô quan sát được

Khi huấn luyện với Accelerate, kích thước lô (batch size) được truyền vào dataloader là kích thước lô trên mỗi GPU. Điều này có nghĩa là kích thước lô 64 trên hai GPU thực chất là kích thước lô 128. Do đó, khi kiểm tra trên một GPU duy nhất, điều này cần được tính đến, cũng như tương tự đối với TPU.

Bảng dưới đây có thể được dùng làm tài liệu tham khảo nhanh để thử nghiệm các kích thước lô khác nhau:

Trong ví dụ này, có hai GPU cho “Multi-GPU” và một TPU pod với 8 worker

Kích thước lô trên một GPUKích thước lô tương đương đa GPUKích thước lô tương đương trên TPU
25612832
1286416
64328
32164

Tốc độ học

Như đã đề cập trong nhiều nguồn [1][2], tốc độ học (learning rate) nên được điều chỉnh tuyến tính dựa trên số lượng thiết bị hiện có. Đoạn mã dưới đây minh họa cách thực hiện điều này với Accelerate:

Vì người dùng có thể tự định nghĩa lịch trình tốc độ học riêng, chúng tôi để người dùng tự quyết định xem có muốn điều chỉnh tốc độ học hay không.

learning_rate = 1e-3
accelerator = Accelerator()
learning_rate *= accelerator.num_processes

optimizer = AdamW(params=model.parameters(), lr=learning_rate)

Bạn cũng sẽ thấy rằng accelerate sẽ điều chỉnh tốc độ học dựa trên số lượng tiến trình đang được huấn luyện. Điều này là do kích thước lô quan sát được đã đề cập ở trên. Vì vậy, trong trường hợp có 2 GPU, tốc độ học sẽ được điều chỉnh thường gấp đôi so với một GPU để bù lại việc kích thước lô lớn gấp đôi (nếu không có thay đổi nào về kích thước lô trên phiên bản một GPU).

Gradient Accumulation và Mixed Precision

Khi sử dụng gradient accumulation và mixed precision, do cách hoạt động của việc trung bình hóa gradient (accumulation) và sự mất mát độ chính xác (mixed precision), việc hiệu suất giảm nhẹ là điều được dự kiến. Điều này sẽ được thể hiện rõ ràng khi so sánh loss theo từng batch giữa các cấu hình tính toán khác nhau. Tuy nhiên, loss tổng thể, metric và hiệu suất chung vào cuối quá trình huấn luyện nên gần như giống nhau.

Update on GitHub