Accelerate documentation
Biên dịch
Biên dịch
Tổng quan
Pytorch 2.0 đã giới thiệu torch.compile, một tính năng mạnh mẽ giúp mã PyTorch chạy nhanh hơn bằng cách biên dịch JIT mã PyTorch thành các kernel tối ưu. Các tính năng chính của torch.compile bao gồm:
- Cải thiện hiệu năng: Tăng tốc đáng kể việc thực thi mô hình bằng cách tối ưu hóa đồ thị tính toán.
- Dễ sử dụng: Chỉ cần thay đổi tối thiểu mã để triển khai, giúp việc tiếp cận trở nên dễ dàng hơn.
- Tương thích: Hoạt động liền mạch với mã và mô hình PyTorch hiện có.
Khi được sử dụng cùng Accelerate, torch.compile tích hợp liền mạch vào các quy trình huấn luyện phân tán, cho phép bạn tận dụng đồng thời cả thực thi phân tán và các tối ưu hóa biên dịch.
Việc thực thi mã đã biên dịch lần đầu thường mất nhiều thời gian hơn do bao gồm thời gian biên dịch, nhưng các lần chạy sau đó nhanh hơn đáng kể. Để đạt hiệu suất tối ưu trong các kịch bản khác nhau, torch.compile cung cấp các chế độ khác nhau như "default", "reduce-overhead" (sử dụng CUDA graphs để giảm thêm overhead) và "max-autotune" (thực hiện autotuning chuyên sâu để tìm các kernel tốt nhất cho mô hình của bạn).
Sử dụng torch.compile với Accelerate
Accelerate cung cấp TorchDynamoPlugin để tích hợp torch.compile một cách dễ dàng và liền mạch vào các script huấn luyện của bạn.
from accelerate import Accelerator
from accelerate.utils import TorchDynamoPlugin
# Configure the compilation backend
dynamo_plugin = TorchDynamoPlugin(
backend="inductor", # Options: "inductor", "aot_eager", "aot_nvfuser", etc.
mode="default", # Options: "default", "reduce-overhead", "max-autotune"
fullgraph=True,
dynamic=False
)
# Initialize accelerator with the plugin
accelerator = Accelerator(dynamo_plugin=dynamo_plugin)
# This will apply torch.compile to your model
model = accelerator.prepare(model)Nó tương thích với tất cả các tính năng và plugin khác của Accelerate, bao gồm mixed precision, distributed training (DDP, FSDP, Deepspeed), v.v.
Biên dịch theo vùng
Thay vì cố gắng biên dịch toàn bộ mô hình, vốn thường có không gian tối ưu hóa rất lớn, biên dịch theo vùng nhắm vào các khối lặp lại của cùng một lớp và biên dịch chúng tuần tự để tận dụng bộ nhớ đệm của trình biên dịch. Ví dụ, trong GPT2LMHeadModel, khối/lớp lặp lại là GPT2Block, và có thể truy cập qua model.transformer.h[0]. Phần còn lại của mô hình (ví dụ model.lm_head) được biên dịch riêng biệt.
Điều này cho phép chúng ta tăng tốc độ biên dịch / khởi động lạnh của các mô hình như LLM và Transformers nói chung. Xem https://pytorch.org/tutorials/recipes/regional_compilation.html để biết thêm chi tiết.
Cách sử dụng Biên dịch Khu vực
Có thể bật tính năng này bằng cách đặt use_regional_compilation=True trong cấu hình TorchDynamoPlugin:
# Configure the compilation backend
dynamo_plugin = TorchDynamoPlugin(
use_regional_compilation=True,
... # other parameters
)
# Initialize accelerator with the plugin
accelerator = Accelerator(dynamo_plugin=dynamo_plugin)
# This will apply compile_regions to your model
model = accelerator.prepare(model)Bạn cũng có thể sử dụng tiện ích accelerate.utils.compile_regions trực tiếp theo cách tương tự như khi sử dụng torch.compile.
Lợi ích của Biên dịch Khu vực
Chúng tôi đã thực hiện các bài kiểm tra hiệu năng (benchmark) chuyên sâu so sánh biên dịch toàn bộ và biên dịch theo vùng bằng tính năng torch.compile trong PyTorch. Kết quả đầy đủ có sẵn trong accelerate repository. Những phát hiện chính từ các bài kiểm tra của chúng tôi là:
- Hiệu năng tương đương: Biên dịch khu vực mang lại tốc độ tăng hiệu năng tương tự như biên dịch toàn bộ, đặc biệt là với các mô hình lớn hơn.
- Biên dịch nhanh hơn: Biên dịch theo vùng giảm đáng kể thời gian biên dịch mô hình, giúp đây trở thành lựa chọn hiệu quả hơn cho triển khai.
- Tác động của kích thước lô: Sự khác biệt về hiệu suất giữa các chiến lược biên dịch giảm đi khi kích thước lô lớn hơn, cho thấy chi phí biên dịch ít gây ảnh hưởng hơn trong các kịch bản đó.
- Xét về kích thước mô hình: Lợi ích của việc biên dịch theo vùng rõ rệt hơn ở các mô hình lớn, nơi thời gian biên dịch được tiết kiệm có thể rất đáng kể.
- Ứng dụng thực tế: Đối với các ứng dụng thực tế, biên dịch theo vùng là lựa chọn thực dụng để tối ưu hóa thời gian khởi động lạnh của quá trình huấn luyện, đặc biệt khi làm việc với các mô hình lớn.
Kết luận
Cả biên dịch toàn phần và biên dịch theo vùng đều có thể tăng tốc đáng kể cho các mô hình của bạn. Biên dịch theo vùng mang lại sự cân bằng thực tế giữa thời gian biên dịch và hiệu suất thời gian chạy, đặc biệt là khi huấn luyện các mô hình lớn với kích thước lô (batch size) lớn.
Update on GitHub