vLLM

vLLM là một bộ máy suy luận thông lượng cao để phục vụ các LLM ở quy mô lớn. Nó liên tục nhóm các yêu cầu thành lô và giữ bộ nhớ cache KV gọn gàng bằng PagedAttention.

Đặt model_impl="transformers" để tải mô hình bằng cách sử dụng backend modeling của Transformers.

from vllm import LLM

llm = LLM(model="meta-llama/Llama-3.2-1B", model_impl="transformers")
print(llm.generate(["The capital of France is"]))

Truyền --model-impl transformers vào lệnh vllm serve để triển khai trực tuyến.

vllm serve meta-llama/Llama-3.2-1B \
    --task generate \
    --model-impl transformers

Tích hợp Transformers

AutoConfig.from_pretrained() nạp config.json của mô hình từ Hub hoặc bộ nhớ đệm Hugging Face của bạn. vLLM kiểm tra trường architectures với sổ đăng ký mô hình nội bộ để xác định lớp mô hình vLLM cần sử dụng.
Nếu model không có trong registry, vLLM sẽ gọi AutoModel.from_config() để tải implementation của model Transformers thay thế.
AutoTokenizer.from_pretrained() tải các tệp tokenizer. vLLM lưu trữ tạm thời một số thành phần bên trong của tokenizer để giảm chi phí trong quá trình suy luận.
Trọng số mô hình được tải xuống từ Hub ở định dạng safetensors.

Việc đặt model_impl="transformers" sẽ bỏ qua model registry của vLLM và tải trực tiếp từ Transformers. vLLM thay thế hầu hết các module mô hình (MoE, attention, linear layers) bằng các phiên bản tối ưu của riêng nó trong khi vẫn giữ nguyên cấu trúc mô hình của Transformers.

Tài nguyên

Tài liệu vLLM để xem thêm các ví dụ sử dụng và mẹo.
Tích hợp với Hugging Face giải thích cách vLLM tích hợp với Transformers.

Update on GitHub