vLLM

vLLM adalah mesin inferensi ber-throughput tinggi untuk menyajikan LLM dalam skala besar. Mesin ini secara terus-menerus melakukan batching permintaan dan menjaga memori KV cache tetap ringkas dengan PagedAttention.

Setel model_impl="transformers" untuk memuat model menggunakan backend pemodelan Transformers.

from vllm import LLM

llm = LLM(model="meta-llama/Llama-3.2-1B", model_impl="transformers")
print(llm.generate(["The capital of France is"]))

Lewati --model-impl transformers ke perintah vllm serve untuk penyajian online.

vllm serve meta-llama/Llama-3.2-1B \
    --task generate \
    --model-impl transformers

Integrasi Transformers

1. AutoConfig.from_pretrained() memuat config.json model dari Hub atau cache Hugging Face Anda. vLLM memeriksa field architectures terhadap registry model internalnya untuk menentukan kelas model vLLM mana yang akan digunakan.
2. Jika model tidak ada di registry, vLLM memanggil AutoModel.from_config() untuk memuat implementasi model Transformers sebagai gantinya.
3. AutoTokenizer.from_pretrained() memuat file tokenizer. vLLM meng-cache beberapa bagian internal tokenizer untuk mengurangi overhead selama inferensi.
4. Bobot model diunduh dari Hub dalam format safetensors.

Menetapkan model_impl="transformers" melewati registri model vLLM dan memuat langsung dari Transformers. vLLM mengganti sebagian besar modul model (MoE, attention, linear layers) dengan versi optimalnya sendiri sambil mempertahankan struktur model Transformers.

Sumber daya

• Dokumentasi vLLM untuk contoh penggunaan dan tips lainnya.
• Integrasi dengan Hugging Face menjelaskan bagaimana vLLM terintegrasi dengan Transformers.