vLLM

vLLM, LLM'leri ölçekli olarak sunmak için yüksek geçişli bir çıkarım motorudur. İstekleri sürekli olarak toplu işler ve PagedAttention ile KV önbellek belleğini kompakt tutar.

Transformers modelleme arka ucunu kullanarak bir model yüklemek için model_impl="transformers" değerini ayarlayın.

from vllm import LLM

llm = LLM(model="meta-llama/Llama-3.2-1B", model_impl="transformers")
print(llm.generate(["The capital of France is"]))

Çevrimiçi sunum için vllm serve komutuna --model-impl transformers parametresini geçirin.

vllm serve meta-llama/Llama-3.2-1B \
    --task generate \
    --model-impl transformers

Transformers entegrasyonu

1. AutoConfig.from_pretrained(), modelin config.json dosyasını Hub’dan veya Hugging Face önbelleğinizden yükler. vLLM, hangi vLLM model sınıfının kullanılacağını belirlemek için architectures alanını dahili model kayıt defteriyle karşılaştırır.
2. Model kayıt defterinde değilse, vLLM bunun yerine Transformers model uygulamasını yüklemek için AutoModel.from_config() çağrısını yapar.
3. AutoTokenizer.from_pretrained() tokenizer dosyalarını yükler. vLLM, çıkarım sırasında aşırı yükü azaltmak için bazı tokenizer iç bileşenlerini önbelleğe alır.
4. Model ağırlıkları, Hub'dan safetensors biçiminde indirilir.

model_impl="transformers" ayarlandığında vLLM model kayıt defteri atlanır ve model doğrudan Transformers üzerinden yüklenir. vLLM, Transformers model yapısını korurken model modüllerinin çoğunu (MoE, dikkat, doğrusal katmanlar) kendi optimize edilmiş sürümleriyle değiştirir.

Kaynaklar

• Daha fazla kullanım örneği ve ipucu için vLLM belgeleri.
• Hugging Face ile entegrasyon, vLLM'in Transformers ile nasıl entegre edildiğini açıklar.