Bir model derle

Kantizasyon bellek tasarrufu sağlar, ancak her matmul içinde ağırlıkları dekantize etmek, üretimi bf16'ya kıyasla yavaşlatabilir. torch.compile bu işi optimize edilmiş çekirdeklere birleştirir ve hızın büyük kısmını geri kazanır.

generate içinde otomatik olarak derle

generate(), tüm bu koşullar sağlandığında modelin ileri geçişini otomatik olarak derler.

• Kantizasyon yöntemi derlemeyi destekler (compressed-tensors, Fine-grained FP8, GGUF, NVFP4 ve torchao).
• Model, static cache gibi sabit boyutlu bir önbellek kullanır.
• Model, CUDA, XPU, Neuron veya TPU üzerinde çalışır.
• Modelin hiçbir parçası CPU'ya veya diske aktarılmaz.

generate() fonksiyonuna cache_implementation="static" parametresini iletin. Aşağıdaki örnek, torchao int8 weight-only kuantizasyonunu kullanır.

import torch
from torchao.quantization import Int8WeightOnlyConfig
from transformers import AutoModelForCausalLM, AutoTokenizer, TorchAoConfig

model_id = "Qwen/Qwen3-0.6B"
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    quantization_config=TorchAoConfig(quant_type=Int8WeightOnlyConfig()),
    device_map="cuda",
)
tokenizer = AutoTokenizer.from_pretrained(model_id)

inputs = tokenizer("The capital of France is", return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=32, cache_implementation="static")
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Model derlenirken ilk çağrılar yavaştır. Aynı şekillere sahip sonraki çağrılar, derlenmiş çekirdekleri yeniden kullanır.

Otomatik derlemeyi kapatmak için generate() fonksiyonuna disable_compile=True parametresini iletin.