Transformers documentation
llama.cpp
Başlayın
Taban sınıfları
Modeller
Önişleyiciler
Çıkarım
Pipeline API
Generate API
Optimizasyon
Modellerle sohbet edin
Sunum
Eğitim
Donanım
Kantizasyon
Ekosistem entegrasyonları
Kaynaklar
API
llama.cpp
llama.cpp, büyük dil modellerini yerel olarak dağıtmak için kullanılan bir C/C++ çıkarım motorudur. Hafiftir ve Python, CUDA veya diğer ağır sunucu altyapılarını gerektirmez. llama.cpp, GGUF dosya biçimini kullanır. GGUF, cihazınızdaki bellek bant genişliğini azaltmak için nicelleştirilmiş model ağırlıklarını ve bellek eşlemesini destekler.
GGUF biçiminde zaten mevcut modeller için Hub'ı gözden geçirin.
Herhangi bir Transformers modelini convert_hf_to_gguf.py betiğiyle GGUF biçimine dönüştürün.
python3 convert_hf_to_gguf.py ./models/openai/gpt-oss-20b \ --outfile gpt-oss-20b.gguf \
Modeli komut satırından llama-cli ile yerel olarak dağıtın veya llama-server ile bir web arayüzü başlatın. Modelin Hub'dan geldiğini belirtmek için -hf bayrağını ekleyin.
llama-cli
llama-server
llama-cli -hf ggml-org/gpt-oss-20b-GGUF
llama-server -hf ggml-org/gpt-oss-20b-GGUF
Transformers entegrasyonu
- AutoConfig.from_pretrained(), modelin
config.jsondosyasını yükleyerek meta verileri çıkarır. - AutoTokenizer.from_pretrained() sözlüğü ve tokenizer yapılandırmasını çıkarır.
- Yapılandırma dosyasındaki
architecturesalanına dayanarak, betik dahili kayıt defterinden bir dönüştürücü sınıfı seçer. Kayıt defteri, Transformers mimari adlarını (örneğin LlamaForCausalLM) ilgili dönüştürücü sınıflarına eşler. - Dönüştürücü, Transformers tensör adlarını (örneğin,
model.layers.0.self_attn.q_proj.weight) GGUF tensör adlarına eşler, tensörleri dönüştürür ve sözlüğü paketler. - Çıktı, model ağırlıklarını, belirteçleyiciyi (tokenizer) ve meta verileri içeren tek bir GGUF dosyasıdır.
Kaynaklar
- llama.cpp belgeleri
- ggml'ye Giriş blog yazısı