Transformers documentation

llama.cpp

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

llama.cpp

llama.cpp, büyük dil modellerini yerel olarak dağıtmak için kullanılan bir C/C++ çıkarım motorudur. Hafiftir ve Python, CUDA veya diğer ağır sunucu altyapılarını gerektirmez. llama.cpp, GGUF dosya biçimini kullanır. GGUF, cihazınızdaki bellek bant genişliğini azaltmak için nicelleştirilmiş model ağırlıklarını ve bellek eşlemesini destekler.

GGUF biçiminde zaten mevcut modeller için Hub'ı gözden geçirin.

Herhangi bir Transformers modelini convert_hf_to_gguf.py betiğiyle GGUF biçimine dönüştürün.

python3 convert_hf_to_gguf.py ./models/openai/gpt-oss-20b \
  --outfile gpt-oss-20b.gguf \

Modeli komut satırından llama-cli ile yerel olarak dağıtın veya llama-server ile bir web arayüzü başlatın. Modelin Hub'dan geldiğini belirtmek için -hf bayrağını ekleyin.

llama-cli
llama-server
llama-cli -hf ggml-org/gpt-oss-20b-GGUF

Transformers entegrasyonu

  1. AutoConfig.from_pretrained(), modelin config.json dosyasını yükleyerek meta verileri çıkarır.
  2. AutoTokenizer.from_pretrained() sözlüğü ve tokenizer yapılandırmasını çıkarır.
  3. Yapılandırma dosyasındaki architectures alanına dayanarak, betik dahili kayıt defterinden bir dönüştürücü sınıfı seçer. Kayıt defteri, Transformers mimari adlarını (örneğin LlamaForCausalLM) ilgili dönüştürücü sınıflarına eşler.
  4. Dönüştürücü, Transformers tensör adlarını (örneğin, model.layers.0.self_attn.q_proj.weight) GGUF tensör adlarına eşler, tensörleri dönüştürür ve sözlüğü paketler.
  5. Çıktı, model ağırlıklarını, belirteçleyiciyi (tokenizer) ve meta verileri içeren tek bir GGUF dosyasıdır.

Kaynaklar

Update on GitHub