Transformers documentation

llama.cpp

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

llama.cpp

llama.cpp es un motor de inferencia en C/C++ para desplegar modelos de lenguaje de gran escala de forma local. Es ligero y no requiere Python, CUDA ni otra infraestructura de servidor pesada. llama.cpp utiliza el formato de archivo GGUF. GGUF admite pesos de modelo cuantizados y memoria mapeada para reducir el ancho de banda de memoria en tu dispositivo.

Busca en el Hub modelos que ya estén disponibles en formato GGUF.

Convierte cualquier modelo de Transformers al formato GGUF con el script convert_hf_to_gguf.py.

python3 convert_hf_to_gguf.py ./models/openai/gpt-oss-20b \
  --outfile gpt-oss-20b.gguf \

Despliega el modelo localmente desde la línea de comandos con llama-cli o inicia una interfaz web con llama-server. Añade la bandera -hf para indicar que el modelo proviene del Hub.

llama-cli
llama-server
llama-cli -hf ggml-org/gpt-oss-20b-GGUF

Integración con Transformers

  1. AutoConfig.from_pretrained() carga el archivo config.json del modelo para extraer metadatos.
  2. AutoTokenizer.from_pretrained() extrae el vocabulario y la configuración del tokenizador.
  3. En función del campo architectures de la configuración, el script selecciona una clase de conversor de su registro interno. El registro asocia los nombres de arquitectura de Transformers (como LlamaForCausalLM) con las clases de conversor correspondientes.
  4. El conversor mapea los nombres de tensores de Transformers (por ejemplo, model.layers.0.self_attn.q_proj.weight) a nombres de tensores GGUF, transforma los tensores y empaqueta el vocabulario.
  5. La salida es un único archivo GGUF que contiene los pesos del modelo, el tokenizador y los metadatos.

Recursos

Update on GitHub