Transformers documentation
llama.cpp
Comenzar
Clases base
Modelos
Preprocesadores
Inferencia
API de Pipeline
Generar API
Optimización
Chatear con modelos
Servicio
Entrenamiento
Hardware
Cuantización
Integraciones del ecosistema
Motores de inferencia
Despliegue local
Preentrenamiento
Ajuste fino
Recursos
API
llama.cpp
llama.cpp es un motor de inferencia en C/C++ para desplegar modelos de lenguaje de gran escala de forma local. Es ligero y no requiere Python, CUDA ni otra infraestructura de servidor pesada. llama.cpp utiliza el formato de archivo GGUF. GGUF admite pesos de modelo cuantizados y memoria mapeada para reducir el ancho de banda de memoria en tu dispositivo.
Busca en el Hub modelos que ya estén disponibles en formato GGUF.
Convierte cualquier modelo de Transformers al formato GGUF con el script convert_hf_to_gguf.py.
python3 convert_hf_to_gguf.py ./models/openai/gpt-oss-20b \ --outfile gpt-oss-20b.gguf \
Despliega el modelo localmente desde la línea de comandos con llama-cli o inicia una interfaz web con llama-server. Añade la bandera -hf para indicar que el modelo proviene del Hub.
llama-cli
llama-server
llama-cli -hf ggml-org/gpt-oss-20b-GGUF
llama-server -hf ggml-org/gpt-oss-20b-GGUF
Integración con Transformers
- AutoConfig.from_pretrained() carga el archivo
config.jsondel modelo para extraer metadatos. - AutoTokenizer.from_pretrained() extrae el vocabulario y la configuración del tokenizador.
- En función del campo
architecturesde la configuración, el script selecciona una clase de conversor de su registro interno. El registro asocia los nombres de arquitectura de Transformers (como LlamaForCausalLM) con las clases de conversor correspondientes. - El conversor mapea los nombres de tensores de Transformers (por ejemplo,
model.layers.0.self_attn.q_proj.weight) a nombres de tensores GGUF, transforma los tensores y empaqueta el vocabulario. - La salida es un único archivo GGUF que contiene los pesos del modelo, el tokenizador y los metadatos.
Recursos
- Documentación de llama.cpp
- artículo de blog Introducción a ggml