Transformers documentation

llama.cpp

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

llama.cpp

llama.cpp는 대규모 언어 모델을 로컬에 배포하기 위한 C/C++ 추론 엔진입니다. 가볍고 Python, CUDA 또는 기타 무거운 서버 인프라가 필요하지 않습니다. llama.cpp는 GGUF 파일 형식을 사용합니다. GGUF는 양자화된 모델 가중치와 메모리 매핑을 지원하여 디바이스의 메모리 대역폭을 줄입니다.

GGUF 형식으로 이미 사용 가능한 모델을 Hub에서 찾아보세요.

convert_hf_to_gguf.py 스크립트를 사용하여 Transformers 모델을 GGUF 형식으로 변환할 수 있습니다.

python3 convert_hf_to_gguf.py ./models/openai/gpt-oss-20b \
  --outfile gpt-oss-20b.gguf \

명령줄에서 llama-cli를 사용하여 모델을 로컬에 배포하거나, llama-server를 사용하여 웹 UI를 시작할 수 있습니다. 모델이 Hub에서 가져온 것임을 나타내기 위해 -hf 플래그를 추가합니다.

llama-cli
llama-server
llama-cli -hf ggml-org/gpt-oss-20b-GGUF

Transformers 통합

  1. AutoConfig.from_pretrained()는 모델의 config.json 파일을 로드하여 메타데이터를 추출합니다.
  2. AutoTokenizer.from_pretrained()는 어휘와 토크나이저 구성을 추출합니다.
  3. config의 architectures 필드를 기반으로 스크립트는 내부 레지스트리에서 변환기 클래스를 선택합니다. 레지스트리는 Transformers 아키텍처 이름(LlamaForCausalLM 등)을 해당 변환기 클래스에 매핑합니다.
  4. 변환기는 Transformers 텐서 이름(예: model.layers.0.self_attn.q_proj.weight)을 GGUF 텐서 이름으로 매핑하고, 텐서를 변환하며, 어휘를 패키징합니다.
  5. 출력은 모델 가중치, 토크나이저, 메타데이터를 포함하는 단일 GGUF 파일입니다.

리소스

Update on GitHub