# Bir modeli kaydet ve paylaş

Yükleme sırasında modelin kuantize edilmesinin ardından kaydedilmesi, bir sonraki seferde kuantizasyon adımını atlamayı size ve paylaştığınız herkese sağlar. [GPTQ](./gptq) gibi kalibrasyon yöntemleri, kalibrasyonun dakikalardan saatlere kadar sürebilmesi nedeniyle bundan en çok fayda görür.

## Modeli kaydet

Kantize edilmiş modelde [save_pretrained()](/docs/transformers/main/tr/main_classes/model#transformers.PreTrainedModel.save_pretrained) çağrılarak kantize ağırlıklar yazılır ve `quantization_config`, `config.json` dosyasına eklenir.

```py
from transformers import AutoModelForCausalLM, BitsAndBytesConfig

quantization_config = BitsAndBytesConfig(load_in_4bit=True)
model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-0.6B",
    quantization_config=quantization_config,
    device_map="auto",
)
model.save_pretrained("Qwen3-0.6B-bnb-4bit")
```

Kontrol noktasının eksiksiz olması için tokenizer'ı aynı dizine kaydedin.

## Modeli Hub'a gönder

Kantize ağırlıkları ve yapılandırmayı bir Hub deposuna yüklemek için [push_to_hub()](/docs/transformers/main/tr/main_classes/model#transformers.utils.PushToHubMixin.push_to_hub) çağrın. Önce `hf auth login` ile oturum açın.

```py
model.push_to_hub("Qwen3-0.6B-bnb-4bit")
```

## Kaydedilen modeli yükleyin

Kaydedilen checkpoint'i [from_pretrained()](/docs/transformers/main/tr/main_classes/model#transformers.PreTrainedModel.from_pretrained) ile ve herhangi bir kuantizasyon yapılandırması olmadan yükleyin. Transformers, `config.json` içindeki `quantization_config` alanından yöntemi okur ve ağırlıkları zaten kuantize edilmiş halde yükler.

```py
from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("your-username/Qwen3-0.6B-bnb-4bit", device_map="auto")
```

Yöntemin kütüphanesi, kontrol noktasının yüklendiği her yerde kurulmuş olmalıdır.

## Kaydedemeyen yöntemler

Bazı yöntemler, kuantize edilmiş ağırlıklarını kaydedemez ve [save_pretrained()](/docs/transformers/main/tr/main_classes/model#transformers.PreTrainedModel.save_pretrained) bu yöntemler için bir `ValueError` fırlatır.

| Yöntem | Neden |
|---|---|
| [GGUF](./gguf) | Ağırlıklar GGUF dosyasından yüklenir. Bunun yerine [llama.cpp](https://github.com/ggml-org/llama.cpp) araçlarıyla GGUF biçiminde kaydedin. |
| [NVFP4](./nvfp4) | Kaydetme desteklenmiyor. Modeli yüklediğinizde yeniden kuantize edin. |
| [Quanto](./quanto) | Kaydetme, Transformers üzerinden desteklenmez. |
| [Quark](./quark) | Kaydetme, Transformers üzerinden desteklenmez. |
| ExLlama arka ucuyla [AWQ](./awq) | ExLlama arka uçlarıyla kaydetme desteklenmez. Modeli kaydetmek için başka bir arka uçla yükleyin. |

Bir [PEFT](../peft) adaptörü eklenmiş kuantize bir model istisnadır. [save_pretrained()](/docs/transformers/main/tr/main_classes/model#transformers.PreTrainedModel.save_pretrained) yalnızca adaptör ağırlıklarını kaydettiği için herhangi bir yöntemle çalışır.

Bunun yerine modeli tam hassasiyette kaydetmek için önce onu dequantize edin. [Bir modeli dequantize etme](./dequantize) bölümüne bakın.