AutoRound
AutoRound 是一种先进的量化算法,即使在 2-bit 精度下也能保持出色的精度。 它利用符号梯度下降,仅需 200 步即可对舍入值和 min-max 裁剪阈值进行微调。该算法专为广泛的兼容性而设计,无缝支持多种 LLM,并正在积极扩展以覆盖更多 VLM。 它还支持在 CPU、XPU 和 CUDA 等多种硬件平台上进行量化和推理。
AutoRound 还提供了多种实用功能,包括自动混合位宽调优与推理、对 MXFP4 和 NVFP4 数据类型的支持、无模型量化、导出为 GPTQ、AWQ、GGUF 和 LLM-Compressor 等格式,以及灵活的调优配方。 如需全面了解及最新更新,请参阅 AutoRound 的 README。
AutoRound 最初是作为 Intel Neural Compressor 的一部分开发的,作为面向深度学习的通用模型压缩库。 此后,它已发展为一个独立的库,专门针对大语言模型(LLM)的低精度优化。 AutoRound 仍与 Intel Neural Compressor 保持完全集成,您可以查阅该仓库以获取更多详细信息。
安装
pip install auto-round
支持的量化配置
AutoRound 支持以下量化配置:
- INT2–INT8 仅权重
- 混合位宽仅权重
- GGUF Q*_K
- MXFP(有限支持)
- NVFP4(有限支持)
硬件兼容性
用于量化和推理的 CPU、XPU 和 CUDA。
量化与序列化(离线)
目前,仅支持离线模式来生成量化模型。
命令行用法
auto-round \
--model Qwen/Qwen3-0.6B \
--scheme "W4A16" \
--group_size 128 \
--output_dir ./tmp_autoroundAutoRound 还提供了另外四种配方:auto-round-best、auto-round-light、auto-round-opt-rtn 和 auto-round-rtn,分别旨在实现最佳精度和更快的速度。
对于 2 bits,我们建议使用 auto-round-best 并配合 --enable_alg_ext。
AutoScheme 用法
AutoScheme 是一项功能,它可以在几分钟内为每个待量化的层从可用选项中自动选择最佳量化方案,同时满足目标平均位宽的要求。
auto-round \
--model Qwen/Qwen3-0.6B \
--options "W4A16,W2A16G64" \
--target_bits 3.5 \
--output_dir ./tmp_autoround算法组合
AutoRound 支持组合多种算法,例如 AutoRound、AutoRound + AWQ 以及 AutoRound + AWQ + Hadamard(支持非常有限)。我们目前正在扩展对更多算法的支持。这有助于进一步优化量化结果,尤其是在涉及量化激活值的场景中。
auto-round \
--model Qwen/Qwen3-0.6B \
--algs "autoround,awq" \
--output_dir ./tmp_autoroundAutoRound API 用法
该设置在精度与调优成本之间提供了更好的平衡,推荐在所有场景中使用。
from auto_round import AutoRound
model_name = "Qwen/Qwen3-0.6B"
# mixed bits config
# layer_config = {"model.decoder.layers.6.self_attn.out_proj": {"bits": 2, "group_size": 32}}
ar = AutoRound(
model_name,
scheme="W4A16",
# enable_torch_compile=True,
# layer_config=layer_config,
)
output_dir = "./tmp_autoround"
# format= 'auto_round'(default), 'llm_compressor', "gguf:q4_k_m", 'auto_gptq', 'auto_awq'
ar.quantize_and_save(output_dir, format='auto_round') AutoRound 最佳方案
该设置在大多数场景下可提供最佳精度,但速度比标准 AutoRound 方案慢 4–5 倍。它特别推荐用于 2-bit 量化,并且在资源充足时是一个不错的选择。
from auto_round import AutoRound
model_name = "Qwen/Qwen3-0.6B"
ar = AutoRound(
model_name,
scheme="W4A16",
nsamples=512,
iters=1000,
)
output_dir = "./tmp_autoround"
ar.quantize_and_save(output_dir, format='auto_round') AutoRoundLight 配方
此设置可提供最佳速度(比 AutoRound 快 2 - 3 倍),但对于小型模型和 2-bit 量化,可能会导致精度显著下降。建议用于 4-bit 设置以及大于 3B 的模型。
from transformers import AutoModelForCausalLM, AutoTokenizer
from auto_round import AutoRound
model_name = "Qwen/Qwen3-0.6B"
ar = AutoRound(
model_name,
iters=50,
lr=5e-3,
)
output_dir = "./tmp_autoround"
ar.quantize_and_save(output_dir, format='auto_round') W4G128 在 13 项任务(mmlu-pro、if_eval、gsm8k 等)上的平均准确率及时间成本结果(测试在 Nvidia A100 80G 上进行,使用 PyTorch 2.6.0 版本并启用 enable_torch_compile):
| 模型 | Qwen2.5-0.5B-Instruct | Falcon3-3B | Qwen2.5-7B-Instruct | Meta-Llama-3.1-8B-Instruct | Falcon3-10B | Qwen2.5-72B-Instruct |
|---|---|---|---|---|---|---|
| 16位 | 0.4192 | 0.5203 | 0.6470 | 0.6212 | 0.6151 | 0.7229 |
| 最佳 | 0.4137(7m) | 0.5142(23m) | 0.6426(58m) | 0.6116(65m) | 0.6092(81m) | 0.7242(575m) |
| 默认 | 0.4129(2m) | 0.5133(6m) | 0.6441(13m) | 0.6106(13m) | 0.6080(18m) | 0.7252(118m) |
| 浅色 | 0.4052(2m) | 0.5108(3m) | 0.6453(5m) | 0.6104(6m) | 0.6063(6m) | 0.7243(37m) |
推理
AutoRound 会根据已安装的库自动选择最佳可用后端,并在发现更优后端时提示用户安装额外的库。
CPU
支持 2、4 和 8 位。我们建议使用 AutoRound Kernel (ARK) 后端进行推理。使用 ARK 需要 PyTorch 2.8.0 或更高版本。
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "OPEA/Qwen2.5-1.5B-Instruct-int4-sym-inc"
model = AutoModelForCausalLM.from_pretrained(model_name, device_map="cpu", dtype="auto")
tokenizer = AutoTokenizer.from_pretrained(model_name)
text = "There is a girl who likes adventure,"
inputs = tokenizer(text, return_tensors="pt").to(model.device)
print(tokenizer.decode(model.generate(**inputs, max_new_tokens=50, do_sample=False)[0]))XPU
支持 2、4 和 8 位。我们建议使用 AutoRound Kernel (ARK) 后端进行推理。使用 ARK 需要 PyTorch 2.8.0 或更高版本。
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "OPEA/Qwen2.5-1.5B-Instruct-int4-sym-inc"
model = AutoModelForCausalLM.from_pretrained(model_name, device_map="xpu", dtype="auto")
tokenizer = AutoTokenizer.from_pretrained(model_name)
text = "There is a girl who likes adventure,"
inputs = tokenizer(text, return_tensors="pt").to(model.device)
print(tokenizer.decode(model.generate(**inputs, max_new_tokens=50, do_sample=False)[0]))CUDA
支持 2-8 位。我们建议使用 GPTQModel 进行 4 位和 8 位推理。
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "OPEA/Qwen2.5-1.5B-Instruct-int4-sym-inc"
model = AutoModelForCausalLM.from_pretrained(model_name, device_map="cuda", dtype="auto")
tokenizer = AutoTokenizer.from_pretrained(model_name)
text = "There is a girl who likes adventure,"
inputs = tokenizer(text, return_tensors="pt").to(model.device)
print(tokenizer.decode(model.generate(**inputs, max_new_tokens=50, do_sample=False)[0]))指定推理后端
AutoRound 会根据兼容性自动为每一层选择后端。通常,优先级顺序为 Marlin > ExLLaMAV2 > Triton,但最终选择取决于分组大小、位宽、打包格式、硬件设备以及其他实现细节。更多详情请参阅 backends,
后端可能并不总是最适合某些设备。 您可以根据需求或硬件兼容性,指定首选的后端,例如针对 CPU 和 XPU 使用 “ark”,或针对 CUDA 使用 “marlin/exllamav2/triton”。请注意,可能需要额外的相应库。
from transformers import AutoModelForCausalLM, AutoTokenizer, AutoRoundConfig
model_name = "OPEA/Qwen2.5-1.5B-Instruct-int4-sym-inc"
quantization_config = AutoRoundConfig(backend="ark")
model = AutoModelForCausalLM.from_pretrained(model_name, device_map="cpu", quantization_config=quantization_config, dtype="auto")
tokenizer = AutoTokenizer.from_pretrained(model_name)
text = "There is a girl who likes adventure,"
inputs = tokenizer(text, return_tensors="pt").to(model.device)
print(tokenizer.decode(model.generate(**inputs, max_new_tokens=50, do_sample=False)[0]))将 GPTQ/AWQ 转换为 AutoRound
大多数 GPTQ/AWQ 模型可以转换为 AutoRound 格式,以更好地兼容并支持 Intel 设备。请注意,如果模型被序列化,量化配置将会被更改。
from transformers import AutoModelForCausalLM, AutoTokenizer, AutoRoundConfig
model_name = "ybelkada/opt-125m-gptq-4bit"
quantization_config = AutoRoundConfig()
model = AutoModelForCausalLM.from_pretrained(model_name, device_map="cpu", quantization_config=quantization_config, dtype="auto")
tokenizer = AutoTokenizer.from_pretrained(model_name)
text = "There is a girl who likes adventure,"
inputs = tokenizer(text, return_tensors="pt").to(model.device)
print(tokenizer.decode(model.generate(**inputs, max_new_tokens=50, do_sample=False)[0]))问题
如果您在使用 transformers 集成时遇到任何问题,请在 transformers 仓库中提交 issue。
如果您在使用 auto-round 时遇到任何问题,请在 AutoRound 仓库中提交 issue。
致谢
特别感谢 AutoGPTQ、AutoAWQ、GPTQModel、Triton、Marlin 和 ExLLaMAV2 等开源低精度库提供了低精度 CUDA 内核,这些内核在 AutoRound 中被加以利用。
贡献
欢迎为 AutoRound 做出贡献,我们对此深表感谢! 无论是修复错误、完善文档、添加新功能,还是提出改进建议,您的每一份帮助都弥足珍贵。
Update on GitHub