Transformers documentation

AutoRound

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

AutoRound

AutoRound 是一种先进的量化算法,即使在 2-bit 精度下也能保持出色的精度。 它利用符号梯度下降,仅需 200 步即可对舍入值和 min-max 裁剪阈值进行微调。该算法专为广泛的兼容性而设计,无缝支持多种 LLM,并正在积极扩展以覆盖更多 VLM。 它还支持在 CPU、XPU 和 CUDA 等多种硬件平台上进行量化和推理。

AutoRound 还提供了多种实用功能,包括自动混合位宽调优与推理、对 MXFP4 和 NVFP4 数据类型的支持、无模型量化、导出为 GPTQ、AWQ、GGUF 和 LLM-Compressor 等格式,以及灵活的调优配方。 如需全面了解及最新更新,请参阅 AutoRound 的 README。

AutoRound 最初是作为 Intel Neural Compressor 的一部分开发的,作为面向深度学习的通用模型压缩库。 此后,它已发展为一个独立的库,专门针对大语言模型(LLM)的低精度优化。 AutoRound 仍与 Intel Neural Compressor 保持完全集成,您可以查阅该仓库以获取更多详细信息。

安装

pip install auto-round

支持的量化配置

AutoRound 支持以下量化配置:

  1. INT2–INT8 仅权重
  2. 混合位宽仅权重
  3. GGUF Q*_K
  4. MXFP(有限支持)
  5. NVFP4(有限支持)

硬件兼容性

用于量化和推理的 CPU、XPU 和 CUDA。

量化与序列化(离线)

目前,仅支持离线模式来生成量化模型。

quantization 命令
auto scheme cmd
算法组合
量化 auto-round API
量化 auto-round-best
quantization auto-round-light

命令行用法

auto-round \
    --model Qwen/Qwen3-0.6B \
    --scheme "W4A16" \
    --group_size 128 \
    --output_dir ./tmp_autoround

AutoRound 还提供了另外四种配方:auto-round-best、auto-round-light、auto-round-opt-rtn 和 auto-round-rtn,分别旨在实现最佳精度和更快的速度。 对于 2 bits,我们建议使用 auto-round-best 并配合 --enable_alg_ext。

W4G128 在 13 项任务(mmlu-pro、if_eval、gsm8k 等)上的平均准确率及时间成本结果(测试在 Nvidia A100 80G 上进行,使用 PyTorch 2.6.0 版本并启用 enable_torch_compile):

模型Qwen2.5-0.5B-InstructFalcon3-3BQwen2.5-7B-InstructMeta-Llama-3.1-8B-InstructFalcon3-10BQwen2.5-72B-Instruct
16位0.41920.52030.64700.62120.61510.7229
最佳0.4137(7m)0.5142(23m)0.6426(58m)0.6116(65m)0.6092(81m)0.7242(575m)
默认0.4129(2m)0.5133(6m)0.6441(13m)0.6106(13m)0.6080(18m)0.7252(118m)
浅色0.4052(2m)0.5108(3m)0.6453(5m)0.6104(6m)0.6063(6m)0.7243(37m)

推理

AutoRound 会根据已安装的库自动选择最佳可用后端,并在发现更优后端时提示用户安装额外的库。

推理 CPU
推理 xpu
推理 cuda
推理后端
格式转换

CPU

支持 2、4 和 8 位。我们建议使用 AutoRound Kernel (ARK) 后端进行推理。使用 ARK 需要 PyTorch 2.8.0 或更高版本。

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "OPEA/Qwen2.5-1.5B-Instruct-int4-sym-inc"
model = AutoModelForCausalLM.from_pretrained(model_name, device_map="cpu", dtype="auto")
tokenizer = AutoTokenizer.from_pretrained(model_name)
text = "There is a girl who likes adventure,"
inputs = tokenizer(text, return_tensors="pt").to(model.device)
print(tokenizer.decode(model.generate(**inputs, max_new_tokens=50, do_sample=False)[0]))

问题

如果您在使用 transformers 集成时遇到任何问题,请在 transformers 仓库中提交 issue。
如果您在使用 auto-round 时遇到任何问题,请在 AutoRound 仓库中提交 issue。

致谢

特别感谢 AutoGPTQ、AutoAWQ、GPTQModel、Triton、Marlin 和 ExLLaMAV2 等开源低精度库提供了低精度 CUDA 内核,这些内核在 AutoRound 中被加以利用。

贡献

欢迎为 AutoRound 做出贡献,我们对此深表感谢! 无论是修复错误、完善文档、添加新功能,还是提出改进建议,您的每一份帮助都弥足珍贵。

Update on GitHub