HIGGS
HIGGS 对每个权重矩阵应用 Hadamard 变换,然后将权重分组并舍入到能最小化均方误差的网格上,且无需校准数据。请在 NVIDIA GPU 上使用它处理 2 至 4 位权重,矩阵乘法由 FLUTE 内核执行。
下表总结了 HIGGS 在 Transformers 中支持的功能。
| 配置 | HiggsConfig |
quant_method | higgs |
| 工作流 | 加载时量化 |
| 位 | 2, 3, 4 |
| 硬件 | CUDA |
| 保存 | ✅ |
| 微调 | ❌ |
| 自动编译 | ❌ |
安装 HIGGS
安装 FLUTE 0.3.0 或更高版本、fast-hadamard-transform 以及 Accelerate。
pip install -U "flute-kernel>=0.3.0" fast_hadamard_transform accelerate使用 HIGGS 量化模型
Create a HiggsConfig and pass it to from_pretrained(). Set device_map to your CUDA devices, and load the model in fp16 or bf16.
from transformers import AutoModelForCausalLM, HiggsConfig
model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen3-8B",
quantization_config=HiggsConfig(bits=4),
device_map="cuda",
)权重加载完成后,FLUTE 会在您的 GPU 上针对每一层调整其内核并重新打包权重。调优结果会存储在配置的 tune_metadata 中,因此已保存的模型无需再次进行调优。
配置 HIGGS
这些 HiggsConfig 参数会改变权重的量化方式。
| 参数 | 默认 | 效果 |
|---|---|---|
bits | 4 | 每个权重的位数。支持 2、3 和 4。 |
p | 2 | 量化网格的维度,取值为 1 或 2。p=2 的网格会将权重成对舍入,精度更高。 |
group_size | 256 | 共享缩放因子的权重数量。支持 64、128 和 256。必须能整除 hadamard_size。 |
hadamard_size | 512 | Hadamard 变换的大小。每一层的输入维度会被填充为该大小的整数倍。较小的值会降低精度。 |
使用 torch.compile 加速推理
未经编译,HIGGS 的运行速度慢于 bf16。generate() 不会自动编译 HIGGS 模型,因此请使用 torch.compile 自行编译模型。
model = torch.compile(model)下表展示了 Llama-3.1-8B-Instruct 在 RTX 4090 上每秒的前向传播次数。
| 批处理大小 | bf16(已编译) | HIGGS 4 位 | HIGGS 4 位(已编译) |
|---|---|---|---|
| 1 | 59 | 41 | 124 |
| 4 | 57 | 42 | 123 |
| 16 | 56 | 41 | 120 |
局限性
- HIGGS 需要 CUDA GPU。在没有 GPU 的情况下加载会引发
NotImplementedError。 - 在不使用
device_map,或使用包含"cpu"或"disk"的device_map时,会引发ValueError。 - 使用 fp16 或 bf16 以外的数据类型进行加载会引发
ValueError。
资源
- 通过线性定理突破大语言模型量化的极限论文
- FLUTE 仓库
- 来自 ISTA-DASLab 的 HIGGS models 集合