Transformers documentation

HIGGS

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

HIGGS

HIGGS 对每个权重矩阵应用 Hadamard 变换,然后将权重分组并舍入到能最小化均方误差的网格上,且无需校准数据。请在 NVIDIA GPU 上使用它处理 2 至 4 位权重,矩阵乘法由 FLUTE 内核执行。

下表总结了 HIGGS 在 Transformers 中支持的功能。

配置HiggsConfig
quant_methodhiggs
工作流加载时量化
位2, 3, 4
硬件CUDA
保存✅
微调❌
自动编译❌

安装 HIGGS

安装 FLUTE 0.3.0 或更高版本、fast-hadamard-transform 以及 Accelerate。

pip install -U "flute-kernel>=0.3.0" fast_hadamard_transform accelerate

使用 HIGGS 量化模型

Create a HiggsConfig and pass it to from_pretrained(). Set device_map to your CUDA devices, and load the model in fp16 or bf16.

from transformers import AutoModelForCausalLM, HiggsConfig

model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-8B",
    quantization_config=HiggsConfig(bits=4),
    device_map="cuda",
)

权重加载完成后,FLUTE 会在您的 GPU 上针对每一层调整其内核并重新打包权重。调优结果会存储在配置的 tune_metadata 中,因此已保存的模型无需再次进行调优。

配置 HIGGS

这些 HiggsConfig 参数会改变权重的量化方式。

参数默认效果
bits4每个权重的位数。支持 2、3 和 4。
p2量化网格的维度,取值为 1 或 2。p=2 的网格会将权重成对舍入,精度更高。
group_size256共享缩放因子的权重数量。支持 64、128 和 256。必须能整除 hadamard_size。
hadamard_size512Hadamard 变换的大小。每一层的输入维度会被填充为该大小的整数倍。较小的值会降低精度。

使用 torch.compile 加速推理

未经编译,HIGGS 的运行速度慢于 bf16。generate() 不会自动编译 HIGGS 模型,因此请使用 torch.compile 自行编译模型。

model = torch.compile(model)

下表展示了 Llama-3.1-8B-Instruct 在 RTX 4090 上每秒的前向传播次数。

批处理大小bf16(已编译)HIGGS 4 位HIGGS 4 位(已编译)
15941124
45742123
165641120

局限性

  • HIGGS 需要 CUDA GPU。在没有 GPU 的情况下加载会引发 NotImplementedError。
  • 在不使用device_map,或使用包含"cpu"或"disk"的device_map时,会引发ValueError。
  • 使用 fp16 或 bf16 以外的数据类型进行加载会引发 ValueError。

资源

Update on GitHub