Transformers documentation

HIGGS

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

HIGGS

HIGGS áp dụng phép biến đổi Hadamard lên mỗi ma trận trọng số, sau đó làm tròn các nhóm trọng số lên một lưới sao cho tối thiểu hóa sai số bình phương trung bình, mà không cần dữ liệu hiệu chuẩn. Hãy sử dụng nó cho trọng số 2 đến 4 bit trên GPU NVIDIA, với các kernel FLUTE thực hiện các phép nhân ma trận.

Bảng dưới đây tóm tắt những gì HIGGS hỗ trợ trong Transformers.

Cấu hìnhHiggsConfig
quant_methodhiggs
Quy trình làm việcLượng tử hóa khi tải
Bits2, 3, 4
Phần cứngCUDA
Lưu✅
Tinh chỉnh❌
Tự động biên dịch❌

Cài đặt HIGGS

Cài đặt FLUTE 0.3.0 hoặc mới hơn, fast-hadamard-transform và Accelerate.

pip install -U "flute-kernel>=0.3.0" fast_hadamard_transform accelerate

Lượng tử hóa một mô hình bằng HIGGS

Tạo một HiggsConfig và truyền nó vào from_pretrained(). Đặt device_map thành các thiết bị CUDA của bạn và tải mô hình ở fp16 hoặc bf16.

from transformers import AutoModelForCausalLM, HiggsConfig

model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-8B",
    quantization_config=HiggsConfig(bits=4),
    device_map="cuda",
)

Sau khi tải trọng số, FLUTE tinh chỉnh các kernel của nó cho từng lớp trên GPU của bạn và đóng gói lại các trọng số. Kết quả tinh chỉnh được lưu trong tune_metadata của cấu hình, do đó một mô hình đã lưu không cần tinh chỉnh lại.

Cấu hình HIGGS

Các tham số HiggsConfig này thay đổi cách các trọng số được lượng tử hóa.

Tham sốMặc địnhHiệu ứng
bits4Số bit cho mỗi trọng số. Hỗ trợ 2, 3 và 4.
p2Kích thước của lưới lượng tử hóa, có thể là 1 hoặc 2. Lưới có p=2 làm tròn các cặp trọng số cùng nhau và chính xác hơn.
group_size256Số lượng trọng số chia sẻ một thang đo. Hỗ trợ 64, 128 và 256. Phải chia hết cho hadamard_size.
hadamard_size512Kích thước của phép biến đổi Hadamard. Kích thước đầu vào của mỗi lớp được đệm (padding) đến một bội số của kích thước này. Các giá trị nhỏ hơn sẽ làm giảm độ chính xác.

Tăng tốc suy luận với torch.compile

Nếu không biên dịch, HIGGS chạy chậm hơn bf16. generate() không tự động biên dịch các mô hình HIGGS, vì vậy hãy tự biên dịch mô hình bằng torch.compile.

model = torch.compile(model)

Bảng dưới đây cho thấy số lần truyền tiến (forward pass) mỗi giây của Llama-3.1-8B-Instruct trên RTX 4090.

Kích thước lôbf16 (đã biên dịch)HIGGS 4-bitHIGGS 4-bit (đã biên dịch)
15941124
45742123
165641120

Hạn chế

  • HIGGS cần một GPU CUDA. Việc tải mà không có GPU này sẽ gây ra NotImplementedError.
  • Việc tải mà không có device_map, hoặc với một device_map bao gồm "cpu" hoặc "disk", sẽ gây ra ValueError.
  • Việc nạp với dtype khác fp16 hoặc bf16 sẽ gây ra ValueError.

Tài nguyên

Update on GitHub