Transformers documentation
HIGGS
HIGGS
HIGGS áp dụng phép biến đổi Hadamard lên mỗi ma trận trọng số, sau đó làm tròn các nhóm trọng số lên một lưới sao cho tối thiểu hóa sai số bình phương trung bình, mà không cần dữ liệu hiệu chuẩn. Hãy sử dụng nó cho trọng số 2 đến 4 bit trên GPU NVIDIA, với các kernel FLUTE thực hiện các phép nhân ma trận.
Bảng dưới đây tóm tắt những gì HIGGS hỗ trợ trong Transformers.
| Cấu hình | HiggsConfig |
quant_method | higgs |
| Quy trình làm việc | Lượng tử hóa khi tải |
| Bits | 2, 3, 4 |
| Phần cứng | CUDA |
| Lưu | ✅ |
| Tinh chỉnh | ❌ |
| Tự động biên dịch | ❌ |
Cài đặt HIGGS
Cài đặt FLUTE 0.3.0 hoặc mới hơn, fast-hadamard-transform và Accelerate.
pip install -U "flute-kernel>=0.3.0" fast_hadamard_transform accelerateLượng tử hóa một mô hình bằng HIGGS
Tạo một HiggsConfig và truyền nó vào from_pretrained(). Đặt device_map thành các thiết bị CUDA của bạn và tải mô hình ở fp16 hoặc bf16.
from transformers import AutoModelForCausalLM, HiggsConfig
model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen3-8B",
quantization_config=HiggsConfig(bits=4),
device_map="cuda",
)Sau khi tải trọng số, FLUTE tinh chỉnh các kernel của nó cho từng lớp trên GPU của bạn và đóng gói lại các trọng số. Kết quả tinh chỉnh được lưu trong tune_metadata của cấu hình, do đó một mô hình đã lưu không cần tinh chỉnh lại.
Cấu hình HIGGS
Các tham số HiggsConfig này thay đổi cách các trọng số được lượng tử hóa.
| Tham số | Mặc định | Hiệu ứng |
|---|---|---|
bits | 4 | Số bit cho mỗi trọng số. Hỗ trợ 2, 3 và 4. |
p | 2 | Kích thước của lưới lượng tử hóa, có thể là 1 hoặc 2. Lưới có p=2 làm tròn các cặp trọng số cùng nhau và chính xác hơn. |
group_size | 256 | Số lượng trọng số chia sẻ một thang đo. Hỗ trợ 64, 128 và 256. Phải chia hết cho hadamard_size. |
hadamard_size | 512 | Kích thước của phép biến đổi Hadamard. Kích thước đầu vào của mỗi lớp được đệm (padding) đến một bội số của kích thước này. Các giá trị nhỏ hơn sẽ làm giảm độ chính xác. |
Tăng tốc suy luận với torch.compile
Nếu không biên dịch, HIGGS chạy chậm hơn bf16. generate() không tự động biên dịch các mô hình HIGGS, vì vậy hãy tự biên dịch mô hình bằng torch.compile.
model = torch.compile(model)Bảng dưới đây cho thấy số lần truyền tiến (forward pass) mỗi giây của Llama-3.1-8B-Instruct trên RTX 4090.
| Kích thước lô | bf16 (đã biên dịch) | HIGGS 4-bit | HIGGS 4-bit (đã biên dịch) |
|---|---|---|---|
| 1 | 59 | 41 | 124 |
| 4 | 57 | 42 | 123 |
| 16 | 56 | 41 | 120 |
Hạn chế
- HIGGS cần một GPU CUDA. Việc tải mà không có GPU này sẽ gây ra
NotImplementedError. - Việc tải mà không có
device_map, hoặc với mộtdevice_mapbao gồm"cpu"hoặc"disk", sẽ gây raValueError. - Việc nạp với dtype khác fp16 hoặc bf16 sẽ gây ra
ValueError.
Tài nguyên
- bài báo Đẩy Giới Hạn Lượng Tử Hóa Mô Hình Ngôn Ngữ Lớn Thông Qua Định Lý Tính Tuyến Tính
- FLUTE kho lưu trữ
- Bộ sưu tập mô hình HIGGS từ ISTA-DASLab