# HIGGS

[HIGGS](https://huggingface.co/papers/2411.17525) áp dụng phép biến đổi Hadamard lên mỗi ma trận trọng số, sau đó làm tròn các nhóm trọng số lên một lưới sao cho tối thiểu hóa sai số bình phương trung bình, mà không cần dữ liệu hiệu chuẩn. Hãy sử dụng nó cho trọng số 2 đến 4 bit trên GPU NVIDIA, với các kernel [FLUTE](https://github.com/HanGuo97/flute) thực hiện các phép nhân ma trận.

Bảng dưới đây tóm tắt những gì HIGGS hỗ trợ trong Transformers.

| | |
|---|---|
| Cấu hình | [HiggsConfig](/docs/transformers/v5.24.0/vi/main_classes/quantization#transformers.HiggsConfig) |
| `quant_method` | `higgs` |
| Quy trình làm việc | Lượng tử hóa khi tải |
| Bits | 2, 3, 4 |
| Phần cứng | CUDA |
| Lưu | ✅ |
| Tinh chỉnh | ❌ |
| Tự động biên dịch | ❌ |

## Cài đặt HIGGS

Cài đặt FLUTE 0.3.0 hoặc mới hơn, fast-hadamard-transform và [Accelerate](https://huggingface.co/docs/accelerate/index).

```bash
pip install -U "flute-kernel>=0.3.0" fast_hadamard_transform accelerate
```

## Lượng tử hóa một mô hình bằng HIGGS

Tạo một [HiggsConfig](/docs/transformers/v5.24.0/vi/main_classes/quantization#transformers.HiggsConfig) và truyền nó vào [from_pretrained()](/docs/transformers/v5.24.0/vi/main_classes/model#transformers.PreTrainedModel.from_pretrained). Đặt `device_map` thành các thiết bị CUDA của bạn và tải mô hình ở fp16 hoặc bf16.

```py
from transformers import AutoModelForCausalLM, HiggsConfig

model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-8B",
    quantization_config=HiggsConfig(bits=4),
    device_map="cuda",
)
```

Sau khi tải trọng số, FLUTE tinh chỉnh các kernel của nó cho từng lớp trên GPU của bạn và đóng gói lại các trọng số. Kết quả tinh chỉnh được lưu trong `tune_metadata` của cấu hình, do đó một mô hình đã lưu không cần phải tinh chỉnh lại.

## Cấu hình HIGGS

Các tham số [HiggsConfig](/docs/transformers/v5.24.0/vi/main_classes/quantization#transformers.HiggsConfig) này thay đổi cách các trọng số được lượng tử hóa.

| Tham số | Mặc định | Hiệu ứng |
|---|---|---|
| `bits` | `4` | Số bit cho mỗi trọng số. Hỗ trợ 2, 3 và 4. |
| `p` | `2` | Kích thước của lưới lượng tử hóa, có thể là 1 hoặc 2. Lưới có `p=2` làm tròn các cặp trọng số cùng nhau và chính xác hơn. |
| `group_size` | `256` | Số lượng trọng số chia sẻ một thang đo. Hỗ trợ 64, 128 và 256. Phải chia hết cho `hadamard_size`. |
| `hadamard_size` | `512` | Kích thước của phép biến đổi Hadamard. Kích thước đầu vào của mỗi lớp được đệm (padding) đến một bội số của kích thước này. Các giá trị nhỏ hơn sẽ làm giảm độ chính xác. |

## Tăng tốc suy luận với torch.compile

Nếu không biên dịch, HIGGS chạy chậm hơn bf16. [generate()](/docs/transformers/v5.24.0/vi/main_classes/text_generation#transformers.GenerationMixin.generate) không tự động biên dịch các mô hình HIGGS, vì vậy bạn cần tự biên dịch mô hình bằng [torch.compile](../perf_torch_compile).

```py
model = torch.compile(model)
```

Bảng dưới đây cho thấy số lần truyền tiến (forward pass) mỗi giây của Llama-3.1-8B-Instruct trên RTX 4090.

| Kích thước lô | bf16 (đã biên dịch) | HIGGS 4-bit | HIGGS 4-bit (đã biên dịch) |
|---|---|---|---|
| 1 | 59 | 41 | 124 |
| 4 | 57 | 42 | 123 |
| 16 | 56 | 41 | 120 |

## Hạn chế

- HIGGS cần một GPU CUDA. Việc tải mà không có GPU này sẽ gây ra `NotImplementedError`.
- Việc tải mà không có `device_map`, hoặc với một `device_map` bao gồm `"cpu"` hoặc `"disk"`, sẽ gây ra `ValueError`.
- Việc nạp với dtype khác fp16 hoặc bf16 sẽ gây ra `ValueError`.

## Tài nguyên

- bài báo [Đẩy Giới Hạn Lượng Tử Hóa Mô Hình Ngôn Ngữ Lớn Thông Qua Định Lý Tính Tuyến Tính](https://huggingface.co/papers/2411.17525)
- [FLUTE](https://github.com/HanGuo97/flute) kho lưu trữ
- Bộ sưu tập [mô hình HIGGS](https://huggingface.co/collections/ISTA-DASLab/higgs-675308e432fd56b7f6dab94e) từ ISTA-DASLab

