# HIGGS

[HIGGS](https://huggingface.co/papers/2411.17525)는 Hadamard 전처리와 MSE-Optimal 양자화 그리드를 결합하여 양자화 오류를 낮추고 최첨단 성능을 달성하는 zero-shot 양자화 알고리즘입니다.

HIGGS의 런타임 지원은 [FLUTE](https://github.com/HanGuo97/flute) 라이브러리를 통해 구현됩니다. 현재 Llama 3 및 Llama 3.0의 70B와 405B 변형, Gemma 2의 8B와 27B 변형만 지원됩니다. 또한 HIGGS는 현재 양자화 학습 및 일반적인 역전파를 지원하지 않습니다.

FLUTE를 설치하려면 아래 명령을 실행하세요.

```bash
pip install flute-kernel
```

```bash
pip install flute-kernel -i https://flute-ai.github.io/whl/cu11.8
```

모델을 양자화할 비트 수를 지정하여 [HiggsConfig](/docs/transformers/v5.23.0/ko/main_classes/quantization#transformers.HiggsConfig)를 생성합니다.

```python
from transformers import AutoModelForCausalLM, AutoTokenizer, HiggsConfig

model = AutoModelForCausalLM.from_pretrained(
    "google/gemma-2-9b-it",
    quantization_config=HiggsConfig(bits=4),
    device_map="auto",
)
```

> [!TIP]
> HIGGS로 사전 양자화된 모델을 공식 ISTA-DASLab [컬렉션](https://huggingface.co/collections/ISTA-DASLab/higgs-675308e432fd56b7f6dab94e)에서 찾을 수 있습니다.

## torch.compile

HIGGS는 [torch.compile](https://pytorch.org/tutorials/intermediate/torch_compile_tutorial.html)과 완전히 호환됩니다.

```python
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, HiggsConfig

model = AutoModelForCausalLM.from_pretrained(
    "google/gemma-2-9b-it",
    quantization_config=HiggsConfig(bits=4),
    device_map="auto",
)

model = torch.compile(model)
```

Llama-3.1-8B-Instruct의 RTX4090에서 forward passes/sec 벤치마크는 아래 표를 참조하세요.

| 배치 크기 | BF16(`torch.compile` 사용) | HIGGS 4bit(`torch.compile` 없음) | HIGGS 4bit (`torch.compile` 사용) |
|------------|-----------------------------|----------------------------------|-----------------------------------|
| 1          | 59                          | 41                               | 124                               |
| 4          | 57                          | 42                               | 123                               |
| 16         | 56                          | 41                               | 120                               |

