# FP-Quant

[FP-Quant](https://github.com/IST-DASLab/FP-Quant), Nvidia GPU'ların Blackwell nesli için tasarlanmış bir kuantizasyon algoritması ailesidir. Amaç, LLM'lerin [MXFP4 ve NVFP4 veri türlerinde](https://www.opencompute.org/documents/ocp-microscaling-formats-mx-v1-0-spec-final-pdf) verimli bir şekilde eğitim sonrası kuantizasyon (PTQ) ve kuantizasyon farkında eğitim (QAT) yapılabilmesini sağlamaktır.

Bu entegrasyon, [**Bridging the Gap Between Promise and Performance for Microscaling FP4 Quantization**](https://arxiv.org/abs/2509.23202) ön baskısının ön baskısı ile birlikte sunulmaktadır.

Şu anda yalnızca QAT, `pseudoquantization=True` ile desteklenmektedir. Modeller, `quantization_config=FPQuantConfig()` ile anlık olarak kuantize edilebilir:

```python
from transformers import AutoModelForCausalLM, AutoTokenizer, FPQuantConfig
import torch

model = AutoModelForCausalLM.from_pretrained(
    "qwen/Qwen3-8B",
    quantization_config=FPQuantConfig(),
    device_map="auto",
    dtype=torch.bfloat16,
)
```

veya daha iyi kalite için GPTQ ile ön işlenmiş (bkz. [FP Format Quantization Harness](https://github.com/IST-DASLab/FP-Quant)).

`FPQuantConfig(forward_dtype="mxfp4")` ile MXFP4 ve NVFP4 arasında seçim yapabilirsiniz. NVFP4 daha iyi kalite sağlar ancak biraz daha fazla bellek kullanır.

Çekirdeklerin çalıştırılması için **Blackwell nesli bir GPU gereklidir**. FP-Quant için çalışma zamanı desteği, [QuTLASS](https://github.com/IST-DASLab/qutlass) kütüphanesi ve hafif bir PyTorch arayüzü kütüphanesi olan [`fp_quant`](https://github.com/IST-DASLab/FP-Quant/tree/master/inference_lib) ile sağlanmaktadır. Önerimiz, ilkinin **kaynaktan** ve ikincisinin `pip install fp_quant` ile kurulmasıdır.

**Blackwell nesli bir GPU'su olmayan** kullanıcılar, [QuTLASS](https://github.com/IST-DASLab/qutlass) kurmak zorunda kalmadan `quantization_config=FPQuantConfig(pseudoquantization=True)` ile bu yöntemi kullanabilir. Bu, hızlanma sağlamaz ancak kuantizasyonun etkisini tamamen taklit eder.

> [!TIP]
> FP-Quant ile önceden kantize edilmiş modelleri, resmi ISTA-DASLab [koleksiyonunda](https://huggingface.co/collections/ISTA-DASLab/fp-quant-6877c186103a21d3a02568ee) bulabilirsiniz.

## torch.compile

FP-Quant, [torch.compile](https://pytorch.org/tutorials/intermediate/torch_compile_tutorial.html) ile tam uyumludur.

```python
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, FPQuantConfig

model = AutoModelForCausalLM.from_pretrained(
    "qwen/Qwen3-8B",
    quantization_config=FPQuantConfig(),
    device_map="auto",
    dtype=torch.bfloat16,
)

model.forward = torch.compile(model.forward, mode="max-autotune", fullgraph=True)
```

## Hızlanmalar

FP-Quant, çok büyük parti boyutlu işlemlerde şu anda en iyi performansı göstermektedir.

Hızlandırmalar için [QuTLASS README](https://github.com/IST-DASLab/qutlass/blob/main/README.md)'ye bakın.

