# FP-Quant

[FP-Quant](https://github.com/IST-DASLab/FP-Quant) es una familia de algoritmos de cuantización diseñados para la generación Blackwell de GPUs de Nvidia. Su objetivo es permitir una cuantización eficiente posterior al entrenamiento (PTQ) y un entrenamiento consciente de la cuantización (QAT) de LLMs en los [tipos de datos MXFP4 y NVFP4](https://www.opencompute.org/documents/ocp-microscaling-formats-mx-v1-0-spec-final-pdf).

Esta integración acompaña al preimpreso de la publicación previa [**Bridging the Gap Between Promise and Performance for Microscaling FP4 Quantization**](https://arxiv.org/abs/2509.23202).

Actualmente, solo se admite QAT con `pseudoquantization=True`. Los modelos pueden cuantizarse sobre la marcha con `quantization_config=FPQuantConfig()`:

```python
from transformers import AutoModelForCausalLM, AutoTokenizer, FPQuantConfig
import torch

model = AutoModelForCausalLM.from_pretrained(
    "qwen/Qwen3-8B",
    quantization_config=FPQuantConfig(),
    device_map="auto",
    dtype=torch.bfloat16,
)
```

o preprocesado con GPTQ para una mejor calidad (consulte [FP Format Quantization Harness](https://github.com/IST-DASLab/FP-Quant)).

Puede elegir entre MXFP4 y NVFP4 con `FPQuantConfig(forward_dtype="mxfp4")`. NVFP4 ofrece una mejor calidad, pero utiliza un poco más de memoria.

Se requiere una GPU de generación **Blackwell** para ejecutar los kernels. El soporte en tiempo de ejecución para FP-Quant se implementa a través de la biblioteca [QuTLASS](https://github.com/IST-DASLab/qutlass) y una interfaz ligera de PyTorch, la lib [`fp_quant`](https://github.com/IST-DASLab/FP-Quant/tree/master/inference_lib). Recomendamos instalar la primera **desde el código fuente** y la segunda con `pip install fp_quant`.

Los usuarios **sin una GPU de generación Blackwell** pueden usar el método con `quantization_config=FPQuantConfig(pseudoquantization=True)` sin necesidad de instalar [QuTLASS](https://github.com/IST-DASLab/qutlass). Esto no proporcionaría mejoras de velocidad, pero emularía por completo el efecto de la cuantización.

> [!TIP]
> Encuentra modelos pre-cuantizados con FP-Quant en la [colección](https://huggingface.co/collections/ISTA-DASLab/fp-quant-6877c186103a21d3a02568ee) oficial de ISTA-DASLab.

## torch.compile

FP-Quant es totalmente compatible con [torch.compile](https://pytorch.org/tutorials/intermediate/torch_compile_tutorial.html).

```python
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, FPQuantConfig

model = AutoModelForCausalLM.from_pretrained(
    "qwen/Qwen3-8B",
    quantization_config=FPQuantConfig(),
    device_map="auto",
    dtype=torch.bfloat16,
)

model.forward = torch.compile(model.forward, mode="max-autotune", fullgraph=True)
```

## Aceleraciones

FP-Quant actualmente ofrece el mejor rendimiento para el procesamiento con tamaños de lote muy grandes.

Consulte el [README de QuTLASS](https://github.com/IST-DASLab/qutlass/blob/main/README.md) para obtener información sobre las mejoras de velocidad.

