Transformers documentation

SINQ

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

SINQ

Sinkhorn-Normalized Quantization (SINQ)는 양자화 전에 각 가중치 행렬의 행과 열의 스케일을 균형 있게 조정하여, 교정 데이터 없이도 아웃라이어에 의한 오류를 줄입니다. 단일 GPU에서 2~8비트 가중치를 사용할 때 HQQ의 교정 불필요 대안으로 사용하세요.

아래 표는 Transformers에서 SINQ가 지원하는 내용을 요약합니다.

설정SinqConfig
quant_methodsinq
워크플로Quantize while loading
Bits2, 3, 4, 5, 6, 8
하드웨어CUDA GPU 1개, CPU
저장✅
파인튜닝✅
자동 컴파일❌

SINQ 설치

sinq 패키지를 설치합니다.

pip install sinq

SINQ로 모델 양자화

SinqConfig를 생성하고 from_pretrained()에 전달합니다. 아래 예제는 모델을 4비트로 양자화하고 lm_head는 bf16으로 유지합니다.

from transformers import AutoModelForCausalLM, SinqConfig

quantization_config = SinqConfig(nbits=4, group_size=64, modules_to_not_convert=["lm_head"])
model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-1.7B",
    quantization_config=quantization_config,
    device_map="cuda:0",
)

CUDA GPU가 없으면 SINQ은 모델을 CPU에서 양자화하고 실행하며, 이는 훨씬 느립니다.

SINQ 구성

이 SinqConfig 매개변수는 가중치가 양자화되는 방식을 변경합니다.

매개변수기본값효과
nbits4가중치당 비트 수
group_size64스케일을 공유하는 가중치의 수입니다. 8의 배수를 사용하세요.
tiling_mode"1D""1D" 또는 "2D" 중 하나로, 가중치 행렬이 타일로 분할되는 방식을 지정합니다.
modules_to_not_convertNone양자화하지 않을 모듈입니다. 기본값으로 모든 선형 레이어가 양자화되며, lm_head도 포함됩니다.

한계

  • SINQ는 하나의 장치에서 실행됩니다. CPU 오프로딩을 포함하여 모델을 여러 장치에 분산하는 device_map은 RuntimeError를 발생시킵니다.
  • Transformers는 보정 없는 method="sinq"만 지원합니다. 보정된 method="asinq"로 양자화하면 ValueError가 발생합니다. A-SINQ로 양자화하려면 SINQ 라이브러리를 사용하세요.

리소스

Update on GitHub