Transformers documentation
SINQ
시작하기
기본 클래스
모델
Preprocessors
추론
Pipeline API
Generate API
최적화
모델과 대화하기
서빙
학습
하드웨어
양자화
생태계 통합
리소스
API
SINQ
Sinkhorn-Normalized Quantization (SINQ)는 양자화 전에 각 가중치 행렬의 행과 열의 스케일을 균형 있게 조정하여, 교정 데이터 없이도 아웃라이어에 의한 오류를 줄입니다. 단일 GPU에서 2~8비트 가중치를 사용할 때 HQQ의 교정 불필요 대안으로 사용하세요.
아래 표는 Transformers에서 SINQ가 지원하는 내용을 요약합니다.
| 설정 | SinqConfig |
quant_method | sinq |
| 워크플로 | Quantize while loading |
| Bits | 2, 3, 4, 5, 6, 8 |
| 하드웨어 | CUDA GPU 1개, CPU |
| 저장 | ✅ |
| 파인튜닝 | ✅ |
| 자동 컴파일 | ❌ |
SINQ 설치
sinq 패키지를 설치합니다.
pip install sinq
SINQ로 모델 양자화
SinqConfig를 생성하고 from_pretrained()에 전달합니다. 아래 예제는 모델을 4비트로 양자화하고 lm_head는 bf16으로 유지합니다.
from transformers import AutoModelForCausalLM, SinqConfig
quantization_config = SinqConfig(nbits=4, group_size=64, modules_to_not_convert=["lm_head"])
model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen3-1.7B",
quantization_config=quantization_config,
device_map="cuda:0",
)CUDA GPU가 없으면 SINQ은 모델을 CPU에서 양자화하고 실행하며, 이는 훨씬 느립니다.
SINQ 구성
이 SinqConfig 매개변수는 가중치가 양자화되는 방식을 변경합니다.
| 매개변수 | 기본값 | 효과 |
|---|---|---|
nbits | 4 | 가중치당 비트 수 |
group_size | 64 | 스케일을 공유하는 가중치의 수입니다. 8의 배수를 사용하세요. |
tiling_mode | "1D" | "1D" 또는 "2D" 중 하나로, 가중치 행렬이 타일로 분할되는 방식을 지정합니다. |
modules_to_not_convert | None | 양자화하지 않을 모듈입니다. 기본값으로 모든 선형 레이어가 양자화되며, lm_head도 포함됩니다. |
한계
- SINQ는 하나의 장치에서 실행됩니다. CPU 오프로딩을 포함하여 모델을 여러 장치에 분산하는
device_map은RuntimeError를 발생시킵니다. - Transformers는 보정 없는
method="sinq"만 지원합니다. 보정된method="asinq"로 양자화하면ValueError가 발생합니다. A-SINQ로 양자화하려면 SINQ 라이브러리를 사용하세요.