Huggingface.js documentation
Интерфейс: QuantizationConfig
Интерфейс: QuantizationConfig
Иерархия
QuantizationConfig
Свойства
биты
• Optional bits: number
Определено в
packages/hub/src/lib/parse-safetensors-metadata.ts:930
config _ группы
• Optional config_groups: Record<string, { format?: string ; targets?: string[] ; weights?: { num_bits?: number } }>
Определено в
packages/hub/src/lib/parse-safetensors-metadata.ts:935
expert _ dtype
• Optional expert_dtype: string
Точность маршрутизированных экспертов, если она отличается от основного квантизатора (например, FP4-эксперты с FP8-вниманием).
Определено в
packages/hub/src/lib/parse-safetensors-metadata.ts:920
формат
• Optional формат: string
Определено в
packages/hub/src/lib/parse-safetensors-metadata.ts:934
group _ size
• Optional group_size: number
Определено в
packages/hub/src/lib/parse-safetensors-metadata.ts:928
ignore
• Optional ignore: string[]
compressed-tensors называет свой список исключений ignore, а не modules_to_not_convert,
используя тот же синтаксис целей с префиксом re:, что и config_groups[].targets.
Определено в
packages/hub/src/lib/parse-safetensors-metadata.ts:940
load _ in _ 4bit
• Optional load_in_4bit: boolean
Определено в
packages/hub/src/lib/parse-safetensors-metadata.ts:931
load _ in _ 8bit
• Optional load_in_8bit: boolean
Определено в
packages/hub/src/lib/parse-safetensors-metadata.ts:932
режим
• Optional режим: string
Режим квантования MLX (например, affine); конфигурации MLX не объявляют quant_method.
Определено в
packages/hub/src/lib/parse-safetensors-metadata.ts:927
modules _ to _ not _ convert
• Optional modules_to_not_convert: string[]
Определено в
packages/hub/src/lib/parse-safetensors-metadata.ts:929
quant _ algo
• Optional quant_algo: string
алгоритм NVIDIA ModelOpt (quant_method: "modelopt"), например "NVFP4", "W4A16_NVFP4", "FP8"
или "MIXED_PRECISION" — в этом случае алгоритм для каждого модуля указан в quantized_layers.
Определено в
packages/hub/src/lib/parse-safetensors-metadata.ts:945
quant _ method
• Optional quant_method: string
Определено в
packages/hub/src/lib/parse-safetensors-metadata.ts:918
квантованные _ слои
• Optional quantized_layers: Record<string, { quant_algo?: string }>
ModelOpt mixed-precision: имя модуля (или родительский модуль, например, …mlp.experts) -> его алгоритм.
Определено в
packages/hub/src/lib/parse-safetensors-metadata.ts:947
store _ dtype
• Optional store_dtype: string
Та же роль, что и у expert_dtype, но под другим именем: в MiMo-V2.6 для плотных слоёв используется quant_method: "fp8", а маршрутизированные эксперты хранятся как store_dtype: "mxfp4", по два на U8.
Определено в
packages/hub/src/lib/parse-safetensors-metadata.ts:925
Update on GitHub