Huggingface.js documentation
Interface: MlxQuantizationConfig
Interface: MlxQuantizationConfig
Hierarquia
-
↳
MlxQuantizationConfig
Indexável
▪ [chave: string]: unknown
Propriedades
bits
• Optional bits: number
Herdado de
Definido em
packages/hub/src/lib/parse-safetensors-metadata.ts:930
config _ grupos
• Optional config_groups: Record<string, { format?: string ; targets?: string[] ; weights?: { num_bits?: number } }>
Herdado de
QuantizationConfig.config_groups
Definido em
packages/hub/src/lib/parse-safetensors-metadata.ts:935
expert _ dtype
• Optional expert_dtype: string
Precisão dos especialistas roteados quando difere do quantizador principal (por exemplo, especialistas FP4 com atenção FP8).
Herdado de
QuantizationConfig.expert_dtype
Definido em
packages/hub/src/lib/parse-safetensors-metadata.ts:920
format
• Optional format: string
Herdado de
Definido em
packages/hub/src/lib/parse-safetensors-metadata.ts:934
tamanho do grupo
• Optional group_size: number
Herdado de
Definido em
packages/hub/src/lib/parse-safetensors-metadata.ts:928
ignore
• Optional ignore: string[]
compressed-tensors chama sua lista de exclusões de ignore em vez de modules_to_not_convert,
usando a mesma sintaxe de alvo com o prefixo re: como em config_groups[].targets.
Herdado de
Definido em
packages/hub/src/lib/parse-safetensors-metadata.ts:940
load _ em _ 4bit
• Optional load_in_4bit: boolean
Herdado de
QuantizationConfig.load_in_4bit
Definido em
packages/hub/src/lib/parse-safetensors-metadata.ts:931
load _ in _ 8bit
• Optional load_in_8bit: boolean
Herdado de
QuantizationConfig.load_in_8bit
Definido em
packages/hub/src/lib/parse-safetensors-metadata.ts:932
modo
• Optional mode: string
Modo de quantização do MLX (por exemplo, affine); as configurações do MLX não declaram quant_method.
Herdado de
Definido em
packages/hub/src/lib/parse-safetensors-metadata.ts:927
módulos _ para _ não _ converter
• Optional modules_to_not_convert: string[]
Herdado de
QuantizationConfig.modules_to_not_convert
Definido em
packages/hub/src/lib/parse-safetensors-metadata.ts:929
quant _ algo
• Optional quant_algo: string
algoritmo do NVIDIA ModelOpt (quant_method: "modelopt"), por exemplo, "NVFP4", "W4A16_NVFP4", "FP8",
ou "MIXED_PRECISION" — nesse caso, o algoritmo por módulo está em quantized_layers.
Herdado de
Definido em
packages/hub/src/lib/parse-safetensors-metadata.ts:945
quant _ method
• Optional quant_method: string
Herdado de
QuantizationConfig.quant_method
Definido em
packages/hub/src/lib/parse-safetensors-metadata.ts:918
camadas quantizadas
• Optional quantized_layers: Record<string, { quant_algo?: string }>
ModelOpt mixed-precision: nome do módulo (ou um módulo pai, por exemplo, …mlp.experts) -> seu algoritmo.
Herdado de
QuantizationConfig.quantized_layers
Definido em
packages/hub/src/lib/parse-safetensors-metadata.ts:947
store _ dtype
• Optional store_dtype: string
Mesma função que expert_dtype sob outro nome: o MiMo-V2.6 é quant_method: "fp8" para suas camadas densas, mas armazena os especialistas roteados como store_dtype: "mxfp4", empacotados dois por U8.
Herdado de
QuantizationConfig.store_dtype
Definido em
packages/hub/src/lib/parse-safetensors-metadata.ts:925
Update on GitHub