Transformers documentation

SarvamMLA

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.24.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

이 모델은 2026-11-19에 Hugging Face Transformers에 기여되었습니다.

SarvamMLA

개요

SarvamMLA는 Sarvam AI가 개발한 105B 파라미터의 Mixture of Experts(MoE) 언어 모델입니다. Multi-head Latent Attention(MLA)와 희소 MoE 라우팅을 결합하며, 아키텍처는 DeepSeek-V3와 동일합니다.

주요 아키텍처 특징:

  • Multi-head Latent Attention (MLA): RoPE를 분리한 저순위 KV 압축으로, 성능을 유지하면서 KV 캐시 메모리를 줄입니다.
  • Sparse Mixture of Experts: 128 routed experts with 8 active per token, plus 1 shared expert. The first layer uses a dense MLP.
  • DeepSeek YaRN RoPE: YaRN 회전 위치 임베딩을 통해 최대 131K 토큰까지 확장된 컨텍스트 지원.
  • 그룹 기반 top-k를 사용한 Sigmoid 라우팅: 전문가 편향 보정 및 그룹 인식 선택을 사용하는 sigmoid 점수 기반 토큰 선택 라우팅.

이 모델은 DeepSeek-V3 아키텍처를 커스텀 구성과 함께 사용합니다. 모델 및 forward 참조에 대해서는 DeepSeek-V3 문서를 참고하세요.

사용

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained(
    "sarvamai/sarvam-105b",
    device_map="auto",
)
tokenizer = AutoTokenizer.from_pretrained("sarvamai/sarvam-105b")

inputs = tokenizer("Hello, how are you?", return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=50)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

SarvamMLAConfig

클래스 transformers.SarvamMLAConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 262144hidden_size: int = 4096intermediate_size: int = 16384moe_intermediate_size: int = 2048num_hidden_layers: int = 32num_attention_heads: int = 64num_key_value_heads: int | None = Nonen_shared_experts: int = 1n_routed_experts: int = 128output_router_logits: bool = Falserouted_scaling_factor: float = 2.5kv_lora_rank: int = 512q_lora_rank: int | None = Noneqk_rope_head_dim: int = 64v_head_dim: int | None = 128qk_nope_head_dim: int = 128n_group: int | None = 1topk_group: int | None = 1num_experts_per_tok: int | None = 8first_k_dense_replace: int | None = 1norm_topk_prob: bool | None = Truehidden_act: str = 'silu'max_position_embeddings: int = 4096initializer_range: float = 0.006rms_norm_eps: float = 1e-06use_cache: bool = Truepad_token_id: int | None = Nonebos_token_id: int | None = 0eos_token_id: int | list[int] | None = 1pretraining_tp: int | None = 1tie_word_embeddings: bool = Falserope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = Nonerope_interleave: bool | None = Trueattention_bias: bool = Falseattention_dropout: float | int | None = 0.0num_mtp_layers: int = 0 )

매개변수

  • vocab_size (int, 선택 사항, 기본값 262144) — 모델의 어휘 크기입니다. input_ids로 표현할 수 있는 서로 다른 토큰의 수를 정의합니다.
  • hidden_size (int, 선택 사항, 기본값 4096) — 숨겨진 표현의 차원입니다.
  • intermediate_size (int, 선택 사항, 기본값 16384) — MLP 표현의 차원입니다.
  • moe_intermediate_size (int, 선택 사항, 기본값 2048) — 라우팅된 전문가 MLP의 중간 크기입니다.
  • num_hidden_layers (int, 선택 사항, 기본값 32) — Transformer decoder의 숨겨진 레이어 수.
  • num_attention_heads (int, 선택 사항, 기본값 64) — Transformer decoder의 각 attention layer에 사용할 attention head의 수입니다.
  • num_key_value_heads (int, 선택 사항) — Grouped Query Attention 구현에 사용할 key_value 헤드 수입니다. num_key_value_heads=num_attention_heads인 경우 모델은 Multi Head Attention(MHA)을 사용하고, num_key_value_heads=1인 경우 모델은 Multi Query Attention(MQA)을 사용하며, 그 외에는 GQA가 사용됩니다. 멀티 헤드 체크포인트를 GQA 체크포인트로 변환할 때, 각 그룹의 key 및 value 헤드는 해당 그룹 내 모든 원래 헤드를 meanpooling하여 구성해야 합니다. 자세한 내용은 이 논문을 확인하세요. 지정되지 않으면 num_attention_heads가 기본값으로 사용됩니다.
  • n_shared_experts (int, 선택 사항, 기본값 1) — 공유 전문가의 수입니다.
  • n_routed_experts (int, 선택 사항, 기본값 128) — 라우팅된 전문가의 수입니다.
  • output_router_logits (bool, 선택 사항, 기본값 False) — 모델이 router logits를 반환할지 여부입니다. 이 옵션을 활성화하면 load balancing loss와 router z-loss를 포함한 auxiliary loss도 출력할 수 있습니다.
  • routed_scaling_factor (float, 선택 사항, 기본값 2.5) — 라우팅된 전문가의 스케일링 팩터입니다.
  • kv_lora_rank (int, 선택 사항, 기본값 512) — 키 및 값 투영에 사용되는 LoRA 행렬의 랭크입니다.
  • q_lora_rank (int, 선택 사항) — 쿼리 투영에 사용되는 LoRA 행렬의 랭크입니다.
  • qk_rope_head_dim (int, 선택 사항, 기본값 64) — 회전 위치 임베딩을 사용하는 쿼리/키 헤드의 차원입니다.
  • v_head_dim (int, 선택 사항, 기본값 128) — value head의 차원입니다.
  • qk_nope_head_dim (int, 선택 사항, 기본값 128) — Rotary position embeddings를 사용하지 않는 query/key head의 차원입니다.
  • n_group (int, 선택 사항, 기본값 1) — 라우팅된 전문가(experts)의 그룹 수입니다. 공개된 체크포인트는 모든 전문가를 한 번에 라우팅합니다.
  • topk_group (int, 선택 사항, 기본값 1) — 토큰당 선택된 그룹의 수.
  • num_experts_per_tok (int, 선택 사항, 기본값 8) — 각 토큰을 라우팅할 전문가의 수입니다. 이는 토큰 선택 라우팅의 top-k 값입니다.
  • first_k_dense_replace (int, 선택 사항, 기본값 1) — 얕은 레이어(embed->dense->moe->moe…->lm_head)의 dense 레이어 수. --k dense layers—/
  • norm_topk_prob (bool, 선택 사항, 기본값 True) — 라우팅된 전문가의 가중치를 정규화할지 여부입니다.
  • hidden_act (str, 선택 사항, 기본값 silu) — 디코더의 비선형 활성화 함수(함수 또는 문자열)입니다. 예를 들어, "gelu", "relu", "silu" 등이 있습니다.
  • max_position_embeddings (int, 선택 사항, 기본값 4096) — 이 모델이 사용될 수 있는 최대 시퀀스 길이입니다.
  • initializer_range (float, 선택 사항, 기본값 0.006) — 모든 가중치 행렬을 초기화하는 truncated_normal_initializer의 표준 편차입니다.
  • rms_norm_eps (float, 선택 사항, 기본값 1e-06) — rms 정규화 레이어에서 사용되는 epsilon 값입니다.
  • use_cache (bool, 선택 사항, 기본값 True) — 모델이 마지막 key/values attention을 반환할지 여부입니다(모든 모델에서 사용되지 않음). config.is_decoder=True인 경우 또는 모델이 decoder-only 생성 모델인 경우에만 관련이 있습니다.
  • pad_token_id (int, 선택 사항) — 어휘에서 패딩에 사용되는 토큰 ID입니다.
  • bos_token_id (int, 선택 사항, 기본값 0) — 어휘에서 스트림 시작에 사용되는 토큰 id입니다.
  • eos_token_id (Union[int, list[int]], 선택 사항, 기본값 1) — 어휘에서 스트림 종료에 사용되는 토큰 id입니다.
  • pretraining_tp (int, 선택 사항, 기본값 1) — 실험적 기능입니다. 사전 학습(pretraining) 동안 사용된 Tensor parallelism rank입니다. 자세한 내용은 이 문서를 참고하세요. 이 값은 사전 학습 결과를 정확히 재현하기 위해 필요합니다. 이 이슈를 참고하세요.
  • tie_word_embeddings (bool, 선택, 기본값 False) — 모델의 tied_weights_keys 매핑에 따라 가중치 임베딩을 묶을지 여부.
  • rope_parameters (Union[~modeling_rope_utils.RopeParameters, dict], 선택) — RoPE 임베딩의 구성 매개변수를 포함하는 사전입니다. 사전에는 rope_theta 값이 포함되어야 하며, 더 긴 max_position_embeddings로 RoPE를 사용하려는 경우 스케일링에 사용되는 매개변수를 선택적으로 포함할 수 있습니다.
  • rope_interleave (bool, 선택 사항, 기본값 True) — 회전 위치 임베딩을 교차(interleave)할지 여부입니다.
  • attention_bias (bool, 선택 사항, 기본값 False) — 자기 주의(self-attention) 시 query, key, value 및 출력 투영 계층에 bias를 사용할지 여부입니다.
  • attention_dropout (Union[float, int], 선택 사항, 기본값 0.0) — Attention 확률에 적용할 dropout 비율입니다.
  • num_mtp_layers (int, 선택 사항, 기본값 0) — 기본 transformer 모델 뒤에 추가할 수 있는 Multi-Token Prediction (MTP) 모듈의 수입니다. 공개된 체크포인트에는 MTP 가중치가 포함되어 있지 않습니다.

이것은 DeepseekV3Model의 구성을 저장하기 위한 구성 클래스입니다. 지정된 인자에 따라 Sarvam Mla 모델을 인스턴스화하여 모델 아키텍처를 정의하는 데 사용됩니다. 기본값으로 구성을 인스턴스화하면 sarvamai/sarvam-105b와 유사한 구성이 생성됩니다.

Configuration 객체는 PreTrainedConfig를 상속하며 모델 출력을 제어하는 데 사용할 수 있습니다. 자세한 내용은 PreTrainedConfig의 문서를 참고하세요.

예:

>>> from transformers import SarvamMLAConfig

>>> # Initializing a SarvamMLA style configuration
>>> configuration = SarvamMLAConfig()

>>> # Accessing the model configuration
>>> configuration = model.config
Update on GitHub