Transformers documentation

SarvamMoE

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.24.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Bu model, 2026-11-20 tarihinde Hugging Face Transformers'a katkıda bulunulmuştur.

FlashAttention SDPA

SarvamMoE

SarvamMoE, Sarvam AI tarafından geliştirilen 30B parametreli Mixture of Experts (MoE) dil modeli olan Sarvam-30B'ın mimarisidir. Daha büyük kardeşi Sarvam-105B ise SarvamMLA kullanır.

Temel mimari özellikler:

  • QK normalizasyonu ve tam döner konum gömmelemeleri ile Gruplanmış sorgu dikkati.
  • Sparse Mixture of Experts: 128 yönlendirilmiş uzman, token başına 6 aktif ve 1 paylaşılan uzman. İlk katman yoğun bir MLP kullanır.
  • Sigmoid yönlendirme, uzman sapma düzeltmesi ve yönlendirilmiş ölçekleme faktörü ile.

Mimari, GLM-4-MoE ile aynıdır; yalnızca parametre ve yapılandırma adları farklıdır. Otomatik sınıflar, modeli GLM-4-MoE uygulamasıyla (Glm4MoeModel ve Glm4MoeForCausalLM) yükler, bu nedenle SarvamMoE'ye özgü olan tek sınıf SarvamMoEConfig'tir. Yayınlanan kontrol noktaları, yükleme sırasında GLM-4-MoE adlarına, kaydetme sırasında ise orijinal adlarına dönüştürülür.

Aşağıdaki örnek, AutoModelForCausalLM sınıfı ile metin üretmenin nasıl yapıldığını göstermektedir.

from transformers import AutoModelForCausalLM, AutoTokenizer


tokenizer = AutoTokenizer.from_pretrained("sarvamai/sarvam-30b")
model = AutoModelForCausalLM.from_pretrained("sarvamai/sarvam-30b", device_map="auto")

messages = [{"role": "user", "content": "Explain the Pythagorean theorem in one sentence."}]
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt", return_dict=True)
output = model.generate(**inputs.to(model.device), max_new_tokens=64)
print(tokenizer.decode(output[0][inputs["input_ids"].shape[1] :], skip_special_tokens=True))

SarvamMoEConfig

sınıf transformers.SarvamMoEConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 262144hidden_size: int = 4096intermediate_size: int = 8192num_hidden_layers: int = 19num_attention_heads: int = 64num_key_value_heads: int = 4hidden_act: str = 'silu'max_position_embeddings: int = 131072initializer_range: float = 0.006rms_norm_eps: float = 1e-06use_cache: bool = Truetie_word_embeddings: bool = Falserope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = Noneattention_bias: bool = Falseattention_dropout: float | int = 0.0moe_intermediate_size: int = 1024num_experts_per_tok: int = 6output_router_logits: bool = Falsen_shared_experts: int = 1n_routed_experts: int = 128routed_scaling_factor: float = 2.5n_group: int = 1topk_group: int = 1first_k_dense_replace: int = 1norm_topk_prob: bool = Trueuse_qk_norm: bool = Truebos_token_id: int | None = Noneeos_token_id: int | list[int] | None = 1pad_token_id: int | None = 0num_mtp_layers: int = 0head_dim: int = 64 )

Parametreler

  • vocab_size (int, isteğe bağlı, varsayılan 262144) — Modelin sözlük boyutu. input_ids tarafından temsil edilebilecek farklı token sayısını tanımlar.
  • hidden_size (int, isteğe bağlı, varsayılan 4096) — Gizli temsillerin boyutu.
  • intermediate_size (int, isteğe bağlı, varsayılan 8192) — MLP temsillerinin boyutu.
  • num_hidden_layers (int, isteğe bağlı, varsayılan 19) — Transformer çözücüdeki gizli katman sayısı.
  • num_attention_heads (int, isteğe bağlı, varsayılan 64) — Transformer decoder'ındaki her dikkat katmanı için dikkat başı sayısı.
  • num_key_value_heads (int, isteğe bağlı, varsayılan 4) — Bu, Grouped Query Attention uygulamasında kullanılacak key_value başlarının sayısıdır. num_key_value_heads=num_attention_heads ise model Multi Head Attention (MHA) kullanır, num_key_value_heads=1 ise model Multi Query Attention (MQA) kullanır, aksi halde GQA kullanılır. Çok başlı bir checkpoint'i GQA checkpoint'ine dönüştürürken, her grup key ve value başı, o gruptaki tüm orijinal başların ortalama havuzlanması (meanpooling) ile oluşturulmalıdır. Daha fazla ayrıntı için bu makaleye göz atın. Belirtilmezse, varsayılan olarak num_attention_heads kullanılır.
  • hidden_act (str, isteğe bağlı, varsayılan silu) — Çözücüdeki doğrusal olmayan aktivasyon fonksiyonu (fonksiyon veya dize). Örneğin, "gelu", "relu", "silu" vb.
  • max_position_embeddings (int, isteğe bağlı, varsayılan 131072) — Bu modelin kullanılabileceği en uzun dizi uzunluğu.
  • initializer_range (float, isteğe bağlı, varsayılan 0.006) — Tüm ağırlık matrislerini başlatmak için kullanılan truncated_normal_initializer'ın standart sapması.
  • rms_norm_eps (float, isteğe bağlı, varsayılan 1e-06) — rms normalizasyon katmanları tarafından kullanılan epsilon.
  • use_cache (bool, isteğe bağlı, varsayılan True) — Modelin son anahtar/değer dikkatlerini (tüm modellerde kullanılmaz) döndürüp döndürmeyeceği. Yalnızca config.is_decoder=True olduğunda veya model yalnızca çözücü tabanlı üretken bir model olduğunda geçerlidir.
  • tie_word_embeddings (bool, isteğe bağlı, varsayılan False) — Modelin tied_weights_keys eşlemesine göre ağırlık gömme bağlamalarının yapılıp yapılmayacağı.
  • rope_parameters (Union[~modeling_rope_utils.RopeParameters, dict], isteğe bağlı) — RoPE gömme yapılandırma parametrelerini içeren sözlük. Sözlük, rope_theta için bir değer ve daha uzun max_position_embeddings ile RoPE kullanmak istiyorsanız ölçekleme için kullanılan isteğe bağlı parametreleri içermelidir.
  • attention_bias (bool, isteğe bağlı, varsayılan False) — Öz-dikkat sırasında sorgu, anahtar, değer ve çıktı projeksiyon katmanlarında önyargı (bias) kullanılıp kullanılmayacağı.
  • attention_dropout (Union[float, int], isteğe bağlı, varsayılan 0.0) — Dikkat olasılıkları için dropout oranı.
  • moe_intermediate_size (int, isteğe bağlı, varsayılan 1024) — Yönlendirilen uzman MLP'lerinin ara boyutu.
  • num_experts_per_tok (int, isteğe bağlı, varsayılan 6) — Her tokenın yönlendirileceği uzman sayısı. Bu, token seçimli yönlendirmede top-k değeridir.
  • output_router_logits (bool, isteğe bağlı, varsayılan False) — Modelin router logits'lerini döndürüp döndürmeyeceği. Bu özelliğin etkinleştirilmesi, modelin yük dengeleme kaybı ve router z-kaybı dahil olmak üzere yardımcı kaybı da çıkarmasına olanak tanır.
  • n_shared_experts (int, isteğe bağlı, varsayılan 1) — Paylaşılan uzman sayısı.
  • n_routed_experts (int, isteğe bağlı, varsayılan 128) — Yönlendirilen uzman sayısı.
  • routed_scaling_factor (float, isteğe bağlı, varsayılan 2.5) — Ölçekleme faktörü veya yönlendirilen uzmanlar.
  • n_group (int, isteğe bağlı, varsayılan 1) — Yönlendirilen uzmanlar için grup sayısı.
  • topk_group (int, isteğe bağlı, varsayılan 1) — Her token için seçilen grup sayısı (her token için, seçilen uzmanların yalnızca topk_group grup içinde olmasını sağlar).
  • first_k_dense_replace (int, isteğe bağlı, varsayılan 1) — Yüzeysel katmanlardaki (embed->dense->moe->moe…->lm_head) yoğun katman sayısı. --k yoğun katman—/
  • norm_topk_prob (bool, isteğe bağlı, varsayılan True) — Yönlendirilen uzmanların ağırlıklarının normalize edilip edilmeyeceği.
  • use_qk_norm (bool, isteğe bağlı, varsayılan True) — Dikkat mekanizmasında sorgu-anahtar normalizasyonunun kullanılıp kullanılmayacağı.
  • bos_token_id (int, isteğe bağlı) — Sözlükte akış başlangıcı için kullanılan token kimliği.
  • eos_token_id (Union[int, list[int]], isteğe bağlı, varsayılan 1) — Sözlükte akış sonu için kullanılan token kimliği.
  • pad_token_id (int, isteğe bağlı, varsayılan 0) — Sözlükte dolgu için kullanılan token kimliği.
  • num_mtp_layers (int, isteğe bağlı, varsayılan 0) — Temel transformer modelinin sonuna eklenmesi için kullanılabilir Multi-Token Prediction (MTP) modüllerinin sayısı. Yayınlanan checkpoint'ler MTP ağırlıklarını içermez.
  • head_dim (int, isteğe bağlı, varsayılan 64) — Dikkat başlığı boyutu. None ise, varsayılan olarak hidden_size // num_attention_heads değerini alır.

Bu, bir Glm4MoeModel yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır. Belirtilen argümanlara göre bir Sarvam Moe modelinin örneklenmesi ve model mimarisinin tanımlanması için kullanılır. Varsayılan değerlerle bir yapılandırma örneği oluşturmak, sarvamai/sarvam-30b ile benzer bir yapılandırmaya yol açar.

Yapılandırma nesneleri PreTrainedConfig sınıfından devralır ve model çıktılarını kontrol etmek için kullanılabilir. Daha fazla bilgi için PreTrainedConfig belgesini okuyun.

Örnek:

>>> from transformers import AutoModelForCausalLM, SarvamMoEConfig

>>> # Initializing a Sarvam-30B style configuration
>>> configuration = SarvamMoEConfig()

>>> # Initializing a model (which uses the GLM-4-MoE implementation) from that configuration
>>> model = AutoModelForCausalLM.from_config(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
Update on GitHub