Transformers documentation
SarvamMoE
Bu model, 2026-11-20 tarihinde Hugging Face Transformers'a katkıda bulunulmuştur.
SarvamMoE
SarvamMoE, Sarvam AI tarafından geliştirilen 30B parametreli Mixture of Experts (MoE) dil modeli olan Sarvam-30B'ın mimarisidir. Daha büyük kardeşi Sarvam-105B ise SarvamMLA kullanır.
Temel mimari özellikler:
- QK normalizasyonu ve tam döner konum gömmelemeleri ile Gruplanmış sorgu dikkati.
- Sparse Mixture of Experts: 128 yönlendirilmiş uzman, token başına 6 aktif ve 1 paylaşılan uzman. İlk katman yoğun bir MLP kullanır.
- Sigmoid yönlendirme, uzman sapma düzeltmesi ve yönlendirilmiş ölçekleme faktörü ile.
Mimari, GLM-4-MoE ile aynıdır; yalnızca parametre ve yapılandırma adları farklıdır. Otomatik sınıflar, modeli GLM-4-MoE uygulamasıyla (Glm4MoeModel ve Glm4MoeForCausalLM) yükler, bu nedenle SarvamMoE'ye özgü olan tek sınıf SarvamMoEConfig'tir. Yayınlanan kontrol noktaları, yükleme sırasında GLM-4-MoE adlarına, kaydetme sırasında ise orijinal adlarına dönüştürülür.
Aşağıdaki örnek, AutoModelForCausalLM sınıfı ile metin üretmenin nasıl yapıldığını göstermektedir.
from transformers import AutoModelForCausalLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("sarvamai/sarvam-30b")
model = AutoModelForCausalLM.from_pretrained("sarvamai/sarvam-30b", device_map="auto")
messages = [{"role": "user", "content": "Explain the Pythagorean theorem in one sentence."}]
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt", return_dict=True)
output = model.generate(**inputs.to(model.device), max_new_tokens=64)
print(tokenizer.decode(output[0][inputs["input_ids"].shape[1] :], skip_special_tokens=True))SarvamMoEConfig
sınıf transformers.SarvamMoEConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 262144hidden_size: int = 4096intermediate_size: int = 8192num_hidden_layers: int = 19num_attention_heads: int = 64num_key_value_heads: int = 4hidden_act: str = 'silu'max_position_embeddings: int = 131072initializer_range: float = 0.006rms_norm_eps: float = 1e-06use_cache: bool = Truetie_word_embeddings: bool = Falserope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = Noneattention_bias: bool = Falseattention_dropout: float | int = 0.0moe_intermediate_size: int = 1024num_experts_per_tok: int = 6output_router_logits: bool = Falsen_shared_experts: int = 1n_routed_experts: int = 128routed_scaling_factor: float = 2.5n_group: int = 1topk_group: int = 1first_k_dense_replace: int = 1norm_topk_prob: bool = Trueuse_qk_norm: bool = Truebos_token_id: int | None = Noneeos_token_id: int | list[int] | None = 1pad_token_id: int | None = 0num_mtp_layers: int = 0head_dim: int = 64 )
Parametreler
- vocab_size (
int, isteğe bağlı, varsayılan262144) — Modelin sözlük boyutu.input_idstarafından temsil edilebilecek farklı token sayısını tanımlar. - hidden_size (
int, isteğe bağlı, varsayılan4096) — Gizli temsillerin boyutu. - intermediate_size (
int, isteğe bağlı, varsayılan8192) — MLP temsillerinin boyutu. - num_hidden_layers (
int, isteğe bağlı, varsayılan19) — Transformer çözücüdeki gizli katman sayısı. - num_attention_heads (
int, isteğe bağlı, varsayılan64) — Transformer decoder'ındaki her dikkat katmanı için dikkat başı sayısı. - num_key_value_heads (
int, isteğe bağlı, varsayılan4) — Bu, Grouped Query Attention uygulamasında kullanılacak key_value başlarının sayısıdır.num_key_value_heads=num_attention_headsise model Multi Head Attention (MHA) kullanır,num_key_value_heads=1ise model Multi Query Attention (MQA) kullanır, aksi halde GQA kullanılır. Çok başlı bir checkpoint'i GQA checkpoint'ine dönüştürürken, her grup key ve value başı, o gruptaki tüm orijinal başların ortalama havuzlanması (meanpooling) ile oluşturulmalıdır. Daha fazla ayrıntı için bu makaleye göz atın. Belirtilmezse, varsayılan olaraknum_attention_headskullanılır. - hidden_act (
str, isteğe bağlı, varsayılansilu) — Çözücüdeki doğrusal olmayan aktivasyon fonksiyonu (fonksiyon veya dize). Örneğin,"gelu","relu","silu"vb. - max_position_embeddings (
int, isteğe bağlı, varsayılan131072) — Bu modelin kullanılabileceği en uzun dizi uzunluğu. - initializer_range (
float, isteğe bağlı, varsayılan0.006) — Tüm ağırlık matrislerini başlatmak için kullanılan truncated_normal_initializer'ın standart sapması. - rms_norm_eps (
float, isteğe bağlı, varsayılan1e-06) — rms normalizasyon katmanları tarafından kullanılan epsilon. - use_cache (
bool, isteğe bağlı, varsayılanTrue) — Modelin son anahtar/değer dikkatlerini (tüm modellerde kullanılmaz) döndürüp döndürmeyeceği. Yalnızcaconfig.is_decoder=Trueolduğunda veya model yalnızca çözücü tabanlı üretken bir model olduğunda geçerlidir. - tie_word_embeddings (
bool, isteğe bağlı, varsayılanFalse) — Modelintied_weights_keyseşlemesine göre ağırlık gömme bağlamalarının yapılıp yapılmayacağı. - rope_parameters (
Union[~modeling_rope_utils.RopeParameters, dict], isteğe bağlı) — RoPE gömme yapılandırma parametrelerini içeren sözlük. Sözlük,rope_thetaiçin bir değer ve daha uzunmax_position_embeddingsile RoPE kullanmak istiyorsanız ölçekleme için kullanılan isteğe bağlı parametreleri içermelidir. - attention_bias (
bool, isteğe bağlı, varsayılanFalse) — Öz-dikkat sırasında sorgu, anahtar, değer ve çıktı projeksiyon katmanlarında önyargı (bias) kullanılıp kullanılmayacağı. - attention_dropout (
Union[float, int], isteğe bağlı, varsayılan0.0) — Dikkat olasılıkları için dropout oranı. - moe_intermediate_size (
int, isteğe bağlı, varsayılan1024) — Yönlendirilen uzman MLP'lerinin ara boyutu. - num_experts_per_tok (
int, isteğe bağlı, varsayılan6) — Her tokenın yönlendirileceği uzman sayısı. Bu, token seçimli yönlendirmede top-k değeridir. - output_router_logits (
bool, isteğe bağlı, varsayılanFalse) — Modelin router logits'lerini döndürüp döndürmeyeceği. Bu özelliğin etkinleştirilmesi, modelin yük dengeleme kaybı ve router z-kaybı dahil olmak üzere yardımcı kaybı da çıkarmasına olanak tanır. - n_shared_experts (
int, isteğe bağlı, varsayılan1) — Paylaşılan uzman sayısı. - n_routed_experts (
int, isteğe bağlı, varsayılan128) — Yönlendirilen uzman sayısı. - routed_scaling_factor (
float, isteğe bağlı, varsayılan2.5) — Ölçekleme faktörü veya yönlendirilen uzmanlar. - n_group (
int, isteğe bağlı, varsayılan 1) — Yönlendirilen uzmanlar için grup sayısı. - topk_group (
int, isteğe bağlı, varsayılan1) — Her token için seçilen grup sayısı (her token için, seçilen uzmanların yalnızcatopk_groupgrup içinde olmasını sağlar). - first_k_dense_replace (
int, isteğe bağlı, varsayılan 1) — Yüzeysel katmanlardaki (embed->dense->moe->moe…->lm_head) yoğun katman sayısı. --k yoğun katman—/ - norm_topk_prob (
bool, isteğe bağlı, varsayılanTrue) — Yönlendirilen uzmanların ağırlıklarının normalize edilip edilmeyeceği. - use_qk_norm (
bool, isteğe bağlı, varsayılanTrue) — Dikkat mekanizmasında sorgu-anahtar normalizasyonunun kullanılıp kullanılmayacağı. - bos_token_id (
int, isteğe bağlı) — Sözlükte akış başlangıcı için kullanılan token kimliği. - eos_token_id (
Union[int, list[int]], isteğe bağlı, varsayılan1) — Sözlükte akış sonu için kullanılan token kimliği. - pad_token_id (
int, isteğe bağlı, varsayılan0) — Sözlükte dolgu için kullanılan token kimliği. - num_mtp_layers (
int, isteğe bağlı, varsayılan 0) — Temel transformer modelinin sonuna eklenmesi için kullanılabilir Multi-Token Prediction (MTP) modüllerinin sayısı. Yayınlanan checkpoint'ler MTP ağırlıklarını içermez. - head_dim (
int, isteğe bağlı, varsayılan64) — Dikkat başlığı boyutu. None ise, varsayılan olarak hidden_size // num_attention_heads değerini alır.
Bu, bir Glm4MoeModel yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır. Belirtilen argümanlara göre bir Sarvam Moe modelinin örneklenmesi ve model mimarisinin tanımlanması için kullanılır. Varsayılan değerlerle bir yapılandırma örneği oluşturmak, sarvamai/sarvam-30b ile benzer bir yapılandırmaya yol açar.
Yapılandırma nesneleri PreTrainedConfig sınıfından devralır ve model çıktılarını kontrol etmek için kullanılabilir. Daha fazla bilgi için PreTrainedConfig belgesini okuyun.
Örnek:
>>> from transformers import AutoModelForCausalLM, SarvamMoEConfig
>>> # Initializing a Sarvam-30B style configuration
>>> configuration = SarvamMoEConfig()
>>> # Initializing a model (which uses the GLM-4-MoE implementation) from that configuration
>>> model = AutoModelForCausalLM.from_config(configuration)
>>> # Accessing the model configuration
>>> configuration = model.config