Transformers documentation

SarvamMoE

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

تمت مساهمة هذا النموذج في Hugging Face Transformers في 2026-11-20.

FlashAttention SDPA

SarvamMoE

SarvamMoE هي بنية Sarvam-30B، وهو نموذج لغة من نوع مزيج الخبراء (MoE) يحتوي على 30 مليار معلمة، طورته Sarvam AI. أما شقيقه الأكبر Sarvam-105B فيستخدم SarvamMLA.

الميزات المعمارية الرئيسية:

  • انتباه الاستعلامات المجمّعة مع تطبيع QK وتضمينات موضع دوّارة كاملة.
  • خلطة الخبراء المتناثرة: 128 خبيرًا موجّهًا مع 6 نشطين لكل رمز، بالإضافة إلى خبير مشترك واحد. يستخدم الطبقة الأولى شبكة عصبية متعددة الطبقات كثيفة.
  • التوجيه الدالي (Sigmoid) مع تصحيح انحياز الخبراء ومعامل تحجيم موجَّه.

تتطابق البنية مع GLM-4-MoE، مع اختلاف أسماء المعاملات والإعدادات. تقوم فئات auto بتحميلها باستخدام تنفيذ GLM-4-MoE (Glm4MoeModel و Glm4MoeForCausalLM)، لذا فإن SarvamMoEConfig هو العنصر الوحيد الخاص بـ SarvamMoE. يتم تحويل نقاط التفتيش المُصدَّرة إلى أسماء GLM-4-MoE عند التحميل، ثم تُعاد إلى أسماء SarvamMoE عند الحفظ.

يُظهر المثال أدناه كيفية توليد النص باستخدام فئة AutoModelForCausalLM.

from transformers import AutoModelForCausalLM, AutoTokenizer


tokenizer = AutoTokenizer.from_pretrained("sarvamai/sarvam-30b")
model = AutoModelForCausalLM.from_pretrained("sarvamai/sarvam-30b", device_map="auto")

messages = [{"role": "user", "content": "Explain the Pythagorean theorem in one sentence."}]
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt", return_dict=True)
output = model.generate(**inputs.to(model.device), max_new_tokens=64)
print(tokenizer.decode(output[0][inputs["input_ids"].shape[1] :], skip_special_tokens=True))

SarvamMoEConfig

فئة transformers.SarvamMoEConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 262144hidden_size: int = 4096intermediate_size: int = 8192num_hidden_layers: int = 19num_attention_heads: int = 64num_key_value_heads: int = 4hidden_act: str = 'silu'max_position_embeddings: int = 131072initializer_range: float = 0.006rms_norm_eps: float = 1e-06use_cache: bool = Truetie_word_embeddings: bool = Falserope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = Noneattention_bias: bool = Falseattention_dropout: float | int = 0.0moe_intermediate_size: int = 1024num_experts_per_tok: int = 6output_router_logits: bool = Falsen_shared_experts: int = 1n_routed_experts: int = 128routed_scaling_factor: float = 2.5n_group: int = 1topk_group: int = 1first_k_dense_replace: int = 1norm_topk_prob: bool = Trueuse_qk_norm: bool = Truebos_token_id: int | None = Noneeos_token_id: int | list[int] | None = 1pad_token_id: int | None = 0num_mtp_layers: int = 0head_dim: int = 64 )

المعاملات

  • vocab_size (int، اختياري، القيمة الافتراضية 262144) — حجم مفردات النموذج. يحدد عدد الرموز المختلفة التي يمكن تمثيلها بواسطة input_ids.
  • hidden_size (int، اختياري، القيمة الافتراضية 4096) — أبعاد التمثيلات المخفية.
  • intermediate_size (int، اختياري، القيمة الافتراضية 8192) — أبعاد تمثيلات MLP.
  • num_hidden_layers (int، اختياري، القيمة الافتراضية 19) — عدد الطبقات المخفية في مُفكِّك Transformer.
  • num_attention_heads (int، اختياري، القيمة الافتراضية 64) — عدد رؤوس الانتباه لكل طبقة انتباه في مُفكِّك Transformer.
  • num_key_value_heads (int، اختياري، القيمة الافتراضية 4) — هذا هو عدد رؤوس key_value التي يجب استخدامها لتنفيذ Grouped Query Attention. إذا كان num_key_value_heads=num_attention_heads، فسيستخدم النموذج Multi Head Attention (MHA)، وإذا كان num_key_value_heads=1 فسيستخدم النموذج Multi Query Attention (MQA)، وإلا فسيتم استخدام GQA. عند تحويل نقطة تفتيش متعددة الرؤوس إلى نقطة تفتيش GQA، يجب بناء كل مجموعة من رؤوس key و value عن طريق meanpooling جميع الرؤوس الأصلية داخل تلك المجموعة. لمزيد من التفاصيل، راجع هذا الورقة. إذا لم يتم تحديد القيمة، فستكون القيمة الافتراضية هي num_attention_heads.
  • hidden_act (str، اختياري، القيمة الافتراضية silu) — دالة التنشيط غير الخطية (دالة أو نص) في المُفكِّك. على سبيل المثال، "gelu"، "relu"، "silu"، وغيرها.
  • max_position_embeddings (int، اختياري، القيمة الافتراضية 131072) — أقصى طول تسلسل قد يُستخدم معه هذا النموذج على الإطلاق.
  • initializer_range (float، اختياري، القيمة الافتراضية 0.006) — الانحراف المعياري لـ truncated_normal_initializer المستخدم في تهيئة جميع مصفوفات الأوزان.
  • rms_norm_eps (float، اختياري، القيمة الافتراضية 1e-06) — قيمة الإيبسلون المستخدمة في طبقات تطبيع rms.
  • use_cache (bool، اختياري، القيمة الافتراضية True) — ما إذا كان يجب على النموذج إرجاع قيم المفاتيح/القيم الأخيرة للانتباه (لا تستخدمها جميع النماذج). لا ينطبق إلا إذا كان config.is_decoder=True أو إذا كان النموذج نموذجًا توليديًا يعتمد على المُفكِّك فقط.
  • tie_word_embeddings (bool، اختياري، القيمة الافتراضية False) — ما إذا كان سيتم ربط ترميزات الأوزان وفقاً لخريطة tied_weights_keys الخاصة بالنموذج.
  • rope_parameters (Union[~modeling_rope_utils.RopeParameters, dict], اختياري) — قائمة تحتوي على معاملات التهيئة الخاصة بتضمينات RoPE. يجب أن تحتوي القائمة على قيمة لـ rope_theta، ومعاملات اختيارية تُستخدم للتوسيع في حال رغبتَ في استخدام RoPE مع max_position_embeddings أطول.
  • attention_bias (bool، اختياري، القيمة الافتراضية False) — ما إذا كان سيتم استخدام انحياز في طبقات الإسقاط للاستعلام والمفتاح والقيمة والمخرجات أثناء الانتباه الذاتي.
  • attention_dropout (Union[float, int]، اختياري، القيمة الافتراضية 0.0) — نسبة إسقاط (dropout) لاحتمالات الانتباه.
  • moe_intermediate_size (int، اختياري، القيمة الافتراضية 1024) — الحجم الوسيط لشبكات MLP للخبراء الموجَّهين.
  • num_experts_per_tok (int، اختياري، القيمة الافتراضية 6) — عدد الخبراء الذين يُوجَّه إليهم كل رمز. هذه هي قيمة top-k الخاصة بتوجيه اختيار الرموز.
  • output_router_logits (bool، اختياري، القيمة الافتراضية False) — ما إذا كان يجب على النموذج إرجاع قيم اللوجيتس الخاصة بالموجِّه (router). تمكين هذا الخيار سيتيح أيضًا للنموذج إخراج الخسارة المساعدة، بما في ذلك خسارة موازنة الحمل وخسارة z الخاصة بالموجِّه.
  • n_shared_experts (int، اختياري، القيمة الافتراضية 1) — عدد الخبراء المشتركين.
  • n_routed_experts (int، اختياري، القيمة الافتراضية 128) — عدد الخبراء الموجَّهين.
  • routed_scaling_factor (float، اختياري، القيمة الافتراضية 2.5) — معامل التوسعة للخبراء الموجَّهين.
  • n_group (int، اختياري، القيمة الافتراضية 1) — عدد المجموعات للخبراء الموجَّهين.
  • topk_group (int، اختياري، القيمة الافتراضية 1) — عدد المجموعات المختارة لكل رمز (لكل رمز، مع ضمان أن الخبراء المختارين يكونون ضمن topk_group مجموعات فقط).
  • first_k_dense_replace (int، اختياري، القيمة الافتراضية 1) — عدد طبقات الكثافة في الطبقات الضحلة (embed->dense->moe->moe…->lm_head). --k طبقات كثافة—/
  • norm_topk_prob (bool، اختياري، القيمة الافتراضية True) — هل يتم تطبيع أوزان الخبراء الموجَّهين.
  • use_qk_norm (bool، اختياري، القيمة الافتراضية True) — ما إذا كان سيتم استخدام تطبيع الاستعلام-المفتاح في الانتباه.
  • bos_token_id (int, اختياري) — معرّف الرمز المستخدم لبدء البث في المفردات.
  • eos_token_id (Union[int, list[int]]، اختياري، القيمة الافتراضية 1) — معرّف الرمز المستخدم لنهاية التدفق في المفردات.
  • pad_token_id (int، اختياري، القيمة الافتراضية 0) — معرّف الرمز المستخدم للتعبئة في المفردات.
  • num_mtp_layers (int, اختياري، القيمة الافتراضية 0) — عدد وحدات التنبؤ متعدد الرموز (MTP) المتاحة للإضافة بعد نموذج الترانسفورمر الأساسي. لا تتضمن نقاط التفتيش المنشورة أوزان MTP.
  • head_dim (int، اختياري، القيمة الافتراضية 64) — بعد رأس الانتباه. إذا كانت القيمة None، فستكون القيمة الافتراضية هي hidden_size // num_attention_heads

هذه فئة الإعدادات المخزنة لإعدادات نموذج Glm4MoeModel. تُستخدم لاستحداث نموذج Sarvam Moe وفقاً للحجج المحددة، مع تعريف بنية النموذج. إن استحداث إعدادات باستخدام القيم الافتراضية سيؤدي إلى إعدادات مشابهة لتلك الخاصة بـ sarvamai/sarvam-30b

ترث كائنات التهيئة من PreTrainedConfig ويمكن استخدامها للتحكم في مخرجات النموذج. اقرأ التوثيق الخاص بـ PreTrainedConfig لمزيد من المعلومات.

مثال:

>>> from transformers import AutoModelForCausalLM, SarvamMoEConfig

>>> # Initializing a Sarvam-30B style configuration
>>> configuration = SarvamMoEConfig()

>>> # Initializing a model (which uses the GLM-4-MoE implementation) from that configuration
>>> model = AutoModelForCausalLM.from_config(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
Update on GitHub