Transformers documentation

SarvamMoE

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Este modelo fue aportado a Hugging Face Transformers el 2026-11-20.

FlashAttention SDPA

SarvamMoE

SarvamMoE es la arquitectura de Sarvam-30B, un modelo de lenguaje Mixture of Experts (MoE) de 30B parámetros desarrollado por Sarvam AI. Su versión más grande, Sarvam-105B, utiliza SarvamMLA.

Características arquitectónicas clave:

  • Atención de consultas agrupadas con normalización QK y embeddings de posición rotacional completos.
  • Sparse Mixture of Experts: 128 expertos enrutados con 6 activos por token, más 1 experto compartido. La primera capa utiliza un MLP denso.
  • Enrutamiento sigmoide con una corrección de sesgo de experto y un factor de escalado enrutado.

La arquitectura es la misma que la de GLM-4-MoE, con nombres de parámetros y de configuración diferentes. Las clases automáticas la cargan con la implementación de GLM-4-MoE (Glm4MoeModel y Glm4MoeForCausalLM), por lo que solo SarvamMoEConfig es específico de SarvamMoE. Los puntos de control publicados se convierten a los nombres de GLM-4-MoE al cargarlos y se revierte la conversión al guardarlos.

El siguiente ejemplo demuestra cómo generar texto con la clase AutoModelForCausalLM.

from transformers import AutoModelForCausalLM, AutoTokenizer


tokenizer = AutoTokenizer.from_pretrained("sarvamai/sarvam-30b")
model = AutoModelForCausalLM.from_pretrained("sarvamai/sarvam-30b", device_map="auto")

messages = [{"role": "user", "content": "Explain the Pythagorean theorem in one sentence."}]
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt", return_dict=True)
output = model.generate(**inputs.to(model.device), max_new_tokens=64)
print(tokenizer.decode(output[0][inputs["input_ids"].shape[1] :], skip_special_tokens=True))

SarvamMoEConfig

clase transformers.SarvamMoEConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 262144hidden_size: int = 4096intermediate_size: int = 8192num_hidden_layers: int = 19num_attention_heads: int = 64num_key_value_heads: int = 4hidden_act: str = 'silu'max_position_embeddings: int = 131072initializer_range: float = 0.006rms_norm_eps: float = 1e-06use_cache: bool = Truetie_word_embeddings: bool = Falserope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = Noneattention_bias: bool = Falseattention_dropout: float | int = 0.0moe_intermediate_size: int = 1024num_experts_per_tok: int = 6output_router_logits: bool = Falsen_shared_experts: int = 1n_routed_experts: int = 128routed_scaling_factor: float = 2.5n_group: int = 1topk_group: int = 1first_k_dense_replace: int = 1norm_topk_prob: bool = Trueuse_qk_norm: bool = Truebos_token_id: int | None = Noneeos_token_id: int | list[int] | None = 1pad_token_id: int | None = 0num_mtp_layers: int = 0head_dim: int = 64 )

Parámetros

  • vocab_size (int, opcional, valor predeterminado 262144) — Tamaño del vocabulario del modelo. Define el número de tokens diferentes que pueden representarse mediante input_ids.
  • hidden_size (int, opcional, valor predeterminado 4096) — Dimensión de las representaciones ocultas.
  • intermediate_size (int, opcional, valor predeterminado 8192) — Dimensión de las representaciones del MLP.
  • num_hidden_layers (int, opcional, valor predeterminado 19) — Número de capas ocultas en el decodificador Transformer.
  • num_attention_heads (int, opcional, valor predeterminado 64) — Número de cabezas de atención para cada capa de atención en el decodificador Transformer.
  • num_key_value_heads (int, opcional, valor predeterminado 4) — Este es el número de cabezas key_value que se deben utilizar para implementar Grouped Query Attention. Si num_key_value_heads=num_attention_heads, el modelo utilizará Multi Head Attention (MHA); si num_key_value_heads=1, el modelo utilizará Multi Query Attention (MQA); en caso contrario, se utilizará GQA. Al convertir un checkpoint multi-head en un checkpoint GQA, cada cabeza de clave y valor del grupo debe construirse mediante el promediado (meanpooling) de todas las cabezas originales dentro de ese grupo. Para más detalles, consulta este artículo. Si no se especifica, el valor predeterminado será num_attention_heads.
  • hidden_act (str, opcional, valor predeterminado silu) — La función de activación no lineal (función o cadena) en el decodificador. Por ejemplo, "gelu", "relu", "silu", etc.
  • max_position_embeddings (int, opcional, valor predeterminado 131072) — La longitud máxima de secuencia con la que podría utilizarse este modelo.
  • initializer_range (float, opcional, valor predeterminado 0.006) — La desviación estándar del truncated_normal_initializer para inicializar todas las matrices de pesos.
  • rms_norm_eps (float, opcional, valor predeterminado 1e-06) — El epsilon utilizado por las capas de normalización rms.
  • use_cache (bool, opcional, valor predeterminado True) — Indica si el modelo debe devolver las últimas claves/valores de atención (no utilizado por todos los modelos). Solo es relevante si config.is_decoder=True o cuando el modelo es un modelo generativo solo de decodificador.
  • tie_word_embeddings (bool, opcional, valor predeterminado False) — Si se deben vincular las matrices de pesos de embeddings según el mapeo tied_weights_keys del modelo.
  • rope_parameters (Union[~modeling_rope_utils.RopeParameters, dict], opcional) — Diccionario que contiene los parámetros de configuración para las incrustaciones RoPE. El diccionario debe contener un valor para rope_theta y, opcionalmente, parámetros utilizados para el escalado en caso de que desee usar RoPE con max_position_embeddings más largos.
  • attention_bias (bool, opcional, valor predeterminado False) — Si se debe usar un sesgo en las capas de proyección de consulta, clave, valor y salida durante la autoatención.
  • attention_dropout (Union[float, int], opcional, valor predeterminado 0.0) — La proporción de dropout para las probabilidades de atención.
  • moe_intermediate_size (int, opcional, valor predeterminado 1024) — Tamaño intermedio de los MLP de los expertos enrutados.
  • num_experts_per_tok (int, opcional, valor predeterminado 6) — Número de expertos a los que enrutar cada token. Este es el valor top-k para el enrutamiento de selección de tokens.
  • output_router_logits (bool, opcional, valor predeterminado False) — Indica si el modelo debe devolver los logits del router. Habilitar esta opción también permite que el modelo devuelva la pérdida auxiliar, que incluye la pérdida de equilibrio de carga y la pérdida z del router.
  • n_shared_experts (int, opcional, valor predeterminado 1) — Número de expertos compartidos.
  • n_routed_experts (int, opcional, valor predeterminado 128) — Número de expertos enrutados.
  • routed_scaling_factor (float, opcional, valor predeterminado 2.5) — Factor de escala de los expertos enrutados.
  • n_group (int, opcional, valor predeterminado 1) — Número de grupos para expertos enrutados.
  • topk_group (int, opcional, valor predeterminado 1) — Número de grupos seleccionados para cada token (para cada token, garantizando que los expertos seleccionados estén solo dentro de topk_group grupos).
  • first_k_dense_replace (int, opcional, valor predeterminado 1) — Número de capas densas en las capas superficiales (embed->dense->moe->moe…->lm_head). --k capas densas—/
  • norm_topk_prob (bool, opcional, valor predeterminado True) — Si se normalizan los pesos de los expertos enrutados.
  • use_qk_norm (bool, opcional, valor predeterminado True) — Si se debe usar la normalización de consulta-clave en la atención.
  • bos_token_id (int, opcional) — Id del token utilizado para el inicio de la secuencia en el vocabulario.
  • eos_token_id (Union[int, list[int]], opcional, valor predeterminado 1) — Identificador de token utilizado para el fin de secuencia en el vocabulario.
  • pad_token_id (int, opcional, valor predeterminado 0) — Id del token utilizado para el relleno en el vocabulario.
  • num_mtp_layers (int, opcional, valor predeterminado 0) — Número de módulos de predicción de múltiples tokens (MTP) disponibles para añadir después del modelo transformer base. Los puntos de control publicados no incluyen pesos de MTP.
  • head_dim (int, opcional, valor predeterminado 64) — La dimensión de la cabeza de atención. Si es None, se establecerá en hidden_size // num_attention_heads

Esta es la clase de configuración para almacenar la configuración de un Glm4MoeModel. Se utiliza para instanciar un modelo Sarvam Moe según los argumentos especificados, definiendo la arquitectura del modelo. Instanciar una configuración con los valores predeterminados producirá una configuración similar a la de sarvamai/sarvam-30b

Los objetos de configuración heredan de PreTrainedConfig y se pueden usar para controlar las salidas del modelo. Lea la documentación de PreTrainedConfig para obtener más información.

Ejemplo:

>>> from transformers import AutoModelForCausalLM, SarvamMoEConfig

>>> # Initializing a Sarvam-30B style configuration
>>> configuration = SarvamMoEConfig()

>>> # Initializing a model (which uses the GLM-4-MoE implementation) from that configuration
>>> model = AutoModelForCausalLM.from_config(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
Update on GitHub