Transformers documentation
SarvamMoE
Este modelo fue aportado a Hugging Face Transformers el 2026-11-20.
SarvamMoE
SarvamMoE es la arquitectura de Sarvam-30B, un modelo de lenguaje Mixture of Experts (MoE) de 30B parámetros desarrollado por Sarvam AI. Su versión más grande, Sarvam-105B, utiliza SarvamMLA.
Características arquitectónicas clave:
- Atención de consultas agrupadas con normalización QK y embeddings de posición rotacional completos.
- Sparse Mixture of Experts: 128 expertos enrutados con 6 activos por token, más 1 experto compartido. La primera capa utiliza un MLP denso.
- Enrutamiento sigmoide con una corrección de sesgo de experto y un factor de escalado enrutado.
La arquitectura es la misma que la de GLM-4-MoE, con nombres de parámetros y de configuración diferentes. Las clases automáticas la cargan con la implementación de GLM-4-MoE (Glm4MoeModel y Glm4MoeForCausalLM), por lo que solo SarvamMoEConfig es específico de SarvamMoE. Los puntos de control publicados se convierten a los nombres de GLM-4-MoE al cargarlos y se revierte la conversión al guardarlos.
El siguiente ejemplo demuestra cómo generar texto con la clase AutoModelForCausalLM.
from transformers import AutoModelForCausalLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("sarvamai/sarvam-30b")
model = AutoModelForCausalLM.from_pretrained("sarvamai/sarvam-30b", device_map="auto")
messages = [{"role": "user", "content": "Explain the Pythagorean theorem in one sentence."}]
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt", return_dict=True)
output = model.generate(**inputs.to(model.device), max_new_tokens=64)
print(tokenizer.decode(output[0][inputs["input_ids"].shape[1] :], skip_special_tokens=True))SarvamMoEConfig
clase transformers.SarvamMoEConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 262144hidden_size: int = 4096intermediate_size: int = 8192num_hidden_layers: int = 19num_attention_heads: int = 64num_key_value_heads: int = 4hidden_act: str = 'silu'max_position_embeddings: int = 131072initializer_range: float = 0.006rms_norm_eps: float = 1e-06use_cache: bool = Truetie_word_embeddings: bool = Falserope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = Noneattention_bias: bool = Falseattention_dropout: float | int = 0.0moe_intermediate_size: int = 1024num_experts_per_tok: int = 6output_router_logits: bool = Falsen_shared_experts: int = 1n_routed_experts: int = 128routed_scaling_factor: float = 2.5n_group: int = 1topk_group: int = 1first_k_dense_replace: int = 1norm_topk_prob: bool = Trueuse_qk_norm: bool = Truebos_token_id: int | None = Noneeos_token_id: int | list[int] | None = 1pad_token_id: int | None = 0num_mtp_layers: int = 0head_dim: int = 64 )
Parámetros
- vocab_size (
int, opcional, valor predeterminado262144) — Tamaño del vocabulario del modelo. Define el número de tokens diferentes que pueden representarse medianteinput_ids. - hidden_size (
int, opcional, valor predeterminado4096) — Dimensión de las representaciones ocultas. - intermediate_size (
int, opcional, valor predeterminado8192) — Dimensión de las representaciones del MLP. - num_hidden_layers (
int, opcional, valor predeterminado19) — Número de capas ocultas en el decodificador Transformer. - num_attention_heads (
int, opcional, valor predeterminado64) — Número de cabezas de atención para cada capa de atención en el decodificador Transformer. - num_key_value_heads (
int, opcional, valor predeterminado4) — Este es el número de cabezas key_value que se deben utilizar para implementar Grouped Query Attention. Sinum_key_value_heads=num_attention_heads, el modelo utilizará Multi Head Attention (MHA); sinum_key_value_heads=1, el modelo utilizará Multi Query Attention (MQA); en caso contrario, se utilizará GQA. Al convertir un checkpoint multi-head en un checkpoint GQA, cada cabeza de clave y valor del grupo debe construirse mediante el promediado (meanpooling) de todas las cabezas originales dentro de ese grupo. Para más detalles, consulta este artículo. Si no se especifica, el valor predeterminado seránum_attention_heads. - hidden_act (
str, opcional, valor predeterminadosilu) — La función de activación no lineal (función o cadena) en el decodificador. Por ejemplo,"gelu","relu","silu", etc. - max_position_embeddings (
int, opcional, valor predeterminado131072) — La longitud máxima de secuencia con la que podría utilizarse este modelo. - initializer_range (
float, opcional, valor predeterminado0.006) — La desviación estándar del truncated_normal_initializer para inicializar todas las matrices de pesos. - rms_norm_eps (
float, opcional, valor predeterminado1e-06) — El epsilon utilizado por las capas de normalización rms. - use_cache (
bool, opcional, valor predeterminadoTrue) — Indica si el modelo debe devolver las últimas claves/valores de atención (no utilizado por todos los modelos). Solo es relevante siconfig.is_decoder=Trueo cuando el modelo es un modelo generativo solo de decodificador. - tie_word_embeddings (
bool, opcional, valor predeterminadoFalse) — Si se deben vincular las matrices de pesos de embeddings según el mapeotied_weights_keysdel modelo. - rope_parameters (
Union[~modeling_rope_utils.RopeParameters, dict], opcional) — Diccionario que contiene los parámetros de configuración para las incrustaciones RoPE. El diccionario debe contener un valor pararope_thetay, opcionalmente, parámetros utilizados para el escalado en caso de que desee usar RoPE conmax_position_embeddingsmás largos. - attention_bias (
bool, opcional, valor predeterminadoFalse) — Si se debe usar un sesgo en las capas de proyección de consulta, clave, valor y salida durante la autoatención. - attention_dropout (
Union[float, int], opcional, valor predeterminado0.0) — La proporción de dropout para las probabilidades de atención. - moe_intermediate_size (
int, opcional, valor predeterminado1024) — Tamaño intermedio de los MLP de los expertos enrutados. - num_experts_per_tok (
int, opcional, valor predeterminado6) — Número de expertos a los que enrutar cada token. Este es el valor top-k para el enrutamiento de selección de tokens. - output_router_logits (
bool, opcional, valor predeterminadoFalse) — Indica si el modelo debe devolver los logits del router. Habilitar esta opción también permite que el modelo devuelva la pérdida auxiliar, que incluye la pérdida de equilibrio de carga y la pérdida z del router. - n_shared_experts (
int, opcional, valor predeterminado1) — Número de expertos compartidos. - n_routed_experts (
int, opcional, valor predeterminado128) — Número de expertos enrutados. - routed_scaling_factor (
float, opcional, valor predeterminado2.5) — Factor de escala de los expertos enrutados. - n_group (
int, opcional, valor predeterminado 1) — Número de grupos para expertos enrutados. - topk_group (
int, opcional, valor predeterminado1) — Número de grupos seleccionados para cada token (para cada token, garantizando que los expertos seleccionados estén solo dentro detopk_groupgrupos). - first_k_dense_replace (
int, opcional, valor predeterminado 1) — Número de capas densas en las capas superficiales (embed->dense->moe->moe…->lm_head). --k capas densas—/ - norm_topk_prob (
bool, opcional, valor predeterminadoTrue) — Si se normalizan los pesos de los expertos enrutados. - use_qk_norm (
bool, opcional, valor predeterminadoTrue) — Si se debe usar la normalización de consulta-clave en la atención. - bos_token_id (
int, opcional) — Id del token utilizado para el inicio de la secuencia en el vocabulario. - eos_token_id (
Union[int, list[int]], opcional, valor predeterminado1) — Identificador de token utilizado para el fin de secuencia en el vocabulario. - pad_token_id (
int, opcional, valor predeterminado0) — Id del token utilizado para el relleno en el vocabulario. - num_mtp_layers (
int, opcional, valor predeterminado 0) — Número de módulos de predicción de múltiples tokens (MTP) disponibles para añadir después del modelo transformer base. Los puntos de control publicados no incluyen pesos de MTP. - head_dim (
int, opcional, valor predeterminado64) — La dimensión de la cabeza de atención. Si es None, se establecerá en hidden_size // num_attention_heads
Esta es la clase de configuración para almacenar la configuración de un Glm4MoeModel. Se utiliza para instanciar un modelo Sarvam Moe según los argumentos especificados, definiendo la arquitectura del modelo. Instanciar una configuración con los valores predeterminados producirá una configuración similar a la de sarvamai/sarvam-30b
Los objetos de configuración heredan de PreTrainedConfig y se pueden usar para controlar las salidas del modelo. Lea la documentación de PreTrainedConfig para obtener más información.
Ejemplo:
>>> from transformers import AutoModelForCausalLM, SarvamMoEConfig
>>> # Initializing a Sarvam-30B style configuration
>>> configuration = SarvamMoEConfig()
>>> # Initializing a model (which uses the GLM-4-MoE implementation) from that configuration
>>> model = AutoModelForCausalLM.from_config(configuration)
>>> # Accessing the model configuration
>>> configuration = model.config