Bu model, 2026-05-02 tarihinde Hugging Face Transformers'a katkıda bulunulmuştur.

DeepSeek-V4

DeepSeek-V4, DeepSeek'in bir sonraki nesil MoE dil modelidir (makale). Mimari, DeepSeek-V3'ün Çok Başlı Gizli Dikkat (MLA) mekanizmasını yerel + uzun menzilli hibrit bir tasarımla değiştirir, artımsal bağlantıları Manifold-Kısıtlı Hiper-Bağlantılar (mHC) ile değiştirir ve ilk birkaç MoE katmanını statik bir token-id → expert-id hash tablosuyla başlatır.

Bu uygulama DeepSeek-V4-Flash, DeepSeek-V4-Pro ve -Base önceden eğitilmiş kardeşlerini kapsar. Dördü de aynı mimariyi paylaşır; yalnızca genişlik / derinlik / uzman sayısı ve ağırlıklar açısından farklılık gösterirler.

from_pretrained() içinde use_kernels=True değerini ayarlayarak desteklenen katmanları Hub'daki optimize edilmiş çekirdeklerle değiştirin. Daha fazla bilgi için Çekirdekleri yükleme bölümüne bakın.

Mimari (makale §2)

Hibrit dikkat (§2.3)

Her decoder bloğu, config.layer_types[i] tarafından yönlendirilen üç dikkat türünden biridir:

• Kayan pencere tam dikkati ("sliding_attention"): yalnızca sliding_window belirteçlik yerel pencere, uzun menzilli dal yok. V3’ün bootstrap katmanları için “Full Attention” stiliyle eşleşir.
• Sıkıştırılmış Seyrek Dikkat ("compressed_sparse_attention", CSA — makale §2.3.1): örtüşen pencerelere sahip düşük sıkıştırma oranlı bir havuz (compress_rate_csa, varsayılan m=4) ve sorguları havuzla karşılaştırarak puanlayan, ardından çekirdek dikkate ulaşmadan önce her sorgu için en iyi index_topk bloğu toplayan bir Lightning Indexer (denk. 13–17).
• Yoğun Sıkıştırılmış Dikkat ("heavily_compressed_attention", HCA — makale §2.3.2): örtüşmeyen pencerelere sahip yüksek sıkıştırma havuzu (compress_rate_hca, varsayılan m'=128). Indexer yok — havuzlanmış her giriş dikkate katkıda bulunur.

Üç türün de aynı omurgayı paylaştığı görülür:

• Paylaşılan K=V Çoklu Sorgu Dikkati: num_key_value_heads = 1; kv_proj tek bir KV başı üretir ve aynı tensor hem anahtar hem değer olarak okunur.
• Kısmi RoPE (aralıklı çift, makale §2.3.3 “Partial Rotary Positional Embedding”), her başın sonundaki qk_rope_head_dim = head_dim * partial_rotary_factor kanallarına uygulanır. Aynı dönüşüm, dikkat çıktısının rope dilimine -i konumuyla uygulanır (denklem 26) böylece her KV girdisinin katkısı, sorguya göreli mesafenin bir fonksiyonu olarak kalır.
• Baş başına öğrenilebilir dikkat çukuru (denk. 27).
• Gruplanmış düşük ranlı çıktı projeksiyonu (§2.3.1 “Grouped Output Projection”): o_groups baş-grubu → grup başına o_lora_rank → hidden_size, DeepseekV4GroupedLinear (o_a_proj) ile hesaplanır ve ardından o_b_proj uygulanır. Geniş dikkat çıktısının token başına maliyetini, ifade gücünden ödün vermeden azaltır.
• sliding_window boyutundaki Paylaşılan kayan pencere K=V dalı (“Additional Branch of Sliding Window Attention”, §2.3.1) yerel ince taneli bağımlılıkları korur; uzun menzilli sıkıştırıcının çıktısı, çekirdek dikkat işleminden önce bu dalın KV'leriyle birleştirilir.

Çok-Çizgi Kısıtlı Hiper-Bağlantılar (§2.2)

Residual bağlantılar, mHC ile değiştirilir (Xie et al., 2026): hc_mult paralel residual akışları, her blok boyunca [B, S, hc_mult, D] biçiminde tutulur. İki DeepseekV4HyperConnection modülü — attn_hc ve ffn_hc — (pre, post, comb) üçlüsü aracılığıyla dikkat / MLP alt katmanlarının etrafında akışları karıştırır. comb matrisi, manifold üzerindeki hc_sinkhorn_iters Sinkhorn–Knopp iterasyonlarıyla üretilen çift olasılıklı bir projeksiyondur; bu da derin yığınlar boyunca sinyal yayılımının genişletici olmayan (non-expansive) olmasını sağlar. Son bir DeepseekV4HyperHead, model normundan önce hc_mult akışlarını tek bir diziye indirger.

MoE zamanlaması (§2.1)

Yönlendirme, {"hash_moe", "moe"} değerlerinden oluşan config.mlp_layer_types ile katman bazında yapılandırılır:

• "hash_moe": uzman indeksleri, V4 kontrol noktasından doldurulan dondurulmuş tid2eid[input_ids] aramasından gelir. Öğrenilen kapı weight hâlâ seçilen uzmanları ağırlıklandıran uzman başına puanları üretir; yalnızca hangi uzmanların seçildiği statiktir. İlk birkaç önyükleme katmanı için kullanılır (varsayılan 3, eski num_hash_layers ile geçersiz kılınabilir).
• "moe": standart top-k yönlendirmeli MoE. Uzman yakınlığı, V3’ün Sigmoid yerine Sqrt(Softplus(·)) kullanır (“yakınlık skorlarını hesaplayan aktivasyon fonksiyonunu Sigmoid(·) yerine Sqrt(Softplus(·)) olarak değiştiriyoruz”, makale §2.1) ve V3’ün n_group / topk_group kısıtı kaldırılır. Yardımcı-kayıpsız strateji (DeepSeek’in noaux_tc), top-k argmax’i gradyan akıtmadan önyargılayan e_score_correction_bias tamponu aracılığıyla korunur.

Routed uzmanlar, standart Mixtral [num_experts, 2 * moe_intermediate_size, hidden_size] uzman ağırlık düzeninin üzerine clamped SwiGLU (gate.clamp(max=swiglu_limit), up.clamp(min=-swiglu_limit, max=swiglu_limit), ardından act_fn(gate) * up) uygular. Tek bir paylaşılan uzman (moe_intermediate_size genişliğinde düz bir SwiGLU MLP), her token üzerinde paralel olarak çalışır.

Dikkat maskesi yerleşimi

Her DeepseekV4Attention katmanı, anahtar ekseninde standart kayan pencere nedensel maskesini, sıkıştırıcısının döndürdüğü block_bias ile genişletir ve ardından birleştirilen maskeyi eager_attention_forward işlevine iletir. Kayan bölüm (sol, [S, S]) her katman tipi için aynıdır; sıkıştırıcı bölümü (sağ) ise katman tipine göre değişir ve V4 tarafından tanıtılan asıl “yeni” parçadır.

Aşağıdaki diyagramlar, tam katman tipi maskesinin ekrana sığması için 16 jetonluk bir girdi üzerinde, küçük bir yapılandırma (sliding_window=8, CSA m=4, HCA m'=8, index_topk=2) kullanılarak oluşturulmuştur. Yeşil = kayan bölümdeki sorgu/anahtar köşegeni, koyu = görünen standart KV konumu, açık = maskelenmiş, kehribar = sorgunun dikkat etmesine izin verilen sıkıştırıcı / indeksleyici yuvası. Kesikli çizginin ötesindeki sütunlar, sıkıştırıcı tarafından cat([sliding_causal_mask, block_bias], dim=-1) ile eklenir.

Sadece kayan katman ("sliding_attention"). Sıkıştırıcı yok, sağ dolgusu yok — maske, [S, S] boyutlu (pencere = 8) düz kayan pencere nedensel maskesidir. i ≥ window için sol alt üçgen kesilir ve yalnızca yerel dikkat deseni geri kazanılır.

CSA katmanı ("compressed_sparse_attention"). Sıkıştırıcı, sorgu başına toplanan çıktısını [B, 1, S·k, D] biçimine düzleştirir ve maskenin sağ tarafını S·k sütun kadar doldurur. t sorgusu için, yalnızca [S + t·k, S + (t+1)·k) sütunlarındaki k yuva, indeksleyicinin seçimlerini taşır; sıkıştırıcının diğer tüm sütunları -inf değerine sahiptir. İlk pencere kapanmadan önceki sorgular (t < m − 1) hiçbir şey almaz — indeksleyicinin -1 işaretçisi doğrudan maskeye yansır. t büyüdükçe, daha fazla sıkıştırılmış girdi hazır hale gelir ve indeksleyici tüm k yuvayı doldurabilir.

HCA katmanı ("heavily_compressed_attention"). Indexer yok — önbelleğe alınmış sıkıştırılmış her giriş potansiyel olarak görünür. T_total = entry_count["compressor"] sütunu ile sağdan dolgu yapılır. Sorgu t, kaynak penceresi kapanana kadar, yani w < (t + 1) // m koşulunu sağlayan w girişini görebilir. Burada m=8 olduğundan, 0 numaralı giriş (pozisyonları 0..7 kapsar) ve 1 numaralı giriş (8..15 kapsar) sırasıyla yalnızca t ≥ 7 ve t ≥ 15 anlarında görünür hale gelir.

Bu diyagramlar uçtan uca şu şekilde yeniden üretilebilir:

python docs/source/en/imgs/deepseek_v4/visualize_attention_masks.py \
    --svg docs/source/en/imgs/deepseek_v4

Betik, bu küçük yapılandırma üzerinde bir ileri geçiş çalıştırır, her dikkat katmanını sarmalayarak tam olarak cat([attention_mask, block_bias]) sonrası maskesini yakalar, CSA’nın [S, S·k] düz yuva maskesini bir [S, T_entries] girdi görünürlüğü görünümüne geri eşler (böylece her C_w sütanı bir toplama yuvası değil, sıkıştırılmış bir girdi olur) ve yukarıdaki üç SVG dosyasını yazar. Ayrıca hızlı terminal denetimi için stdout’a bir ANSI ızgarası basar ve ısınma gözcüleri ile seçim tercihlerinin denetlenebilir olması için indeksleyicinin sorgu başına top-k seçimlerini dışa aktarır.

Önbellek katmanları

Her kayan olmayan dikkat bloğu, ileri çağrılar arasında sıkıştırıcı / indeksleyici durumunu iletmek zorundadır. V4, LAYER_TYPE_CACHE_MAPPING ile otomatik olarak kaydedilen iki önbellek katmanı türü sunar:

• DeepseekV4HCACache: kayan pencere K=V + HCA sıkıştırıcı tamponu / havuzu / sayısı (örtüşme yok, indeksleyici yok).
• DeepseekV4CSACache: kayan pencere K=V + CSA sıkıştırıcı (örtüşme durumuyla) + paralel indeksleyici index_head_dim için tampon / havuz / sayı / örtüşme.

DynamicCache(config=…), her config.layer_types[i] için doğru önbellek katmanını oluşturur.

DeepseekV4Config

DeepseekV4Model

DeepseekV4ForCausalLM

>>> from transformers import AutoTokenizer, DeepseekV4ForCausalLM

>>> model = DeepseekV4ForCausalLM.from_pretrained("mistralai/DeepseekV4-8x7B-v0.1")
>>> tokenizer = AutoTokenizer.from_pretrained("mistralai/DeepseekV4-8x7B-v0.1")

>>> prompt = "Hey, are you conscious? Can you talk to me?"
>>> inputs = tokenizer(prompt, return_tensors="pt")

>>> # Generate
>>> generate_ids = model.generate(inputs.input_ids, max_length=30)
>>> tokenizer.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
"Hey, are you conscious? Can you talk to me?\nI'm not conscious, but I can talk to you."