Transformers documentation

FP-Quant

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

FP-Quant

FP-Quant, ağırlıkları ve aktivasyonları MXFP4 veya NVFP4 biçimlerine kuantize eder, kuantizasyon öncesinde bir rotasyon uygular (varsayılan olarak Hadamard dönüşümü) ve matmulleri NVIDIA Blackwell GPU'larında QuTLASS çekirdekleriyle çalıştırır. Blackwell GPU'larında FP4 çıkarımı için kullanın veya doğruluğu değerlendirmek ya da kuantizasyon farkında eğitim (QAT) çalıştırmak için diğer GPU'larda FP4 kuantizasyonunu emüle edin.

Aşağıdaki tablo, Transformers'ta FP-Quant'ın neyi desteklediğini özetler.

YapılandırmaFPQuantConfig
quant_methodfp_quant
İş AkışıYükleme sırasında kuantize et
Bitler4
DonanımNVIDIA Blackwell GPU'ları; pseudoquantization=True ile diğer CUDA GPU'ları ve Intel XPU
Kaydet✅
İnce ayarYalnızca store_master_weights=True ile
Otomatik derleme❌

FP-Quant'ı yükleyin

fp_quant 0.3.2 veya daha yeni bir sürümünü yükleyin. Blackwell GPU üzerinde gerçek FP4 çekirdeklerini çalıştırmak için QuTLASS 0.2.0 veya daha yeni bir sürümünü ayrıca kaynak kodundan derleyin.

pip install -U "fp_quant>=0.3.2"
git clone https://github.com/IST-DASLab/qutlass.git
cd qutlass && pip install --no-build-isolation .

Bir modeli FP-Quant ile kuantize edin

FPQuantConfig oluşturun ve from_pretrained() fonksiyonuna iletin. device_map parametresini GPU'larınıza ayarlayın. Varsayılan yapılandırma, lm_head hariç tüm lineer katmanları NVFP4'e kuantize eder.

from transformers import AutoModelForCausalLM, FPQuantConfig

model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-8B",
    quantization_config=FPQuantConfig(),
    device_map="cuda",
)

FP-Quant yalnızca bf16'yi desteklediğinden model her zaman bf16 olarak yüklenir. Diğer herhangi bir dtype bir uyarıyla değiştirilir.

Blackwell GPU olmadan, pseudoquantization=True ayarlayın. FP-Quant, FP4 kuantizasyonunu Triton çekirdekleriyle taklit eder. Kuantize edilmiş modelin doğruluğunu yeniden üretir ancak hızlandırmaz.

model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-8B",
    quantization_config=FPQuantConfig(forward_dtype="mxfp4", pseudoquantization=True),
    device_map="cuda",
)

GPTQ ile önceden nicelleştirilmiş bir modeli daha iyi doğruluk için yüklemek için, Hub deposunu quantization_config olmadan from_pretrained() fonksiyonuna iletin. ISTA-DASLab kuruluşu FP-Quant denetim noktalarını barındırır ve FP-Quant deposu bunları oluşturmak için gerekli kodu içerir.

FP-Quant Yapılandırması

Bu FPQuantConfig parametreleri, ağırlıkların ve aktivasyonların nasıl kuantize edileceğini değiştirir.

ParametreVarsayılanEtki
forward_dtype"nvfp4"İleri geçiş için FP4 formatı, "nvfp4" veya "mxfp4".
hadamard_group_sizeNoneHadamard dönüşümünün boyutu. None ile NVFP4 için 16, MXFP4 için 32'dir. NVFP4 16, 32, 64 ve 128 değerlerini; MXFP4 ise 32, 64 ve 128 değerlerini kabul eder.
transform_init"hadamard"Dönüşüm matrisinin nasıl başlatılacağı; "hadamard", "identity" veya "gsr".
pseudoquantizationFalseQuTLASS çekirdeklerini çalıştırmak yerine FP4'ü Triton çekirdekleriyle taklit eder. Blackwell dışındaki GPU'larda gereklidir.

Diğer parametreler için FPQuantConfig'e bakın.

Kantize ağırlıklarla eğit

FP-Quant, QAT'yi destekler. Yüksek hassasiyetli ağırlıkların güncellenebilmesi için bunları korumak üzere store_master_weights=True değerini ayarlayın ve QAT için "abs_max"'den daha iyi çalışan forward_method="quest" değerini ayarlayın. "quest" yöntemi yalnızca MXFP4 ile çalışır. MXFP4 ileri geçişinde, backward_dtype ile geri geçiş, "bf16" yerine "mxfp8" veya "mxfp4" olarak da kuantize edilebilir.

from transformers import AutoModelForCausalLM, FPQuantConfig

quantization_config = FPQuantConfig(
    forward_dtype="mxfp4",
    forward_method="quest",
    store_master_weights=True,
    pseudoquantization=True,
)
model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-8B",
    quantization_config=quantization_config,
    device_map="cuda",
)

FP-Quant yazarları, QAT'ın şu anda yalnızca pseudoquantization=True ile çalıştığını belirtiyor.

Kısıtlamalar

  • FP-Quant bir CUDA GPU veya Intel XPU gerektirir. Bunlardan biri olmadan yüklemeye çalışmak NotImplementedError hatası verir.
  • QuTLASS yüklü olmadan, pseudoquantization=False ile yükleme işlemi bir ImportError hatası oluşturur.
  • NVFP4 sahte kuantizasyonu, hesaplama yeteneği 9.0 veya daha yüksek olan bir CUDA GPU gerektirir (Hopper veya daha yeni). Daha eski GPU'larda ValueError hatası verir. Bunun yerine forward_dtype="mxfp4" kullanın.
  • pseudoquantization olmadan, device_map olmadan yüklemeye çalışmak bir ValueError hatası verir. Modeli bir GPU ve CPU arasında dağıtan bir device_map de bir ValueError hatası verir.
  • "disk" içeren bir device_map, bir ValueError yükseltir.
  • Pseudo-quantization birden fazla GPU'yu desteklemez.
  • store_master_weights=True olmadan eğitim desteklenmez.

Kaynaklar

Update on GitHub