Transformers documentation
GPTQ
GPTQ
GPTQ, bir modeli katman katman kuantize eder ve her katmanın yuvarlama hatasını telafi etmesi için kalan ağırlıkları güncellemek üzere küçük bir kalibrasyon veri seti kullanır. Transformers, GPTQ'yi Optimum ve GPT-QModel kütüphanesi üzerinden çalıştırır. Bunu, bir modeli yükleme sırasında kalibrasyonla 2 ila 8 bit'e kuantize etmek veya Hub'daki birçok GPTQ kontrol noktasından birini yüklemek için kullanın.
Aşağıdaki tablo, GPTQ'nun Transformers'ta neyi desteklediğini özetler.
| Yapılandırma | GPTQConfig |
quant_method | gptq |
| İş Akışı | Kalibrasyon ile yüklerken kuantize et |
| Bitler | 2, 3, 4, 8 |
| Donanım | CUDA, XPU, CPU |
| Kaydet | ✅ |
| İnce ayar | ✅ |
| Otomatik derleme | ❌ |
GPTQ'yi Yükle
Optimum 1.24.0 veya daha yeni bir sürüm ile GPT-QModel 1.4.3 veya daha yeni bir sürüm yükleyin.
pip install -U "optimum>=1.24.0"
pip install -U "gptqmodel>=1.4.3" --no-build-isolationBir modeli GPTQ ile kuantize etme
dataset üzerinde kalibrasyon yapmak için bir GPTQConfig oluşturun ve bunu from_pretrained() fonksiyonuna iletin. Ağırlıklar, yüklendikten sonra kuantize edilir. GPTQ fp16 önerdiğinden, aşağıdaki örnek dtype=torch.float16 olarak ayarlanır.
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, GPTQConfig
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3-0.6B")
quantization_config = GPTQConfig(bits=4, dataset="c4", tokenizer=tokenizer)
model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen3-0.6B",
quantization_config=quantization_config,
dtype=torch.float16,
device_map="auto",
)dataset, bir modeli kuantize etmek için gereklidir. GPTQ makalesindeki veri setlerinden birinin adını, "wikitext2", "c4" veya "c4-new", ya da bir dize listesini iletin. tokenizer veri setini hazırlar. Bir tane iletmezseniz, GPTQ tokenizer'ı modelin deposundan yükler.
Calibration, modeli blok blok çalıştırır, bu nedenle yüklemekten çok daha uzun sürer. Bir modeli kuantize etmeden önce, Hub'da mevcut bir GPTQ checkpoint'i olup olmadığını kontrol edin.
GPTQ kontrol noktası yükle
Kontrol noktasını GPTQConfig olmadan from_pretrained() işlevine iletin. Transformers, kuantizasyon ayarlarını kontrol noktasının yapılandırmasından okur.
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen2.5-1.5B-Instruct-GPTQ-Int4",
device_map="auto",
)Çekirdek veya tampon boyutunu değiştirmek için yeni backend veya max_input_length değerine sahip bir GPTQConfig geçirin. Transformers yalnızca bu iki yükleme özniteliğini geçersiz kılar ve kontrol noktasının diğer ayarlarını korur.
GPTQ'yi yapılandır
Bu GPTQConfig parametreleri, ağırlıkların nasıl kuantize edileceğini değiştirir. Diğerleri için GPTQConfig bölümüne bakın.
| Parametre | Varsayılan | Etki |
|---|---|---|
bits | zorunlu | Ağırlık başına bit sayısı. 2, 3, 4 ve 8 değerlerini destekler. |
group_size | 128 | Bir ölçeği paylaşan ağırlıkların sayısı. -1 her sütun için bir ölçek kullanır. |
damp_percent | 0.1 | Sayısal kararlılık için ortalama Hessian çaprazına eklenen oran. 0 ile 1 arasında olmalıdır. |
desc_act | False | Aktivasyon boyutunun azalan sırasına göre sütunları kuantize eder (act-order). Doğruluğu artırabilir ve çıkarımı yavaşlatabilir. True olarak ayarlanması act_group_aware özelliğini kapatır. |
sym | True | Simetrik kuantizasyon kullanır. Asimetrik kuantizasyon için False olarak ayarlayın. |
modules_in_block_to_quantize | None | Her blokta sırasıyla nicelenecek modül adlarının listesi. Listelenmeyen doğrusal katmanlar nicelenmeden kalır. Varsayılan ayarla, blokta bulunan her doğrusal katman nicelenir. Optimum 1.15.0 veya daha yeni bir sürüm gerektirir. |
Bir çekirdek arka ucunu seçin
GPT-QModel, kuantize katmanları birkaç çekirdekten birinden geçirir. backend parametresi bir çekirdek seçer ve varsayılan olarak "auto" değerini alır; bu, GPT-QModel'in donanımınız ve kontrol noktanız için bir çekirdek seçmesine olanak tanır. Aşağıdaki örnek, ExLlamaV2 çekirdeğiyle bir kontrol noktası yükler.
from gptqmodel import BACKEND
from transformers import AutoModelForCausalLM, GPTQConfig
model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen2.5-1.5B-Instruct-GPTQ-Int4",
quantization_config=GPTQConfig(bits=4, backend=BACKEND.EXLLAMA_V2),
device_map="auto",
)Mevcut değerler için GPT-QModel backend listesi'ne bakın.
Kısıtlamalar
- GPTQ yalnızca metin modellerini destekler. Ana girdisi
input_idsolmayan bir model yüklenirseRuntimeErroroluşturulur. device_mapiçinde disk dışa aktarma (disk offloading) bulunan bir modelin kuantize edilmesi birValueErrorhatası oluşturur.- GPT-QModel yüklü olmadan yükleme işlemi bir
ImportErroryükseltir. AutoGPTQ desteklenmez. device_mapolmadan model CPU üzerinde yüklenir.
Kaynaklar
- GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers makalesi
- GPT-QModel deposu
- Optimum GPTQ kılavuzu
- GPTQ ile PEFT kuantizasyonu defter