Transformers documentation

GPTQ

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

GPTQ

GPTQ, bir modeli katman katman kuantize eder ve her katmanın yuvarlama hatasını telafi etmesi için kalan ağırlıkları güncellemek üzere küçük bir kalibrasyon veri seti kullanır. Transformers, GPTQ'yi Optimum ve GPT-QModel kütüphanesi üzerinden çalıştırır. Bunu, bir modeli yükleme sırasında kalibrasyonla 2 ila 8 bit'e kuantize etmek veya Hub'daki birçok GPTQ kontrol noktasından birini yüklemek için kullanın.

Aşağıdaki tablo, GPTQ'nun Transformers'ta neyi desteklediğini özetler.

YapılandırmaGPTQConfig
quant_methodgptq
İş AkışıKalibrasyon ile yüklerken kuantize et
Bitler2, 3, 4, 8
DonanımCUDA, XPU, CPU
Kaydet✅
İnce ayar✅
Otomatik derleme❌

GPTQ'yi Yükle

Optimum 1.24.0 veya daha yeni bir sürüm ile GPT-QModel 1.4.3 veya daha yeni bir sürüm yükleyin.

pip install -U "optimum>=1.24.0"
pip install -U "gptqmodel>=1.4.3" --no-build-isolation

Bir modeli GPTQ ile kuantize etme

dataset üzerinde kalibrasyon yapmak için bir GPTQConfig oluşturun ve bunu from_pretrained() fonksiyonuna iletin. Ağırlıklar, yüklendikten sonra kuantize edilir. GPTQ fp16 önerdiğinden, aşağıdaki örnek dtype=torch.float16 olarak ayarlanır.

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, GPTQConfig

tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3-0.6B")
quantization_config = GPTQConfig(bits=4, dataset="c4", tokenizer=tokenizer)
model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-0.6B",
    quantization_config=quantization_config,
    dtype=torch.float16,
    device_map="auto",
)

dataset, bir modeli kuantize etmek için gereklidir. GPTQ makalesindeki veri setlerinden birinin adını, "wikitext2", "c4" veya "c4-new", ya da bir dize listesini iletin. tokenizer veri setini hazırlar. Bir tane iletmezseniz, GPTQ tokenizer'ı modelin deposundan yükler.

Calibration, modeli blok blok çalıştırır, bu nedenle yüklemekten çok daha uzun sürer. Bir modeli kuantize etmeden önce, Hub'da mevcut bir GPTQ checkpoint'i olup olmadığını kontrol edin.

GPTQ kontrol noktası yükle

Kontrol noktasını GPTQConfig olmadan from_pretrained() işlevine iletin. Transformers, kuantizasyon ayarlarını kontrol noktasının yapılandırmasından okur.

from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen2.5-1.5B-Instruct-GPTQ-Int4",
    device_map="auto",
)

Çekirdek veya tampon boyutunu değiştirmek için yeni backend veya max_input_length değerine sahip bir GPTQConfig geçirin. Transformers yalnızca bu iki yükleme özniteliğini geçersiz kılar ve kontrol noktasının diğer ayarlarını korur.

GPTQ'yi yapılandır

Bu GPTQConfig parametreleri, ağırlıkların nasıl kuantize edileceğini değiştirir. Diğerleri için GPTQConfig bölümüne bakın.

ParametreVarsayılanEtki
bitszorunluAğırlık başına bit sayısı. 2, 3, 4 ve 8 değerlerini destekler.
group_size128Bir ölçeği paylaşan ağırlıkların sayısı. -1 her sütun için bir ölçek kullanır.
damp_percent0.1Sayısal kararlılık için ortalama Hessian çaprazına eklenen oran. 0 ile 1 arasında olmalıdır.
desc_actFalseAktivasyon boyutunun azalan sırasına göre sütunları kuantize eder (act-order). Doğruluğu artırabilir ve çıkarımı yavaşlatabilir. True olarak ayarlanması act_group_aware özelliğini kapatır.
symTrueSimetrik kuantizasyon kullanır. Asimetrik kuantizasyon için False olarak ayarlayın.
modules_in_block_to_quantizeNoneHer blokta sırasıyla nicelenecek modül adlarının listesi. Listelenmeyen doğrusal katmanlar nicelenmeden kalır. Varsayılan ayarla, blokta bulunan her doğrusal katman nicelenir. Optimum 1.15.0 veya daha yeni bir sürüm gerektirir.

Bir çekirdek arka ucunu seçin

GPT-QModel, kuantize katmanları birkaç çekirdekten birinden geçirir. backend parametresi bir çekirdek seçer ve varsayılan olarak "auto" değerini alır; bu, GPT-QModel'in donanımınız ve kontrol noktanız için bir çekirdek seçmesine olanak tanır. Aşağıdaki örnek, ExLlamaV2 çekirdeğiyle bir kontrol noktası yükler.

from gptqmodel import BACKEND
from transformers import AutoModelForCausalLM, GPTQConfig

model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen2.5-1.5B-Instruct-GPTQ-Int4",
    quantization_config=GPTQConfig(bits=4, backend=BACKEND.EXLLAMA_V2),
    device_map="auto",
)

Mevcut değerler için GPT-QModel backend listesi'ne bakın.

Kısıtlamalar

  • GPTQ yalnızca metin modellerini destekler. Ana girdisi input_ids olmayan bir model yüklenirse RuntimeError oluşturulur.
  • device_map içinde disk dışa aktarma (disk offloading) bulunan bir modelin kuantize edilmesi bir ValueError hatası oluşturur.
  • GPT-QModel yüklü olmadan yükleme işlemi bir ImportError yükseltir. AutoGPTQ desteklenmez.
  • device_map olmadan model CPU üzerinde yüklenir.

Kaynaklar

Update on GitHub