GPTQ
GPTQはモデルを1レイヤーずつ量子化し、小さなキャリブレーションデータセットを使用して残りの重みを更新することで、各レイヤーの丸め誤差を補償します。TransformersはOptimumとGPT-QModelライブラリを通じてGPTQを実行します。モデルの読み込み中にキャリブレーションを伴って2ビットから8ビットに量子化したり、Hub上の多数のGPTQチェックポイントのいずれかをロードしたりするために使用できます。
以下の表は、TransformersにおけるGPTQのサポート内容をまとめます。
| 設定 | GPTQConfig |
quant_method | gptq |
| ワークフロー | キャリブレーション付きで読み込み時に量子化 |
| ビット | 2, 3, 4, 8 |
| ハードウェア | CUDA、XPU、CPU |
| 保存 | ✅ |
| ファインチューニング | ✅ |
| 自動コンパイル | ❌ |
GPTQのインストール
Optimum 1.24.0 以降と GPT-QModel 1.4.3 以降をインストールしてください。
pip install -U "optimum>=1.24.0"
pip install -U "gptqmodel>=1.4.3" --no-build-isolationGPTQでモデルを量子化
dataset を指定して GPTQConfig を作成し、from_pretrained() に渡します。重みの読み込み後に量子化が行われます。GPTQ では fp16 が推奨されるため、以下の例では dtype=torch.float16 を設定しています。
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, GPTQConfig
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3-0.6B")
quantization_config = GPTQConfig(bits=4, dataset="c4", tokenizer=tokenizer)
model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen3-0.6B",
quantization_config=quantization_config,
dtype=torch.float16,
device_map="auto",
)dataset はモデルの量子化に必要です。GPTQ論文のデータセット名である"wikitext2"、"c4"、"c4-new"、または文字列のリストを渡します。tokenizer がデータセットを準備します。渡さない場合、GPTQはモデルのリポジトリからトークナイザーを読み込みます。
Calibration はモデルをブロック単位で実行するため、読み込みよりもはるかに時間がかかります。モデルを量子化する前に、Hub に既存の GPTQ チェックポイントがあるか確認してください。
GPTQチェックポイントを読み込む
GPTQConfigなしで、チェックポイントをfrom_pretrained()に渡します。Transformersは、チェックポイントのconfigから量子化設定を読み取ります。
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen2.5-1.5B-Instruct-GPTQ-Int4",
device_map="auto",
)カーネルまたはバッファサイズを変更するには、新しいbackendまたはmax_input_lengthを指定したGPTQConfigを渡します。Transformersはこれら2つの読み込み属性のみを上書きし、チェックポイントのその他の設定は保持します。
GPTQを設定
これらのGPTQConfigパラメータは、重みの量子化方法を変更します。その他の詳細については、GPTQConfigを参照してください。
| パラメータ | デフォルト | 効果 |
|---|---|---|
bits | 必須 | 重みあたりのビット数。2、3、4、8をサポートします。 |
group_size | 128 | スケールを共有する重みの数。-1は、列ごとに1つのスケールを使用します。 |
damp_percent | 0.1 | 数値的安定性のために平均ヘッセ行列の対角成分に追加される割合。0から1の間でなければなりません。 |
desc_act | False | アクティベーションサイズが大きい順に列を量子化します(act-order)。精度が向上する場合がありますが、推論が遅くなる可能性があります。Trueに設定すると、act_group_awareがオフになります。 |
sym | True | 対称量子化を使用します。非対称量子化の場合はFalseに設定してください。 |
modules_in_block_to_quantize | None | ブロックごとに量子化対象とするモジュール名のリストを、順序通りに指定します。リストに含まれていないLinear層は量子化されません。デフォルトでは、ブロック内のすべてのLinear層が量子化されます。Optimum 1.15.0以降が必要です。 |
カーネルバックエンドを選択
GPT-QModelは、量子化されたレイヤーを複数のカーネルのいずれかを通じて実行します。backendパラメータでカーネルを選択し、デフォルトは"auto"です。これにより、GPT-QModelがハードウェアとチェックポイントに最適なカーネルを選択します。以下の例では、ExLlamaV2カーネルでチェックポイントを読み込みます。
from gptqmodel import BACKEND
from transformers import AutoModelForCausalLM, GPTQConfig
model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen2.5-1.5B-Instruct-GPTQ-Int4",
quantization_config=GPTQConfig(bits=4, backend=BACKEND.EXLLAMA_V2),
device_map="auto",
)利用可能な値については、GPT-QModelのバックエンド一覧を参照してください。
制限事項
- GPTQはテキストモデルのみをサポートしています。
input_ids以外の入力がメインとなるモデルを読み込むと、RuntimeErrorが発生します。 device_mapにディスクオフロードを設定したモデルを量子化すると、ValueErrorが発生します。- GPT-QModelがインストールされていない状態で読み込むと、
ImportErrorが発生します。AutoGPTQはサポートされていません。 device_mapを指定しないと、モデルはCPUに読み込まれます。
リソース
- GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers論文
- GPT-QModelリポジトリ
- Optimum GPTQ ガイド
- GPTQ量子化とPEFTノートブック