Transformers documentation
أربعة من ستة
أربعة من ستة
Four Over Six هو متغيّر من تكميم NVFP4 يقوم بتقريب القيمة الأكبر في كل كتلة مكوّنة من 16 قيمة من نوع FP4 إلى 4 أو 6، باختيار القيمة التي تُنتج خطأ تكميم أقل. يستخدم مقياس 6 نطاق FP4 بالكامل، بينما يوزّع مقياس 4 الخطأ بشكل أكثر تساويًا عبر الكتلة. استخدمه لتكميم النموذج إلى FP4 أثناء تحميله، أو لمواصلة تدريب النموذج بأوزان من نوع FP4.
تلخص الجدول أدناه ما يدعمه Four Over Six في Transformers.
| إعداد | FourOverSixConfig |
quant_method | fouroversix |
| سير العمل | Quantize while loading |
| بت | 4 |
| الأجهزة | CUDA (الأسرع على NVIDIA Blackwell)، مع خيار احتياطي أبطأ على الأجهزة الأخرى |
| حفظ | ✅ |
| ضبط | فقط عند استخدام keep_master_weights=True |
| التجميع التلقائي | ❌ |
تثبيت Four Over Six
قم بتثبيت حزمة fouroversix دون عزل البناء.
pip install fouroversix --no-build-isolation
تقوم عملية التثبيت ببناء نواة CUDA التي تتطلب معالجًا رسوميًا من نوع Blackwell. على الأجهزة الأخرى، اضبط SKIP_CUDA_BUILD=1 لتثبيت التنفيذ المرجعي الأبطأ فقط.
SKIP_CUDA_BUILD=1 pip install fouroversix --no-build-isolation
كمّ نموذج باستخدام Four Over Six
أنشئ FourOverSixConfig وقم بتمريره إلى from_pretrained(). يقوم الإعداد الافتراضي بتكميم كل طبقة خطية باستثناء lm_head إلى NVFP4.
from transformers import AutoModelForCausalLM, FourOverSixConfig
model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen3-8B",
quantization_config=FourOverSixConfig(),
device_map="cuda",
)The source text "Configure Four Over Six" is a technical term referring to a specific network configuration (4:6). In Arabic technical documentation, this is often transliterated or translated descriptively. "إعداد أربعة على ستة" is the direct and accurate translation.
تُغيّر هذه المعلمات الخاصة بـ FourOverSixConfig طريقة تكميم الأوزان والتفعيلات. ولدى معظمها أيضًا متغيرات weight_ وactivation_ وgradient_ تتجاوز الإعداد الخاص بنوع واحد من الموترات.
| معامل | افتراضي | التأثير |
|---|---|---|
dtype | "nvfp4" | صيغة FP4 للأوزان والتفعيلات والتدرجات، إما "nvfp4" أو "mxfp4". |
scale_rule | "mse" | كيف يتم اختيار مقياس كل كتلة. "mse"، "mae"، و"abs_max" تختار بين 4 و6 بناءً على مقياس الخطأ ذلك. "static_6" هو تكميم NVFP4 القياسي، و"static_4" يضبط مقياس كل كتلة إلى 4. |
keep_master_weights | False | يحافظ على الأوزان عالية الدقة ويقوم بتكميمها في كل تمريرة أمامية. مطلوب للتدريب. |
weight_scale_2d | False | يحسب مقاييس الأوزان على كتل ثنائية الأبعاد بدلاً من الكتل أحادية البعد. استخدمه للتدريب. |
matmul_backend | None | خلفية Matmul، إما "cutlass" أو "pytorch". عند استخدام None، يتم استخدام CUTLASS عندما يكون متاحًا. |
module_config_overrides | None | يُخوّل أسماء الوحدات إلى قواميس لخيارات التكميم، مما يتيح للطبقات الفردية استخدام إعدادات مختلفة. |
راجع FourOverSixConfig لمعرفة بقية المعاملات.
التدريب بأوزان مُكمّمة
يتميز طبقة Four Over Six الخطية بمرحلة رجعية، مما يتيح لك مواصلة تدريب نموذج مُكمَّم. اضبط keep_master_weights=True بحيث تبقى الأوزان عالية الدقة في الذاكرة وتُكمَّم مرة أخرى في كل تمريرة أمامية، واضبط weight_scale_2d=True كما يوصي به التكوين للتدريب.
يوصي مؤلفو Four Over Six بإبقاء الطبقات الأخيرة من الشبكة بدقة عالية. يستثني المثال أدناه أيضاً إسقاطات الانتباه في طبقة المُفكِّك 34. أضف طبقات إضافية، مثل self_attn.o_proj وإسقاطات MLP، حسب الحاجة.
from transformers import AutoModelForCausalLM, FourOverSixConfig
quantization_config = FourOverSixConfig(
keep_master_weights=True,
weight_scale_2d=True,
modules_to_not_convert=[
"lm_head",
"model.layers.34.self_attn.q_proj",
"model.layers.34.self_attn.k_proj",
"model.layers.34.self_attn.v_proj",
],
)
model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen3-8B",
quantization_config=quantization_config,
device_map="cuda",
)القيود
- بدون
keep_master_weights=True، لا يمكن ضبط النموذج المُكمَّم. - على الأجهزة غير وحدات معالجة الرسوميات NVIDIA Blackwell، يحاكي Four Over Six دقة FP4 باستخدام عمليات ضرب المصفوفات بدقة FP32، مما يؤدي إلى فقدان الدقة الخاص بدقة FP4 دون تحقيق أي تسريع.
الموارد
- مسودة Four Over Six
- مستودع fouroversix