20 أكتوبر 2026 · Jakub M.

كم ذاكرة يحتاج النموذج اللغوي؟ جدول من 7B إلى 405B

هل يتسع نموذج 70B في 64 GB؟ وماذا عن 235B؟ حسبنا كم تستهلك النماذج اللغوية بأحجامها المختلفة من الذاكرة، وكم يضيف السياق، وأي جهاز Mac يكفي لأي غرض.

معرفة ما إذا كان النموذج يتسع في الذاكرة مسألة حساب بسيط. اضرب عدد المعاملات في عدد البتات لكل معامل ثم اقسم على ثمانية. نموذج بـ 70 مليار معامل بدقة FP16 الكاملة (16 بت) يشغل 140 GB، ونحو النصف بدقة 8 بت، ونحو الربع بدقة 4 بت. وقد أصبح التكميم بـ 4 بت هو المعتاد للنماذج المحلية.

كم تشغل الأوزان

الحجم	أمثلة على النماذج	4-بت	8-بت	FP16 (دون تكميم)
7–8B	Llama 3.1 8B, Qwen3 8B	≈ 4.5 GB	≈ 8.5 GB	≈ 16 GB
14B	Qwen3 14B	≈ 8 GB	≈ 15 GB	≈ 28 GB
27–32B	Qwen3.5 27B, Qwen3 32B	≈ 18 GB	≈ 34 GB	≈ 64 GB
70B	Llama 3.3 70B	≈ 39 GB	≈ 74 GB	≈ 140 GB
117B	gpt-oss-120b	≈ 66 GB	≈ 124 GB	≈ 234 GB
235B	Qwen3 235B-A22B	≈ 132 GB	≈ 250 GB	≈ 470 GB
405B	Llama 3.1 405B	≈ 228 GB	≈ 430 GB	≈ 810 GB

أوزان النموذج فقط، مقرّبة. أضف إلى كل رقم ذاكرة السياق و1–2 GB من الحمل الإضافي. عمليًا يستهلك التكميم بـ 4 بت نحو 4.5 بت لكل معامل، لأن معاملات المقياس تُخزَّن أيضًا.

السياق يكلّف ذاكرة إضافية

إلى جانب الأوزان يحتفظ النموذج في الذاكرة بالنص الذي يعمل عليه، فيما يُعرف بذاكرة KV المؤقتة. وهي تكبر مع كل توكن في السياق. في Llama 3.1 8B تبلغ نحو 128 KB لكل توكن، فيضيف سياق من 32,000 توكن نحو 4 GB، والسياق الكامل البالغ 128,000 نحو 16 GB. أما في Llama 3.3 70B فتبلغ 320 KB لكل توكن: سياق 32k يعني 10 GB إضافية، و128k يعني 40 GB كاملة.

النماذج الأحدث أكثر اقتصادًا. على جهاز Mac Studio لدينا لم يزد gpt-oss-120b بين السياق الفارغ و32k إلا 1.5 GB، لأن نصف طبقاته لا تنظر إلا إلى آخر 128 توكنًا. وزاد Gemma 4 31B بمقدار 4.9 GB. الأرقام التفصيلية في قياسنا.

نماذج MoE: الذاكرة للكل، والسرعة لجزء منه

تستخدم نماذج خليط الخبراء (MoE) مثل gpt-oss-120b أو Qwen3 235B-A22B جزءًا فقط من معاملاتها لكل توكن، ما يجعلها عادةً أسرع بكثير من نموذج كثيف بالحجم الكلي نفسه. لكن النموذج بأكمله يجب أن يكون في الذاكرة. لذا يشغل نموذج MoE بحجم 235B و22 مليار معامل نشط مساحة نموذج 235B، بينما تقترب سرعته من سرعة نموذج أصغر بكثير. ومدى هذا الاقتراب يعتمد على البنية وتوجيه الخبراء والتكميم وطول السياق والبرنامج الذي تستخدمه.

كم من ذاكرة Mac يحصل عليه النموذج فعلًا

لا يملك Mac ذاكرة رسوميات منفصلة: تتشارك CPU وGPU مخزونًا واحدًا. ومع ذلك لا يسمح macOS افتراضيًا لوحدة GPU بأخذ كل الذاكرة، بل يحتفظ باحتياطي للنظام. يمكنك رفع الحد بأمر يسري حتى إعادة التشغيل التالية:

sudo sysctl iogpu.wired_limit_mb=240000

القيمة بالميغابايت. ومن الحكمة ترك 8–16 GB على الأقل للنظام. على جهاز Mac المستأجر لا يملك حسابك صلاحيات المسؤول، لذا نضبط هذا الحد لك عند الطلب.

ذاكرة جهاز Mac	المتاح للنموذج تقريبًا	ما يتسع بارتياح
16 GB	10–11 GB	7–8B بدقة 4 بت
32 GB	21–24 GB	14B بدقة 4 بت، و27–32B مع سياق أقصر
64 GB	48 GB	70B بدقة 4 بت مع سياق متوسط، و32B بدقة 8 بت
128 GB	96 GB	117B MoE (gpt-oss-120b) بدقة 4 بت، و70B بدقة 8 بت
256 GB	192 GB، وحتى ~240 GB بعد رفع الحد	235B بدقة 4 بت، و405B بدقة 3 بت، أو عدة نماذج معًا

تقدير مبني على الحد الافتراضي لوحدة GPU في macOS؛ تختلف القيمة الدقيقة باختلاف إصدار النظام.

كم من الجودة يكلّف التكميم

يعتمد مقدار ما يفقده النموذج المكمَّم من جودة على النموذج والمهمة، لذا اختبره على عملك أنت. وكقاعدة تقريبية، تكون إصدارات 8 بت عادةً قريبة جدًا من الدقة الكاملة، بينما تفقد إصدارات 4 بت قليلًا أكثر وهي الحل الوسط الشائع للتشغيل المحلي. وتحت 4 بت يميل التراجع إلى أن يكون أوضح، خاصة في النماذج الأصغر. أما في النماذج الضخمة جدًا مثل 405B فقد يظل إصدار 3 بت منطقيًا، لأن نموذجًا أكبر بتكميم أخشن يتفوق أحيانًا على نموذج أصغر بدقة أعلى.

باختصار

بدقة 4 بت احسب نحو 0.56 GB لكل مليار معامل، إضافة إلى السياق وبضعة GB من الحمل الإضافي.
قد يشغل السياق الطويل عشرات الـ GB، وأقل بكثير في النماذج الأحدث.
في نماذج MoE يحدد الحجم الكلي الذاكرة. وللجزء النشط تأثير كبير في السرعة، لكنه ليس العامل الوحيد.

إذا لم يكفِك جهاز Mac الخاص بك، فيُفترض أن يستوعب جهاز Mac Studio M5 Ultra لدينا بذاكرة 256 GB نموذج 235B بدقة 4 بت، أو 405B بدقة 3 بت، أو عدة نماذج أصغر معًا، ما دمت تترك مساحة للسياق والنظام. هذه تقديرات، لذا جرّب نموذجك قبل إيجار أطول. ويمكننا رفع حد GPU لك عند الطلب.

اطلب الاستئجار الأداء