20 अक्टूबर 2026 · Jakub M.

लैंग्वेज मॉडल को कितनी मेमोरी चाहिए? 7B से 405B तक की तालिका

क्या 70B मॉडल 64 GB में समा जाएगा? और 235B? हमने हिसाब लगाया कि अलग-अलग आकार के लैंग्वेज मॉडल कितनी मेमोरी लेते हैं, कॉन्टेक्स्ट कितना जोड़ता है, और कौन-सा Mac किस काम के लिए काफ़ी है।

कोई मॉडल मेमोरी में समाएगा या नहीं, यह सीधा-सादा हिसाब है। पैरामीटर की संख्या को प्रति पैरामीटर बिट से गुणा करें और आठ से भाग दें। 70 अरब पैरामीटर वाला मॉडल पूरी FP16 प्रिसिज़न (16 बिट) में 140 GB लेता है, 8-बिट में उसका लगभग आधा और 4-बिट में लगभग एक चौथाई। लोकल मॉडलों के लिए अब 4-बिट क्वांटाइज़ेशन आम बात है।

वज़न कितनी जगह लेते हैं

आकार	उदाहरण मॉडल	4-बिट	8-बिट	FP16 (बिना क्वांटाइज़ेशन)
7–8B	Llama 3.1 8B, Qwen3 8B	≈ 4.5 GB	≈ 8.5 GB	≈ 16 GB
14B	Qwen3 14B	≈ 8 GB	≈ 15 GB	≈ 28 GB
27–32B	Qwen3.5 27B, Qwen3 32B	≈ 18 GB	≈ 34 GB	≈ 64 GB
70B	Llama 3.3 70B	≈ 39 GB	≈ 74 GB	≈ 140 GB
117B	gpt-oss-120b	≈ 66 GB	≈ 124 GB	≈ 234 GB
235B	Qwen3 235B-A22B	≈ 132 GB	≈ 250 GB	≈ 470 GB
405B	Llama 3.1 405B	≈ 228 GB	≈ 430 GB	≈ 810 GB

सिर्फ़ मॉडल के वज़न, राउंड किए हुए। हर आँकड़े में कॉन्टेक्स्ट की मेमोरी और 1–2 GB ओवरहेड जोड़ें। व्यवहार में 4-बिट क्वांटाइज़ेशन प्रति पैरामीटर लगभग 4.5 बिट लेता है, क्योंकि स्केल भी सहेजे जाते हैं।

कॉन्टेक्स्ट के लिए अलग से मेमोरी

वज़न के अलावा मॉडल जिस टेक्स्ट पर काम कर रहा है, उसे भी मेमोरी में रखता है, जिसे KV कैश कहते हैं। यह कॉन्टेक्स्ट के हर टोकन के साथ बढ़ता है। Llama 3.1 8B के लिए यह लगभग 128 KB प्रति टोकन है, यानी 32,000 टोकन का कॉन्टेक्स्ट लगभग 4 GB और पूरे 1,28,000 टोकन लगभग 16 GB जोड़ते हैं। Llama 3.3 70B के लिए यह 320 KB प्रति टोकन है: 32k का मतलब 10 GB ज़्यादा, 128k का मतलब पूरे 40 GB।

नए मॉडल ज़्यादा किफ़ायती हैं। हमारे Mac Studio पर gpt-oss-120b खाली कॉन्टेक्स्ट और 32k के बीच सिर्फ़ 1.5 GB बढ़ा, क्योंकि उसकी आधी लेयर सिर्फ़ आख़िरी 128 टोकन देखती हैं। Gemma 4 31B 4.9 GB बढ़ा। विस्तृत आँकड़े हमारे माप में हैं।

MoE मॉडल: मेमोरी पूरे के लिए, स्पीड एक हिस्से के लिए

gpt-oss-120b या Qwen3 235B-A22B जैसे mixture-of-experts (MoE) मॉडल हर टोकन के लिए अपने पैरामीटर का सिर्फ़ एक हिस्सा इस्तेमाल करते हैं, इसलिए वे आम तौर पर उतने ही कुल आकार के डेंस मॉडल से कहीं तेज़ होते हैं। लेकिन पूरा मॉडल मेमोरी में होना चाहिए। इसलिए 22 अरब सक्रिय पैरामीटर वाला 235B MoE मॉडल उतनी ही जगह लेता है जितनी एक 235B मॉडल, जबकि उसकी स्पीड कहीं छोटे मॉडल के क़रीब होती है। कितनी क़रीब, यह आर्किटेक्चर, एक्सपर्ट रूटिंग, क्वांटाइज़ेशन, कॉन्टेक्स्ट की लंबाई और आपके सॉफ़्टवेयर पर निर्भर करता है।

Mac की कितनी मेमोरी मॉडल को सच में मिलती है

Mac में अलग ग्राफ़िक्स मेमोरी नहीं होती: CPU और GPU एक ही पूल साझा करते हैं। फिर भी macOS डिफ़ॉल्ट रूप से GPU को सारी मेमोरी नहीं लेने देता और सिस्टम के लिए कुछ हिस्सा बचाकर रखता है। आप एक कमांड से यह सीमा बढ़ा सकते हैं, जो अगले रीस्टार्ट तक लागू रहती है:

sudo sysctl iogpu.wired_limit_mb=240000

मान मेगाबाइट में है। सिस्टम के लिए कम से कम 8–16 GB छोड़ना समझदारी है। किराये के Mac पर आपके खाते में एडमिन अधिकार नहीं होते, इसलिए अनुरोध पर यह सीमा हम आपके लिए सेट कर देते हैं।

Mac की मेमोरी	मॉडल को लगभग मिलती है	आराम से क्या समाता है
16 GB	10–11 GB	4-बिट में 7–8B
32 GB	21–24 GB	4-बिट में 14B, छोटे कॉन्टेक्स्ट के साथ 27–32B
64 GB	48 GB	मध्यम कॉन्टेक्स्ट के साथ 4-बिट में 70B, 8-बिट में 32B
128 GB	96 GB	4-बिट में 117B MoE (gpt-oss-120b), 8-बिट में 70B
256 GB	192 GB, सीमा बढ़ाने पर ~240 GB तक	4-बिट में 235B, 3-बिट में 405B, या एक साथ कई मॉडल

GPU के लिए macOS की डिफ़ॉल्ट सीमा के आधार पर अनुमान; सटीक मान सिस्टम के संस्करण के अनुसार बदलता है।

क्वांटाइज़ेशन से गुणवत्ता कितनी घटती है

क्वांटाइज़्ड मॉडल कितनी गुणवत्ता खोता है, यह मॉडल और काम पर निर्भर करता है, इसलिए इसे अपने काम पर टेस्ट करें। मोटे तौर पर, 8-बिट संस्करण आम तौर पर पूरी प्रिसिज़न के बहुत क़रीब होते हैं, और 4-बिट संस्करण थोड़ा ज़्यादा खोते हैं और लोकल चलाने के लिए आम समझौता हैं। 4 बिट से नीचे गिरावट ज़्यादा साफ़ दिखती है, ख़ासकर छोटे मॉडलों में। 405B जैसे बहुत बड़े मॉडलों में 3-बिट संस्करण भी समझदारी भरा हो सकता है, क्योंकि मोटे क्वांटाइज़ेशन वाला बड़ा मॉडल कभी-कभी ज़्यादा प्रिसिज़न वाले छोटे मॉडल से बेहतर होता है।

संक्षेप में

4-बिट पर प्रति अरब पैरामीटर लगभग 0.56 GB गिनें, साथ में कॉन्टेक्स्ट और कुछ GB ओवरहेड।
लंबा कॉन्टेक्स्ट दसियों GB ले सकता है, नए मॉडलों में कहीं कम।
MoE मॉडलों में मेमोरी कुल आकार से तय होती है। सक्रिय हिस्से का स्पीड पर बड़ा असर होता है, लेकिन वह अकेला कारक नहीं है।

अगर आपका अपना Mac काफ़ी नहीं है, तो हमारा 256 GB वाला Mac Studio M5 Ultra 4-बिट में 235B मॉडल, 3-बिट में 405B, या एक साथ कई छोटे मॉडल संभाल लेना चाहिए, बशर्ते आप कॉन्टेक्स्ट और सिस्टम के लिए जगह छोड़ें। ये अनुमान हैं, इसलिए लंबे किराये से पहले अपना मॉडल आज़मा लें। अनुरोध पर हम आपके लिए GPU सीमा बढ़ा सकते हैं।

किराये के लिए पूछें परफ़ॉर्मेंस