HI
AI मॉडल को कितनी मेमोरी चाहिए?
चुनें कि आपके Mac में कितनी मेमोरी है, और देखें कि उस पर कौन-से ओपन भाषा मॉडल चलेंगे। या कोई मॉडल चुनें और जानें कि उसे कितनी मेमोरी चाहिए।
हम लोकल मॉडलों में आम 4-बिट क्वांटाइज़ेशन और लगभग 32 हज़ार टोकन तक के कॉन्टेक्स्ट से गणना करते हैं: पैरामीटर × 4.5 बिट ÷ 8, साथ में कॉन्टेक्स्ट और रनटाइम के लिए 10 % और 2 GB। Mac डिफ़ॉल्ट रूप से GPU को लगभग 67 % मेमोरी (36 GB तक) या 75 % (36 GB से ऊपर) देता है; यह सीमा बढ़ाई जा सकती है। ये अनुमान हैं, असली खपत सॉफ़्टवेयर और कॉन्टेक्स्ट की लंबाई पर निर्भर करती है। हमारे 256 GB वाले Mac Studio पर macOS 27.2.1 के साथ GPU की सीमा 240 GB है, और 256 GB के लिए कैलकुलेटर यही मान इस्तेमाल करता है।
मॉडल का डेटा: Google Gemma, Wikipedia: Qwen, Nemotron, Kimi, OpenRouter, ComputingForGeeks.
कैलकुलेटर मेमोरी का अनुमान कैसे लगाता है
किसी भाषा मॉडल को तीन चीज़ों के लिए मेमोरी चाहिए: अपने वेट्स, जिस कॉन्टेक्स्ट पर वह काम कर रहा है, और ख़ुद चलने के लिए। कैलकुलेटर इन्हें इस तरह जोड़ता है।
वेट्स
4-बिट क्वांटाइज़ेशन में हर पैरामीटर स्केलिंग फ़ैक्टर समेत लगभग 4.5 बिट लेता है, यानी हर एक अरब पैरामीटर पर लगभग 0.56 GB। इसलिए 70B मॉडल को सिर्फ़ वेट्स के लिए लगभग 39 GB चाहिए और 120B मॉडल को लगभग 66 GB।
कॉन्टेक्स्ट और KV कैश
कॉन्टेक्स्ट के हर टोकन के लिए मॉडल मेमोरी में की और वैल्यू रखता है, जिसे KV कैश कहते हैं। यह कितनी जगह लेता है, यह मॉडल की बनावट पर निर्भर है और कॉन्टेक्स्ट लंबा होने के साथ बढ़ता है। कैलकुलेटर वेट्स में 10% और 2 GB जोड़ता है, जो ज़्यादातर मॉडल के लिए लगभग 32 हज़ार टोकन तक के कॉन्टेक्स्ट के लिए काफ़ी है। इससे बहुत लंबे कॉन्टेक्स्ट के लिए ज़्यादा मेमोरी रखें।
Mac पूरी मेमोरी मॉडल को क्यों नहीं देता
Apple Silicon में CPU और GPU एक ही यूनिफ़ाइड मेमोरी साझा करते हैं, और macOS उसका एक हिस्सा सिस्टम के लिए रखता है। GPU डिफ़ॉल्ट रूप से कितनी मेमोरी इस्तेमाल कर सकता है, यह Mac और macOS के संस्करण पर निर्भर है। हमारे 256 GB वाले Mac Studio पर macOS 27.2.1 के साथ Metal 240 GB बताता है, यानी 16 GB छोड़कर पूरी मेमोरी, और 224 GB का मॉडल बिना कोई सेटिंग बदले चला। पुराने macOS संस्करण और छोटे Mac आम तौर पर लगभग दो-तिहाई से तीन-चौथाई तक की अनुमति देते थे, और उनके लिए कैलकुलेटर यही सतर्क नियम रखता है। यह सीमा बढ़ाई जा सकती है (iogpu.wired_limit_mb सेटिंग), लेकिन तब सिस्टम और दूसरे ऐप के लिए कम मेमोरी बचती है। इसीलिए कैलकुलेटर „बढ़ी सीमा के साथ“ वाली स्थिति अलग दिखाता है।
4, 8 या 16 बिट
8-बिट क्वांटाइज़ेशन को 4-बिट से लगभग दोगुनी मेमोरी चाहिए और 16-बिट (BF16) को लगभग चार गुना। लोकल इस्तेमाल के लिए 4 बिट आम समझौता है: ज़्यादातर मॉडल में गुणवत्ता का नुक़सान कम होता है, 4 बिट से नीचे यह तेज़ी से बढ़ता है। ज़्यादा जानकारी हमारे लेख भाषा मॉडल को कितनी मेमोरी चाहिए में है।
अनुमान बनाम माप
| मॉडल | कैलकुलेटर का अनुमान | मापी गई अधिकतम मेमोरी | सबसे छोटा Mac जिसमें समाता है |
|---|---|---|---|
| Qwen3 30B-A3B | 20.9 GB | 18.7 GB | 32 GB |
| Llama 3.3 70B | 45.7 GB | 43.3 GB | 64 GB |
| gpt-oss-120b | 74.4 GB | 64.5 GB | 128 GB |
11 नवंबर 2026 को Mac Studio M5 Ultra पर mlx-lm 0.32.2 और 8,192 टोकन के प्रॉम्प्ट से मापा गया। gpt-oss-120b MXFP4 फ़ॉर्मैट इस्तेमाल करता है, जो कैलकुलेटर के 4.5 बिट से थोड़ा छोटा है।
अनुमान जान-बूझकर सावधानी से रखे गए हैं: हमारे माप में तीनों मॉडल को थोड़ी कम मेमोरी लगी। अगर आपको बड़ा Mac कुछ समय के लिए ही चाहिए, तो Mac Studio M5 Ultra किराये पर लेने और ख़रीदने की तुलना देखें। Qwen3.5 397B के लिए कैलकुलेटर अनुमान की जगह 32k कॉन्टेक्स्ट पर हमारी मापी गई अधिकतम मेमोरी (227.5 GB) इस्तेमाल करता है, देखें इस मॉडल का हमारा टेस्ट।