12 नवंबर 2026 · Jakub M.

एक Mac Studio M5 Ultra पर Qwen3.5 397B: 224 GB और 62 टोकन प्रति सेकंड

397 अरब पैरामीटर वाला मॉडल 4 बिट में लगभग 224 GB लेता है। हमने इसे 256 GB वाले एक Mac Studio M5 Ultra पर चलाया: इसने लगभग 62 टोकन प्रति सेकंड जनरेट किए, 1.28 लाख टोकन का कॉन्टेक्स्ट संभाला और macOS की कोई सेटिंग बदलनी नहीं पड़ी।

अब तक हमारा सबसे बड़ा टेस्ट लगभग 133 GB वाला Qwen3 235B था। इस बार हम Mac की मेमोरी की सीमा तक गए: Qwen3.5 397B-A17B एक mixture-of-experts मॉडल है जिसमें 397 अरब पैरामीटर हैं, जिनमें से हर टोकन के लिए लगभग 17 अरब काम करते हैं। 4-बिट MLX फ़ॉर्मैट में यह लगभग 224 GB लेता है।

हमने कैसे मापा

हार्डवेयर: Apple M5 Ultra (36-कोर CPU, 80-कोर GPU) और 256 GB यूनिफ़ाइड मेमोरी वाला Mac Studio, macOS 27.2.1।
सॉफ़्टवेयर: Python 3.12, MLX 0.32.4, mlx-lm 0.32.2, मॉडल mlx-community/Qwen3.5-397B-A17B-4bit।
टेस्ट: बिल्ट-इन टूल mlx_lm.benchmark, तय सीड वाले रैंडम टोकन का प्रॉम्प्ट और हर माप से पहले एक वॉर्म-अप रन। 512 और 8,192 टोकन के प्रॉम्प्ट के साथ 128 टोकन जनरेट (तीन और दो बार), फिर 131,072 टोकन तक के लंबे प्रॉम्प्ट के साथ 64 टोकन जनरेट (हर एक बार)।

नतीजे

प्रॉम्प्ट (टोकन)	प्रॉम्प्ट प्रोसेसिंग (टोकन/से.)	जनरेशन (टोकन/से.)	अधिकतम मेमोरी
512	159	61.6	224.3 GB
8,192	1,265	59.9	226.8 GB
16,384	1,432	58.3	227.0 GB
32,768	1,500	55.1	227.5 GB
65,536	1,345	50.3	228.5 GB
131,072	1,080	44.1	230.6 GB

Qwen3.5 397B-A17B, 4-बिट MLX (mlx-community), mlx-lm 0.32.2, macOS 27.2.1, 12 नवंबर 2026 को मापा गया। 512 और 8,192 टोकन: 128 टोकन जनरेट, 3 और 2 बार का औसत; लंबे प्रॉम्प्ट: 64 टोकन जनरेट, एक माप। 512 टोकन वाले प्रॉम्प्ट का मान अलग-अलग रन में बदलता रहा (141 से 195 टोकन/से.)।

कोई सेटिंग नहीं बदलनी पड़ी

हमें उम्मीद थी कि डिफ़ॉल्ट सेटिंग में मॉडल नहीं समाएगा। पुराने macOS संस्करण GPU को सिर्फ़ लगभग तीन-चौथाई मेमोरी देते थे, यानी 256 GB वाले Mac पर लगभग 192 GB। लेकिन macOS 27.2.1 वाले हमारे Mac पर Metal 240 GB (257.7 अरब बाइट) की अनुशंसित सीमा बताता है, यानी 16 GB छोड़कर पूरी मेमोरी। मॉडल डिफ़ॉल्ट सेटिंग में भी उतनी ही तेज़ी से चला जितना हाथ से सीमा तय करने पर, स्वैप 45 MB से नीचे रहा और macOS पूरे समय सामान्य मेमोरी दबाव बताता रहा। हमारे दूसरे 256 GB वाले Mac पर भी यही 240 GB मिला। इसी के अनुसार हमने अपना RAM कैलकुलेटर भी अपडेट किया है।

किराये पर लेने वालों के लिए यह अहम है: उनके पास एडमिन अधिकार नहीं होते, इसलिए वे ख़ुद सीमा नहीं बढ़ा सकते। इन Mac पर इसकी ज़रूरत ही नहीं है।

लंबे कॉन्टेक्स्ट में मेमोरी बहुत कम बढ़ती है

512 टोकन से 131,072 टोकन के प्रॉम्प्ट तक अधिकतम मेमोरी सिर्फ़ लगभग 6 GB बढ़ी, 224.3 से 230.6 GB तक। सबसे लंबे कॉन्टेक्स्ट में भी सिस्टम के लिए 25 GB से ज़्यादा खाली रहा। हां, कॉन्टेक्स्ट बढ़ने पर रफ़्तार घटती है: जनरेशन 62 से 44 टोकन प्रति सेकंड पर आ गया, जो पढ़ने के लिए अब भी आरामदायक रफ़्तार है।

बड़ा, फिर भी तेज़

अक्टूबर के हमारे टेस्ट में Qwen3 235B ने ख़ाली कॉन्टेक्स्ट में 46 और 16,384 टोकन के प्रॉम्प्ट के साथ 33 टोकन प्रति सेकंड जनरेट किए थे। Qwen3.5 397B लगभग दोगुना बड़ा है, फिर भी मिलती-जुलती स्थितियों में लगभग 62 और 58 टोकन प्रति सेकंड जनरेट करता है। वजह है हर टोकन पर कम सक्रिय पैरामीटर: 22 अरब की जगह लगभग 17 अरब। अक्टूबर का टेस्ट पुराने सॉफ़्टवेयर संस्करण और थोड़े अलग तरीके से हुआ था, इसलिए तुलना को सिर्फ़ अंदाज़ा मानें।

बिजली की खपत

टेस्ट के दौरान चिप (CPU और GPU) ने अधिकतम लगभग 104 W लिया, जिसे powermetrics से 2 सेकंड के अंतराल पर मापा गया। हम औसत नहीं दे रहे, क्योंकि माप में मॉडल लोड होने और रुकावटों का समय भी शामिल था।

टेस्ट की सीमाएं

हमने एक Mac पर एक मॉडल को अलग-अलग अनुरोधों के साथ मापा। रैंडम टोकन वाला प्रॉम्प्ट सिर्फ़ रफ़्तार के आंकड़े देता है; असली कामों में रफ़्तार अलग हो सकती है। यह टेस्ट जवाबों की गुणवत्ता नहीं मापता, और 4-बिट संस्करण पूरे मॉडल से थोड़ा कमज़ोर जवाब दे सकता है।

ख़ुद आज़माएं

अगर आप €12,000 से ज़्यादा का Mac ख़रीदे बिना इस आकार का मॉडल चलाना चाहते हैं, तो 256 GB वाला Mac Studio M5 Ultra किराये पर ले सकते हैं, एक दिन से।

किराये के लिए पूछें परफ़ॉर्मेंस