15 अक्टूबर 2026 · Jakub M.

256 GB वाला Mac Studio M5 Ultra और लोकल AI: हमने छह मॉडल मापे

M5 Ultra और 256 GB यूनिफ़ाइड मेमोरी वाला Mac Studio असल में प्रति सेकंड कितने टोकन देता है? हमने 9 से 120 अरब पैरामीटर वाले छह लोकप्रिय ओपन मॉडल खाली और लंबे कॉन्टेक्स्ट के साथ चलाए, और मेमोरी का उपयोग भी दर्ज किया।

लोकल लैंग्वेज मॉडलों के लिए Apple Silicon के बेंचमार्क आम तौर पर एक मॉडल के लिए एक आँकड़ा दिखाते हैं, बिना यह बताए कि उसे कैसे मापा गया। हमें पूरे और दोहराए जा सकने वाले आँकड़े चाहिए थे, इसलिए हमने सभी मॉडलों को एक ही तरीके से मापा और तरीका लिखकर रखा।

हमने किस पर और कैसे मापा

हार्डवेयर: Apple M5 Ultra, 256 GB यूनिफ़ाइड मेमोरी और 4 TB SSD वाला Mac Studio। यह वही मशीन है जिसे हम किराये पर देते हैं।
सॉफ़्टवेयर: macOS 27.0.1, Python 3.12 और Apple के MLX फ़्रेमवर्क पर बना mlx-lm 0.32।
मॉडल: Hugging Face पर mlx-community संगठन के MLX कन्वर्ज़न, 4-बिट क्वांटाइज़ेशन में। gpt-oss मॉडल एक्सपर्ट वज़न के लिए MXFP4 इस्तेमाल करते हैं (“MXFP4-Q8” वैरिएंट), Gemma 4 31B, QAT 4-बिट संस्करण है।
टेस्ट: 512 प्रॉम्प्ट टोकन और उसके बाद 128 जनरेट किए गए टोकन, कॉन्टेक्स्ट में पहले से 0, 8,192 और 32,768 टोकन के साथ। खाली कॉन्टेक्स्ट वाले रन दो बार करके औसत लिया गया, लंबे कॉन्टेक्स्ट एक बार। प्रॉम्प्ट रैंडम टोकन से बना है। असली प्रॉम्प्ट और लंबे जवाबों के साथ स्पीड अलग हो सकती है।
मेमोरी: टेस्ट के दौरान MLX द्वारा बताया गया अधिकतम मेमोरी उपयोग, मॉडल वज़न और कॉन्टेक्स्ट कैश समेत।

नतीजे

मॉडल	प्रकार	आकार	जनरेशन, खाली	जनरेशन, 8k	जनरेशन, 32k	मेमोरी, खाली	मेमोरी, 32k
Qwen3.5 9B	डेंस	6.0 GB	167	161	141	5.5 GB	7.4 GB
gpt-oss-20b	MoE	12.1 GB	184	172	145	11.7 GB	12.8 GB
Qwen3.5 27B	डेंस	16.1 GB	55	53	48	15.3 GB	18.8 GB
Gemma 4 31B	डेंस	28.8 GB	31	27	21	26.6 GB	31.5 GB
Qwen3.5 35B-A3B	MoE	20.4 GB	162	154	141	18.8 GB	20.6 GB
gpt-oss-120b	MoE	63.4 GB	120	113	96	59.5 GB	61.0 GB

जनरेशन स्पीड टोकन प्रति सेकंड में। “खाली”, “8k” और “32k” का मतलब है कॉन्टेक्स्ट में पहले से मौजूद टोकन की संख्या। मेमोरी, MLX द्वारा बताया गया अधिकतम उपयोग है। ये ऊपर दी गई शर्तों में मापे गए नतीजे हैं, गारंटी नहीं: असली स्पीड मॉडल, क्वांटाइज़ेशन, कॉन्टेक्स्ट की लंबाई, सॉफ़्टवेयर कॉन्फ़िगरेशन और काम पर निर्भर करती है।

आँकड़े क्या कहते हैं

Mixture-of-experts मॉडल कहीं ज़्यादा तेज़ हैं

टेस्ट का सबसे तेज़ मॉडल सबसे छोटा नहीं है। gpt-oss-20b प्रति सेकंड 184 टोकन बनाता है और gpt-oss-120b भी 120 तक पहुँचता है। दोनों mixture-of-experts (MoE) मॉडल हैं: हर टोकन के लिए वे अपने पैरामीटर का सिर्फ़ छोटा हिस्सा इस्तेमाल करते हैं, OpenAI के अनुसार gpt-oss-20b के लिए लगभग 3.6 अरब और gpt-oss-120b के लिए 5.1 अरब। Qwen3.5 35B-A3B भी लगभग 3 अरब सक्रिय पैरामीटर के साथ इसी तरह काम करता है और प्रति सेकंड 162 टोकन तक पहुँचता है।

डेंस मॉडल हर टोकन के लिए अपने सारे पैरामीटर इस्तेमाल करते हैं, इसलिए धीमे होते हैं: Qwen3.5 27B प्रति सेकंड 55 टोकन बनाता है और Gemma 4 31B 31। टेस्ट का सबसे धीमा मॉडल भी, 31 टोकन प्रति सेकंड पर, ज़्यादातर लोगों के पढ़ने से तेज़ लिखता है।

लंबा कॉन्टेक्स्ट 12 से 32 प्रतिशत धीमा करता है

कॉन्टेक्स्ट में पहले से 32,768 टोकन होने पर ज़्यादातर मॉडलों में जनरेशन 12 से 21 प्रतिशत धीमी हुई। सबसे ज़्यादा Gemma 4 31B ने खोया, 31 से 21 टोकन प्रति सेकंड, यानी लगभग एक तिहाई। अगर आप लंबे दस्तावेज़ों या बड़े कोडबेस के साथ काम करते हैं, तो यही कॉलम देखने लायक है।

256 GB में बहुत जगह बचती है

हमारा टेस्ट किया सबसे बड़ा मॉडल, gpt-oss-120b, 32k कॉन्टेक्स्ट समेत 61 GB लेता है, यानी मेमोरी के एक चौथाई से भी कम। हमारे हिसाब से बची जगह कहीं बड़े मॉडलों के लिए काफ़ी है, जैसे Qwen3.5 122B-A10B (4-बिट में लगभग 70 GB) या फिर Qwen3.5 397B-A17B, जिसकी 4-बिट फ़ाइलें 224 GB की हैं। इन्हें हमने अभी टेस्ट नहीं किया है, और कॉन्टेक्स्ट व सिस्टम को भी मेमोरी चाहिए। इससे कई मॉडल साथ-साथ चलाना भी संभव है, जैसे जवाबों के लिए एक बड़ा मॉडल और तेज़ रूटिंग या एम्बेडिंग के लिए एक छोटा।

हमने क्या नहीं मापा

प्रॉम्प्ट प्रोसेसिंग स्पीड। 512 टोकन के हमारे छोटे टेस्ट के नतीजे ऊपर-नीचे होते रहे, मॉडल के अनुसार लगभग 500 से 5,000 टोकन प्रति सेकंड के बीच। यह कहने के लिए काफ़ी है कि प्रॉम्प्ट पढ़ना जनरेट करने से कई गुना तेज़ है, लेकिन सटीक आँकड़ों के लिए नहीं। हम एक लंबा माप जोड़ेंगे।
दूसरे रनटाइम। हमने सिर्फ़ MLX इस्तेमाल किया। llama.cpp, Ollama या LM Studio में GGUF मॉडल अलग नतीजे दे सकते हैं।
जवाबों की गुणवत्ता, बिजली की खपत और सबसे बड़े मॉडल (122B और 397B)। ये हमारी सूची में अगले हैं।

अपने काम पर आज़माएँ

किसी और के टेस्ट के आँकड़े कभी पूरी तरह नहीं बताते कि कोई मशीन आपके काम के लिए सही है या नहीं। इसीलिए हम ठीक यही Mac Studio एक दिन से, SSH या रिमोट डेस्कटॉप के ज़रिए किराये पर देते हैं। अगर आप इसे ख़रीदने की सोच रहे हैं, तो पहले इस पर अपने मॉडल और डेटा चलाकर देख सकते हैं।

किराये के लिए पूछें परफ़ॉर्मेंस