26 अक्टूबर 2026 · Jakub M.

Mac Studio M5 Ultra का टेस्ट: Qwen3 235B 46 टोकन प्रति सेकंड पर और प्रॉम्प्ट पढ़ने में तेज़

चेक टेक वेबसाइट Vše Smart ने 256 GB वाले Mac Studio M5 Ultra पर llama.cpp और MLX में पाँच लैंग्वेज मॉडल टेस्ट किए। सबसे बड़े मॉडल Qwen3 235B ने 133 GB मेमोरी ली और प्रति सेकंड 46 टोकन जनरेट किए। जानिए बड़े मॉडल चलाने के लिए इन नतीजों का क्या मतलब है।

स्रोत: Mac Studio M5 Ultra v testu: Qwen3 235B a rychlost čtení promptů, Ludvík Eckerman, Vše Smart, 26 अक्टूबर 2026 (चेक भाषा में)। नीचे दिए सभी आँकड़े इसी लेख से हैं।

चेक वेबसाइट Vše Smart ने M5 Ultra चिप वाले Mac Studio का विस्तृत टेस्ट प्रकाशित किया है। यह वही कॉन्फ़िगरेशन है जो हम किराये पर देते हैं: 80-कोर GPU और 256 GB यूनिफ़ाइड मेमोरी। यह टेस्ट उन दो बातों पर केंद्रित है जिन्हें हमारे पहले बेंचमार्क ने कवर नहीं किया था: Mac लंबे प्रॉम्प्ट कितनी तेज़ी से पढ़ता है, और ऐसा मॉडल जो 128 GB वाली मशीन में नहीं समाता।

Vše Smart ने कैसे टेस्ट किया

हार्डवेयर: Mac Studio M5 Ultra (80-कोर GPU), 256 GB, macOS 27.0.1, साथ में कोई और ऐप नहीं चल रहा था।
सॉफ़्टवेयर: सभी लेयर GPU पर चलाते हुए llama.cpp, और mlx-lm के साथ MLX 0.32। पावर और तापमान macmon से रिकॉर्ड किए गए।
मॉडल: Qwen3 8B, Qwen3 30B-A3B, Llama 3.3 70B, gpt-oss-120b और Qwen3 235B-A22B, सभी 4-बिट क्वांटाइज़ेशन में (gpt-oss MXFP4 में)। Qwen3 235B सिर्फ़ MLX में।
टेस्ट: 512, 4,096 और 16,384 टोकन के प्रॉम्प्ट और 128 जनरेट किए गए टोकन, साथ में दस मिनट का लगातार लोड। 24 अक्टूबर 2026 को मापा गया।

नतीजे

मॉडल	मेमोरी	जनरेशन, llama.cpp	जनरेशन, MLX	प्रॉम्प्ट 4k, llama.cpp	प्रॉम्प्ट 4k, MLX
Qwen3 8B	≈ 5 GB	149	176	4,205	6,360
Qwen3 30B-A3B	≈ 18 GB	172	159	4,535	9,870
Llama 3.3 70B	≈ 42 GB	23	25	509	716
gpt-oss-120b	≈ 63 GB	142	130	3,387	6,538
Qwen3 235B-A22B	≈ 133 GB	–	46	–	1,656

खाली कॉन्टेक्स्ट के साथ टोकन प्रति सेकंड: 128 टोकन जनरेट करना और 4,096 टोकन का प्रॉम्प्ट पढ़ना। Qwen3 235B को सिर्फ़ MLX में टेस्ट किया गया। स्रोत: Vše Smart, 24 अक्टूबर 2026 को मापा गया।

MLX प्रॉम्प्ट दोगुनी तक तेज़ी से पढ़ता है

जवाब का पहला शब्द लिखने से पहले मॉडल को पूरा प्रॉम्प्ट पढ़ना होता है, जैसे कोई दस्तावेज़ जिसका आप सारांश चाहते हैं। Vše Smart के अनुसार हर मॉडल के साथ MLX ने llama.cpp से 1.4 से 2.2 गुना तेज़ी से प्रॉम्प्ट पढ़े, सबसे बड़ा अंतर Qwen3 30B-A3B में था। MLX में gpt-oss-120b के साथ 4,000 टोकन का दस्तावेज़ एक सेकंड से काफ़ी कम में पढ़ लिया जाता है। जनरेशन में कोई साफ़ विजेता नहीं था, इसलिए अपने मॉडल के साथ दोनों आज़माना फ़ायदेमंद है।

लंबा कॉन्टेक्स्ट

मॉडल	जनरेशन	प्रॉम्प्ट पढ़ना
Qwen3 8B	121	5,240
Qwen3 30B-A3B	115	6,822
Llama 3.3 70B	22	650
gpt-oss-120b	114	6,332
Qwen3 235B-A22B	33	1,289

MLX, 16,384 टोकन का प्रॉम्प्ट और उसके बाद 128 जनरेट किए गए टोकन, टोकन प्रति सेकंड। स्रोत: Vše Smart।

16,384 टोकन के प्रॉम्प्ट के साथ MLX में जनरेशन मॉडल के हिसाब से लगभग 12 से 31 प्रतिशत धीमी हुई।

Qwen3 235B को 128 GB से ज़्यादा चाहिए

सबसे बड़े मॉडल ने लगभग 133 GB मेमोरी ली और लगभग 46 टोकन प्रति सेकंड जनरेट किए, जो ज़्यादातर लोगों की पढ़ने की रफ़्तार से तेज़ है। यह 128 GB वाले Mac में नहीं समाएगा, और यहीं 256 GB कॉन्फ़िगरेशन फ़र्क़ लाता है।

तापमान, पावर और M3 Ultra से तुलना

GPU अधिकतम 87 °C तक पहुँचा और प्रॉम्प्ट पढ़ते समय चिप ने 215 W तक पावर ली। फ़ैन 2,265 rpm तक गया, जो उसकी अधिकतम गति का 62 प्रतिशत है, और दस मिनट के लगातार लोड में टेस्ट को कोई थ्रॉटलिंग नहीं दिखी। Llama 2 7B (Q4_0) वाले llama.cpp के मानक टेस्ट में लेख का अनुमान है कि M5 Ultra, M3 Ultra की तुलना में प्रॉम्प्ट लगभग 3.5 गुना तेज़ी से पढ़ता है और लगभग दोगुनी तेज़ी से जनरेट करता है। लेखक बताते हैं कि M3 Ultra के आँकड़े पुराने वर्शन से मापी गई llama.cpp कम्युनिटी टेबल से हैं, इसलिए यह तुलना सिर्फ़ मोटा अंदाज़ा है।

जैसा कि लेख कहता है, यह टेस्ट जवाबों की गुणवत्ता नहीं बल्कि रफ़्तार मापता है, सिर्फ़ 4-बिट क्वांटाइज़ेशन और एकल अनुरोध इस्तेमाल करता है, और पूरे कंप्यूटर की नहीं बल्कि चिप की पावर बताता है।

ख़ुद आज़माएँ

256 GB वाला Mac Studio M5 Ultra एक दिन से किराये पर लेकर उस पर अपने मॉडल टेस्ट कर सकते हैं। लंबे लोड में यह कैसा चलता है, यह हमारा एक घंटे का लोड टेस्ट दिखाता है।

किराये के लिए पूछें परफ़ॉर्मेंस