11 नवंबर 2026 · Jakub M.

एक जैसे दो Mac Studio M5 Ultra: क्या लोकल AI में इनकी रफ़्तार अलग है?

हमारे पास M5 Ultra और 256 GB यूनिफ़ाइड मेमोरी वाले दो Mac Studio हैं: एक अक्टूबर से चल रहा है और दूसरा बिल्कुल नया है। हमने दोनों पर तीन भाषा मॉडल के साथ एक जैसा टेस्ट चलाया। जनरेशन की रफ़्तार में आधे प्रतिशत से भी कम का अंतर रहा।

एक ही मॉडल और कॉन्फ़िगरेशन वाले दो कंप्यूटर बराबर तेज़ होने चाहिए। फिर भी कभी-कभी अलग-अलग यूनिट के बीच अंतर की बात होती है, इसलिए हम जानना चाहते थे कि लोकल AI में यह अंतर कितना है। हमारे लिए यह व्यावहारिक सवाल है: ग्राहक एक कॉन्फ़िगरेशन किराये पर लेता है और उसे वही परफ़ॉर्मेंस मिलनी चाहिए, चाहे उसे कोई भी यूनिट मिले।

हमने किस पर और कैसे मापा

हार्डवेयर: Apple M5 Ultra (36-कोर CPU, 80-कोर GPU) और 256 GB यूनिफ़ाइड मेमोरी वाले दो Mac Studio। एक अक्टूबर से इस्तेमाल में है, दूसरा नया है।
सॉफ़्टवेयर: दोनों पर एक जैसा: macOS 27.2.1, Python 3.12, MLX 0.32.4 और mlx-lm 0.32.2।
मॉडल: Hugging Face पर mlx-community संगठन के 4-बिट MLX संस्करण: Qwen3 30B-A3B, Llama 3.3 70B Instruct और gpt-oss-120b (MXFP4-Q8)।
टेस्ट: बिल्ट-इन टूल mlx_lm.benchmark, छोटे प्रॉम्प्ट (512 टोकन, तीन बार) और लंबे प्रॉम्प्ट (8,192 टोकन, दो बार) के साथ, हर बार 128 टोकन जनरेट किए गए। प्रॉम्प्ट तय सीड वाले रैंडम टोकन से बना है, इसलिए दोनों Mac को बिल्कुल एक जैसा इनपुट मिला। हर माप से पहले एक वॉर्म-अप रन हुआ और दोनों Mac एक ही दिन मापे गए।

नतीजे

मॉडल	प्रॉम्प्ट (टोकन)	प्रॉम्प्ट प्रोसेसिंग, पुराना Mac	प्रॉम्प्ट प्रोसेसिंग, नया Mac	जनरेशन, पुराना Mac	जनरेशन, नया Mac	अधिकतम मेमोरी
Qwen3 30B-A3B	512	2,285	2,237	162.2	162.2	17.8 GB
Qwen3 30B-A3B	8,192	7,646	7,602	138.1	138.0	18.7 GB
Llama 3.3 70B	512	469	467	25.2	25.3	40.3 GB
Llama 3.3 70B	8,192	682	683	23.6	23.6	43.3 GB
gpt-oss-120b	512	1,077	1,046	121.4	121.2	63.8 GB
gpt-oss-120b	8,192	5,143	5,109	114.8	115.2	64.5 GB

प्रॉम्प्ट प्रोसेसिंग और जनरेशन टोकन प्रति सेकंड में, दोहराव का औसत (512 टोकन पर तीन, 8,192 पर दो), 128 टोकन जनरेट किए गए। पुराना Mac: अक्टूबर से इस्तेमाल में, नया Mac: बिल्कुल नया। एक जैसा कॉन्फ़िगरेशन, 4-बिट MLX मॉडल, mlx-lm 0.32.2, macOS 27.2.1, 11 नवंबर 2026 को मापा गया।

आंकड़े क्या बताते हैं

जनरेशन की रफ़्तार, यानी मॉडल कितनी तेज़ी से जवाब लिखता है, दोनों Mac पर एक जैसी है: तीनों मॉडल और दोनों प्रॉम्प्ट लंबाई में अंतर ज़्यादा से ज़्यादा 0.35% है। लंबे प्रॉम्प्ट की प्रोसेसिंग में अंतर ज़्यादा से ज़्यादा 0.7% है। अधिकतम मेमोरी इस्तेमाल दशमलव एक गीगाबाइट तक बराबर है।

छोटे प्रॉम्प्ट में नया Mac उसे प्रोसेस करने में 2 से 3% धीमा रहा। लेकिन यह रन सिर्फ़ 0.2 से 0.5 सेकंड का होता है, और एक ही Mac पर दोहराए गए रन में भी 3% तक का फ़र्क़ था। इसलिए हम इस अंतर को असली नहीं मानते।

नतीजे हमारे अक्टूबर के माप से भी मेल खाते हैं: तब gpt-oss-120b प्रति सेकंड 120 टोकन जनरेट करता था, अब 121।

टेस्ट की सीमाएं

हमने सिर्फ़ दो यूनिट की तुलना की, इसलिए नतीजा हर Mac Studio M5 Ultra पर लागू नहीं होता। रैंडम टोकन वाला प्रॉम्प्ट और छोटा जनरेशन सिर्फ़ रफ़्तार के आंकड़े देते हैं; असली कामों और लंबे जवाबों में रफ़्तार अलग हो सकती है। यह टेस्ट जवाबों की गुणवत्ता नहीं मापता।

ख़ुद आज़माएं

आप जो मॉडल चलाना चाहते हैं उसे कितनी मेमोरी चाहिए, यह हमारा RAM कैलकुलेटर बताता है। अपने टेस्ट के लिए आप 256 GB वाला Mac Studio M5 Ultra किराये पर ले सकते हैं, एक दिन से।

किराये के लिए पूछें परफ़ॉर्मेंस