16 अक्टूबर 2026 · Jakub M.

Mac Studio M5 Ultra पर पंद्रह AI मॉडल: प्रति सेकंड असल में कितने टोकन मिलते हैं

चेक टेक साइट Vše Smart ने M5 Ultra और 256 GB मेमोरी वाले Mac Studio पर 32 लोकल लैंग्वेज मॉडल चलाए। हमने उनमें से पंद्रह चुने, छोटे Qwen3 4B से लेकर 123 अरब पैरामीटर वाले Mistral Large तक, और देखा कि रोज़ के काम के लिए इन आँकड़ों का क्या मतलब है।

लोकल मॉडलों की स्पीड की तुलना आम तौर पर दो-तीन नामों के बाद रुक जाती है। Vše Smart की टीम ने 256 GB यूनिफ़ाइड मेमोरी वाले Mac Studio M5 Ultra पर बत्तीस मॉडल मापे, हर एक को ग्यारह बार। उनके नतीजों से हमने पंद्रह मॉडल लिए जो पूरे दायरे को अच्छी तरह दिखाते हैं: छोटे और बड़े, डेंस और mixture-of-experts।

कैसे मापा गया

मॉडल Ollama में चले, जिन्हें एक साधारण Python स्क्रिप्ट चला रही थी। हर मॉडल को एक ही काम मिला, आधुनिक कारें कैसे बनती हैं इस पर एक लंबा तकनीकी टेक्स्ट, 2,000 आउटपुट टोकन की सीमा, temperature 0 और 8,192 टोकन के कॉन्टेक्स्ट के साथ। हर मॉडल का पहला रन वार्म-अप मानकर हटा दिया गया, और नतीजा अगले दस रन का औसत है। मॉडलों के बीच 30 सेकंड का विराम था।

पूरा टेस्ट चार घंटे से ज़्यादा चला, और इस दौरान मॉडलों ने 7 लाख से ज़्यादा टोकन बनाए। सिर्फ़ स्पीड मापी गई; टेस्ट ने जवाबों की गुणवत्ता नहीं परखी।

नतीजे

मॉडल	प्रकार	जनरेशन स्पीड
Qwen3 4B	डेंस	203.3 tok/s
Qwen3 30B-A3B	MoE, 3B सक्रिय	170.1 tok/s
gpt-oss-20b	MoE, 3.6B सक्रिय	169.3 tok/s
Qwen3.5 35B-A3B	MoE, 3B सक्रिय	144.9 tok/s
Qwen3.5 9B	डेंस	126.6 tok/s
gpt-oss-120b	MoE, 5.1B सक्रिय	115.2 tok/s
Gemma 4 26B-A4B	MoE, 4B सक्रिय	111.7 tok/s
Qwen3-Next 80B-A3B	MoE, 3B सक्रिय	94.5 tok/s
Qwen3.5 122B-A10B	MoE, 10B सक्रिय	84.8 tok/s
Llama 4 Scout	MoE, 17B सक्रिय	63.3 tok/s
Mistral Small 3.2 24B	डेंस	62.2 tok/s
Qwen3.5 27B	डेंस	48.4 tok/s
Gemma 4 31B	डेंस	39.8 tok/s
Llama 3.3 70B	डेंस	22.6 tok/s
Mistral Large 123B	डेंस	13.7 tok/s

Ollama में दस रन का औसत, 2,000 आउटपुट टोकन, 8k कॉन्टेक्स्ट। MoE = mixture of experts; “सक्रिय” यानी हर टोकन के लिए इस्तेमाल होने वाले पैरामीटर। डेटा: Vše Smart। Ollama के नतीजों की हमारे MLX मापों से सीधी तुलना नहीं की जा सकती। ये ऊपर दी गई शर्तों में मापे गए नतीजे हैं, गारंटी नहीं: असली स्पीड मॉडल, क्वांटाइज़ेशन, कॉन्टेक्स्ट की लंबाई, सॉफ़्टवेयर कॉन्फ़िगरेशन और काम पर निर्भर करती है।

आकार से स्पीड के बारे में कम पता चलता है

सबसे साफ़ उदाहरण gpt-oss-120b बनाम Llama 3.3 70B है। OpenAI के मॉडल में ज़्यादा पैरामीटर हैं (70 के मुक़ाबले 117 अरब), फिर भी वह पाँच गुना तेज़ लिखता है: प्रति सेकंड 23 के मुक़ाबले 115 टोकन। फ़र्क़ आर्किटेक्चर का है। gpt-oss-120b एक mixture-of-experts मॉडल है और हर टोकन के लिए सिर्फ़ लगभग पाँच अरब पैरामीटर इस्तेमाल करता है। Llama 3.3 डेंस है, इसलिए हर बार पूरे सत्तर अरब से होकर गुज़रता है।

Qwen भी यही दिखाता है। दस अरब सक्रिय पैरामीटर वाला 122B-A10B संस्करण प्रति सेकंड 85 टोकन देता है, जबकि डेंस Qwen3.5 27B, जो उसका एक चौथाई आकार है, 48 देता है। अगर आपके लिए स्पीड मायने रखती है, तो सक्रिय पैरामीटर आम तौर पर कुल आकार से ज़्यादा बताते हैं, हालाँकि आर्किटेक्चर, क्वांटाइज़ेशन और सॉफ़्टवेयर की भी भूमिका है।

कितना तेज़, काफ़ी तेज़ है

साधारण चैट के लिए प्रति सेकंड लगभग 20 टोकन आम तौर पर सहज लगते हैं। तालिका के पंद्रह मॉडलों में सिर्फ़ Mistral Large इस रेखा से नीचे है, 14 टोकन प्रति सेकंड पर। फिर भी यह ऐसे कामों के लिए उपयोगी है जिनका कोई बैठकर इंतज़ार नहीं करता, जैसे रात भर दस्तावेज़ संसाधित करना।

जब कोडिंग असिस्टेंट लंबे कोड ब्लॉक लिखता है, तब स्पीड कहीं ज़्यादा मायने रखती है। वहाँ 80 टोकन प्रति सेकंड से ऊपर वाले मॉडल समझदारी भरे हैं, जैसे gpt-oss-120b, Qwen3-Next 80B या Qwen3.5 122B।

यह हमारे अपने मापों से मेल खाता है

हमने इनमें से कई मॉडल अपने Mac Studio पर मापे, Ollama की जगह MLX से और थोड़े अलग तरीके से। आँकड़ों में कुछ से लेकर कुछ दर्जन प्रतिशत तक का फ़र्क़ है, लेकिन कुल तस्वीर वही रहती है। gpt-oss-120b ने हमें प्रति सेकंड 120 टोकन दिए (Vše Smart: 115), gpt-oss-20b ने 184 (169) और Qwen3.5 27B ने 55 (48)। Gemma 4 31B हमारे यहाँ धीमा निकला, 40 के मुक़ाबले 31, क्योंकि हमने मॉडल का अलग संस्करण इस्तेमाल किया। विवरण हमारे बेंचमार्क लेख में है।

ख़ुद आज़माएँ

सभी बत्तीस मॉडल 256 GB मेमोरी में आराम से समा गए। अगर आप ऐसी मशीन ख़रीदने की सोच रहे हैं, या आपको यह ताक़त कुछ ही दिनों के लिए चाहिए, तो आप हमारा 256 GB वाला Mac Studio M5 Ultra किराये पर ले सकते हैं।

डेटा का स्रोत: Vše Smart: Mac Studio M5 Ultra का 32 लोकल AI मॉडलों से टेस्ट (Ludvík Eckerman, 5 अक्टूबर 2026, चेक भाषा में)।

किराये के लिए पूछें परफ़ॉर्मेंस