TR
16 Ekim 2026 · Jakub M.
Mac Studio M5 Ultra'da on beş yapay zekâ modeli: Saniyede gerçekte kaç token alırsınız
Çek teknoloji sitesi Vše Smart, M5 Ultra ve 256 GB belleğe sahip bir Mac Studio'da 32 yerel dil modelini çalıştırdı. Küçük Qwen3 4B'den 123 milyar parametreli Mistral Large'a kadar on beşini seçtik ve sayıların günlük iş için ne anlama geldiğine baktık.
Yerel modellerin hız karşılaştırmaları genellikle iki üç isimde kalır. Vše Smart ekibi, 256 GB birleşik belleğe sahip bir Mac Studio M5 Ultra'da otuz iki modeli, her birini on bir kez ölçtü. Sonuçlarından, alanın tamamını iyi kapsayan on beş model aldık: küçük ve büyük, yoğun ve uzmanlar karışımı.
Nasıl ölçüldü
Modeller, basit bir Python betiğiyle yönetilen Ollama'da çalıştı. Her model aynı görevi aldı: modern otomobillerin nasıl üretildiğine dair uzun teknik bir metin; 2.000 çıktı tokenı sınırı, sıcaklık 0 ve 8.192 tokenlık bağlam. Her modelin ilk çalıştırması ısınma olarak atıldı, sonuç sonraki onun ortalamasıdır. Modeller arasında 30 saniyelik bir ara verildi.
Testin tamamı dört saatten uzun sürdü ve modeller bu sırada 700.000'den fazla token üretti. Yalnızca hız ölçüldü; test yanıtların kalitesini değerlendirmedi.
Sonuçlar
| Model | Tür | Üretim hızı |
|---|---|---|
| Qwen3 4B | yoğun | |
| Qwen3 30B-A3B | MoE, 3B aktif | |
| gpt-oss-20b | MoE, 3,6B aktif | |
| Qwen3.5 35B-A3B | MoE, 3B aktif | |
| Qwen3.5 9B | yoğun | |
| gpt-oss-120b | MoE, 5,1B aktif | |
| Gemma 4 26B-A4B | MoE, 4B aktif | |
| Qwen3-Next 80B-A3B | MoE, 3B aktif | |
| Qwen3.5 122B-A10B | MoE, 10B aktif | |
| Llama 4 Scout | MoE, 17B aktif | |
| Mistral Small 3.2 24B | yoğun | |
| Qwen3.5 27B | yoğun | |
| Gemma 4 31B | yoğun | |
| Llama 3.3 70B | yoğun | |
| Mistral Large 123B | yoğun |
Ollama'da on çalıştırmanın ortalaması, 2.000 çıktı tokenı, 8k bağlam. MoE = mixture of experts (uzmanlar karışımı); “aktif”, her token için kullanılan parametre sayısıdır. Veriler: Vše Smart. Ollama sonuçları MLX ölçümlerimizle doğrudan karşılaştırılamaz. Bunlar yukarıdaki koşullarda ölçülen sonuçlardır, garanti değildir: gerçek hız; modele, nicemlemeye, bağlam uzunluğuna, yazılım yapılandırmasına ve iş yüküne bağlıdır.
Boyut, hız hakkında az şey söyler
En net örnek, gpt-oss-120b ile Llama 3.3 70B karşılaştırmasıdır. OpenAI'ın modelinin daha fazla parametresi vardır (70'e karşı 117 milyar), yine de beş kat daha hızlı yazar: saniyede 23'e karşı 115 token. Fark mimaridedir. gpt-oss-120b bir uzmanlar karışımı modelidir ve her token için yalnızca yaklaşık beş milyar parametre kullanır. Llama 3.3 yoğundur, bu yüzden her seferinde yetmiş milyarın tamamını işler.
Qwen de aynı şeyi gösteriyor. On milyar aktif parametreli 122B-A10B sürümü saniyede 85 token yaparken, dörtte bir boyutundaki yoğun Qwen3.5 27B 48'de kalır. Hız sizin için önemliyse, aktif parametreler genellikle toplam boyuttan daha çok şey söyler; ancak mimari, nicemleme ve yazılım da rol oynar.
Ne kadar hızlı yeterince hızlıdır
Sıradan bir sohbet için saniyede 20 civarında token genellikle akıcı hissettirir. Tablodaki on beş modelden yalnızca Mistral Large, saniyede 14 tokenla bu çizginin altında kalır. Yine de kimsenin oturup beklemediği işler, örneğin gece boyunca belge işleme için kullanışlıdır.
Bir kodlama asistanı uzun kod blokları yazdığında hız çok daha önemlidir. Orada saniyede 80 tokenın üzerindeki modeller mantıklıdır, örneğin gpt-oss-120b, Qwen3-Next 80B veya Qwen3.5 122B.
Kendi ölçümlerimizle örtüşüyor
Aynı modellerin birkaçını kendi Mac Studio'muzda, Ollama yerine MLX ile ve biraz farklı bir yöntemle ölçtük. Sayılar yüzde birkaç ile birkaç düzine arasında farklılık gösterse de genel tablo aynı kalıyor. gpt-oss-120b bizde saniyede 120 token verdi (Vše Smart: 115), gpt-oss-20b 184 (169) ve Qwen3.5 27B 55 (48). Gemma 4 31B bizde daha yavaş çıktı, 40'a karşı 31, çünkü modelin farklı bir sürümünü kullandık. Ayrıntılar test makalemizde.
Kendiniz deneyin
Otuz iki modelin hepsi 256 GB belleğe rahatça sığdı. Böyle bir makine almayı düşünüyorsanız veya bu güce yalnızca birkaç gün ihtiyacınız varsa, 256 GB'lık Mac Studio M5 Ultra'mızı kiralayabilirsiniz.
Veri kaynağı: Vše Smart: Mac Studio M5 Ultra 32 yerel yapay zekâ modeliyle test edildi (Ludvík Eckerman, 5 Ekim 2026, Çekçe).