DE
20. Oktober 2026 · Jakub M.
Wie viel Speicher braucht ein Sprachmodell? Eine Tabelle von 7B bis 405B
Passt ein 70B-Modell in 64 GB? Und 235B? Wir haben ausgerechnet, wie viel Speicher Sprachmodelle verschiedener Größen belegen, wie viel der Kontext dazukommt und welcher Mac wofür reicht.
Ob ein Modell in den Speicher passt, ist einfache Rechnerei. Multiplizieren Sie die Zahl der Parameter mit den Bits pro Parameter und teilen Sie durch acht. Ein Modell mit 70 Milliarden Parametern belegt in voller FP16-Genauigkeit (16 Bit) 140 GB, in 8 Bit etwa die Hälfte und in 4 Bit etwa ein Viertel. Bei lokalen Modellen ist die 4-Bit-Quantisierung heute der Normalfall.
Wie viel die Gewichte belegen
| Größe | Beispielmodelle | 4 Bit | 8 Bit | FP16 (unquantisiert) |
|---|---|---|---|---|
| 7–8B | Llama 3.1 8B, Qwen3 8B | ≈ 4,5 GB | ≈ 8,5 GB | ≈ 16 GB |
| 14B | Qwen3 14B | ≈ 8 GB | ≈ 15 GB | ≈ 28 GB |
| 27–32B | Qwen3.5 27B, Qwen3 32B | ≈ 18 GB | ≈ 34 GB | ≈ 64 GB |
| 70B | Llama 3.3 70B | ≈ 39 GB | ≈ 74 GB | ≈ 140 GB |
| 117B | gpt-oss-120b | ≈ 66 GB | ≈ 124 GB | ≈ 234 GB |
| 235B | Qwen3 235B-A22B | ≈ 132 GB | ≈ 250 GB | ≈ 470 GB |
| 405B | Llama 3.1 405B | ≈ 228 GB | ≈ 430 GB | ≈ 810 GB |
Nur die Modellgewichte, gerundet. Zu jedem Wert kommen Speicher für den Kontext und 1–2 GB Overhead. In der Praxis braucht eine 4-Bit-Quantisierung etwa 4,5 Bit pro Parameter, weil auch die Skalierungsfaktoren gespeichert werden.
Der Kontext kostet zusätzlichen Speicher
Neben den Gewichten hält das Modell den Text, an dem es arbeitet, im Speicher, den sogenannten KV-Cache. Er wächst mit jedem Token Kontext. Bei Llama 3.1 8B sind es etwa 128 KB pro Token, ein Kontext von 32.000 Token kostet also rund 4 GB zusätzlich und die vollen 128.000 etwa 16 GB. Bei Llama 3.3 70B sind es 320 KB pro Token: 32k bedeuten 10 GB mehr, 128k ganze 40 GB.
Neuere Modelle sind sparsamer. Auf unserem Mac Studio wuchs gpt-oss-120b zwischen leerem Kontext und 32k nur um 1,5 GB, weil die Hälfte seiner Schichten nur die letzten 128 Token betrachtet. Gemma 4 31B wuchs um 4,9 GB. Die genauen Zahlen stehen in unserer Messung.
MoE-Modelle: Speicher für das Ganze, Tempo für einen Teil
Mixture-of-Experts-Modelle (MoE) wie gpt-oss-120b oder Qwen3 235B-A22B nutzen für jedes Token nur einen Teil ihrer Parameter, was sie meist viel schneller macht als ein dichtes Modell derselben Gesamtgröße. Im Speicher muss aber das ganze Modell liegen. Ein 235B-MoE-Modell mit 22 Milliarden aktiven Parametern belegt deshalb so viel Platz wie ein 235B-Modell, während seine Geschwindigkeit eher der eines viel kleineren Modells entspricht. Wie nah, hängt von Architektur, Experten-Routing, Quantisierung, Kontextlänge und der verwendeten Software ab.
Wie viel vom Speicher des Macs das Modell wirklich bekommt
Ein Mac hat keinen separaten Grafikspeicher: CPU und GPU teilen sich einen gemeinsamen Speicher. Standardmäßig lässt macOS die GPU aber nicht alles nehmen und hält eine Reserve für das System zurück. Das Limit lässt sich mit einem Befehl anheben, der bis zum nächsten Neustart gilt:
sudo sysctl iogpu.wired_limit_mb=240000Der Wert ist in Megabyte. Es ist ratsam, dem System mindestens 8–16 GB zu lassen. Auf einem gemieteten Mac hat Ihr Konto keine Administratorrechte; dieses Limit setzen wir deshalb auf Wunsch für Sie.
| Speicher des Macs | Etwa verfügbar für das Modell | Was bequem passt |
|---|---|---|
| 16 GB | 10–11 GB | 7–8B in 4 Bit |
| 32 GB | 21–24 GB | 14B in 4 Bit, 27–32B mit kürzerem Kontext |
| 64 GB | 48 GB | 70B in 4 Bit mit mittlerem Kontext, 32B in 8 Bit |
| 128 GB | 96 GB | 117B MoE (gpt-oss-120b) in 4 Bit, 70B in 8 Bit |
| 256 GB | 192 GB, nach Anheben des Limits bis ~240 GB | 235B in 4 Bit, 405B in 3 Bit oder mehrere Modelle gleichzeitig |
Schätzung anhand des Standardlimits von macOS für die GPU; der genaue Wert hängt von der Systemversion ab.
Wie viel Qualität die Quantisierung kostet
Wie viel Qualität ein quantisiertes Modell verliert, hängt vom Modell und von der Aufgabe ab, testen Sie es also an Ihrer eigenen Arbeit. Als grobe Orientierung: 8-Bit-Versionen liegen meist sehr nah an voller Genauigkeit, 4-Bit-Versionen verlieren etwas mehr und sind der übliche Kompromiss für den lokalen Betrieb. Unter 4 Bit wird der Abfall meist deutlicher, besonders bei kleineren Modellen. Bei sehr großen Modellen wie 405B kann eine 3-Bit-Version trotzdem sinnvoll sein, denn ein größeres Modell mit gröberer Quantisierung schlägt manchmal ein kleineres mit höherer Genauigkeit.
Kurz gesagt
- Bei 4 Bit rechnen Sie mit etwa 0,56 GB pro Milliarde Parameter, plus Kontext und einige GB Overhead.
- Ein langer Kontext kann zig GB belegen, bei neueren Modellen deutlich weniger.
- Bei MoE-Modellen bestimmt die Gesamtgröße den Speicherbedarf. Der aktive Teil beeinflusst die Geschwindigkeit stark, ist aber nicht der einzige Faktor.
Wenn Ihr eigener Mac nicht reicht, sollte unser Mac Studio M5 Ultra mit 256 GB ein 235B-Modell in 4 Bit, 405B in 3 Bit oder mehrere kleinere Modelle gleichzeitig aufnehmen, solange Sie Platz für Kontext und System lassen. Das sind Schätzungen, probieren Sie Ihr Modell also vor einer längeren Miete aus. Auf Wunsch heben wir das GPU-Limit für Sie an.