DE
Wie viel Speicher braucht ein KI-Modell?
Wählen Sie, wie viel Speicher Ihr Mac hat, und sehen Sie, welche offenen Sprachmodelle darauf laufen. Oder wählen Sie ein Modell und erfahren Sie, wie viel Speicher es braucht.
Wir rechnen mit 4-Bit-Quantisierung, bei lokalen Modellen üblich, und einem Kontext bis etwa 32.000 Token: Parameter × 4,5 Bit ÷ 8, plus 10 % und 2 GB für Kontext und Laufzeit. Standardmäßig gibt der Mac der GPU etwa 67 % des Speichers (bis 36 GB) oder 75 % (über 36 GB); das Limit lässt sich anheben. Es sind Schätzungen: Der tatsächliche Bedarf hängt von Software und Kontextlänge ab. Auf unserem Mac Studio mit 256 GB und macOS 27.2.1 liegt das GPU-Limit bei 240 GB, und diesen Wert verwendet der Rechner für 256 GB.
Daten zu den Modellen: Google Gemma, Wikipedia: Qwen, Nemotron, Kimi, OpenRouter, ComputingForGeeks.
So schätzt der Rechner den Speicherbedarf
Ein Sprachmodell braucht Speicher für drei Dinge: seine Gewichte, den Kontext, mit dem es arbeitet, und die Laufzeit selbst. Der Rechner addiert sie so.
Gewichte
Bei 4-Bit-Quantisierung belegt jeder Parameter einschließlich der Skalierungsfaktoren etwa 4,5 Bit, also rund 0,56 GB pro Milliarde Parameter. Ein 70B-Modell braucht damit allein für seine Gewichte etwa 39 GB, ein 120B-Modell etwa 66 GB.
Kontext und KV-Cache
Für jedes Token im Kontext hält das Modell Schlüssel und Werte im Speicher, den sogenannten KV-Cache. Wie viel er belegt, hängt von der Architektur des Modells ab und wächst mit der Kontextlänge. Der Rechner schlägt 10 % und 2 GB auf die Gewichte auf; das reicht bei den meisten Modellen für einen Kontext bis etwa 32.000 Token. Für deutlich längeren Kontext sollten Sie mehr einplanen.
Warum ein Mac dem Modell nicht den ganzen Speicher gibt
Bei Apple Silicon teilen sich CPU und GPU einen gemeinsamen Arbeitsspeicher, und macOS behält einen Teil für das System. Wie viel die GPU standardmäßig nutzen darf, hängt vom Mac und der macOS-Version ab. Auf unserem Mac Studio mit 256 GB und macOS 27.2.1 meldet Metal 240 GB, also alles außer 16 GB, und ein 224 GB großes Modell lief ohne jede Änderung der Einstellungen. Ältere macOS-Versionen und kleinere Macs erlaubten meist etwa zwei Drittel bis drei Viertel; für sie behält der Rechner diese vorsichtigere Regel bei. Das Limit lässt sich anheben (Einstellung iogpu.wired_limit_mb), dann bleibt aber weniger für das System und andere Apps. Deshalb zeigt der Rechner den Zustand „Mit erhöhtem Limit“ separat.
4, 8 oder 16 Bit
8-Bit-Quantisierung braucht etwa doppelt so viel Speicher wie 4 Bit, 16 Bit (BF16) etwa viermal so viel. 4 Bit ist der übliche Kompromiss für den lokalen Betrieb: Bei den meisten Modellen ist der Qualitätsverlust gering, unter 4 Bit wächst er schneller. Mehr dazu in unserem Artikel, wie viel Speicher ein Sprachmodell braucht.
Schätzung und Messung
| Modell | Schätzung des Rechners | Gemessene Spitze | Kleinster Mac, in den es passt |
|---|---|---|---|
| Qwen3 30B-A3B | 20,9 GB | 18,7 GB | 32 GB |
| Llama 3.3 70B | 45,7 GB | 43,3 GB | 64 GB |
| gpt-oss-120b | 74,4 GB | 64,5 GB | 128 GB |
Gemessen mit mlx-lm 0.32.2 und einem Prompt von 8.192 Token auf einem Mac Studio M5 Ultra am 11. November 2026. gpt-oss-120b nutzt das Format MXFP4, das etwas kleiner ist als die 4,5 Bit, mit denen der Rechner arbeitet.
Die Schätzungen sind bewusst vorsichtig: In unserer Messung brauchten alle drei Modelle etwas weniger. Wenn Sie einen großen Mac nur für eine Weile brauchen, vergleichen Sie Miete und Kauf eines Mac Studio M5 Ultra. Für Qwen3.5 397B verwendet der Rechner statt der Schätzung unsere gemessene Spitze mit 32k Kontext (227,5 GB), siehe unseren Test dieses Modells.