Lernnotiz aus dem Projektzeitraum August bis November 2026, aufgeschrieben im November 2026. Teil der Reihe Vom Werkzeug zur Souveränität, Etappe 3.
Reichen lokale Modelle für echte Arbeit? Bei mir lautet die Antwort seit August: für bestimmte Aufgaben ja, mit Bedingungen. Zwei kleine Rechner im Arbeitszimmer stellen seitdem LLMs im Heimnetz bereit, und für das, was sie nicht schaffen, steht eine EU-Cloud mit AVV als Backup bereit.
Die beiden Boxen#
| Mac Studio | Mini-PC | |
|---|---|---|
| Hardware | M4 Max, 64 GB | Ryzen AI 9 HX 370, 96 GB, davon 48 als Grafikspeicher |
| Modelle | Qwen3.8-27B | Gemma 4 26B, dazu ein kleines Entscheidungsmodell (9B) für die Zweitmeinung |
| Tempo | rund 20 Token pro Sekunde, bei Code rund 40 | rund 34 Token pro Sekunde |
| Aufgaben | Belege im Nachtlauf, Agenten in der Sandbox | Dokumentenarchiv, Suchvektoren, Zweitmeinung zu den Belegen |
Mein Heimserver rechnet bewusst nicht mit, dafür ist er zu schwach.
Warum welches Modell wo läuft#
Ausschlaggebend ist vor allem die Speicherbandbreite. Für jedes Token, das ein Modell schreibt, liest es seine Gewichte einmal aus dem Speicher, und der Mac schafft das rund siebenmal so schnell wie der Mini-PC. Ein dichtes Modell mit 27 Milliarden Parametern kommt auf dem Mini-PC deshalb nur auf 8 bis 10 Token pro Sekunde. Auch Bilder liest der Mac schneller ein: Eine Belegseite dauert dort rund 14 Sekunden, auf dem Mini-PC 39 bis 133. Die Belege laufen deshalb auf dem Mac.
Auf dem Mini-PC läuft dagegen Gemma 4 gut. Bei dieser Bauart (MoE) rechnet je Token nur ein kleiner Teil des Modells, es müssen also nur wenige Gewichte gelesen werden. Das brachte dort deutlich mehr als das Vorausrechnen von Token, das ich zum Vergleich gemessen habe. Aus demselben Grund passt dort auch das kleine Entscheidungsmodell hin, das nachts die Mails ein zweites Mal ansieht.
Auf dem Mac ist Vorausrechnen dagegen ein Gewinn: Seit November macht es Code und Shell-Befehle fast doppelt so schnell. Bei deutscher Prosa bringt es nichts.
Ein Auftrag zur Zeit#
Beide Boxen arbeiten einen Auftrag nach dem anderen ab. Läuft ein langer Stapel, warten andere Anfragen in der Schlange. Parallele Plätze habe ich auf dem Mac gemessen: Vier brachten rund 15 Prozent mehr Durchsatz, aber mehr als die vierfache Wartezeit bis zum ersten Token. Das lohnt sich für mich nicht.
Grenzen im Alltag#
- Einlesen: Bei langen Prompts bremst das Einlesen, weniger das Schreiben.
- Nachdenken: Es zählt beim Token-Limit mit. Ist das Limit zu knapp, kommt eine leere Antwort zurück.
Die EU-Cloud als Backup#
Für die tägliche Nachtarbeit reichen die Boxen, für große Aufholläufe nicht immer. Dafür nutze ich einen europäischen Router1 zu Anbietern in der EU, mit Auftragsverarbeitungsvertrag. Der Vergleich im August ergab praktisch gleiche Genauigkeit, die EU-Cloud war rund viermal schneller. Ende August liefen so rund 17.000 Mails in einer Nacht: zwei Monate auf dem Mac, sechs über die EU-Cloud. Umschalten ist eine Zeile in der Konfiguration, die Prüfung danach gehört dazu.
Für Tests und Experimente mit in Sandboxen eingesperrten Coding-Umgebungen wie DSH, Pi oder Hermes Agent und diversen offenen Modellen gibt es zusätzlich einen Ollama-Zugang zu Cloud-Modellen oder auch mal einem weiteren lokalen Modell. So kann ich die neuesten Hypes schnell mal im geschützten Rahmen ausprobieren.
Lohnt sich das alles wirklich?#
Für mich geht es weniger um eine Rechnung als darum, die Möglichkeiten aus eigener Beobachtung zu kennen. Es wird Anwendungsfälle geben, bei denen die großen US-Modelle kaum zu umgehen sind, andere, bei denen souveräne Modelle in einer EU-Cloud alle Aufgaben erfüllen, und wieder andere, die sich nur mit lokaler Verarbeitung umsetzen lassen. Um das selbst einschätzen zu können, habe ich mich für diese Mischform entschieden.