LLM selbst hosten: GPT-5-Niveau für 8'500 Franken

Was leistet ein selbst gehostetes LLM?

Genug für den Alltag von zwanzig bis dreissig Mitarbeitenden. Auf einer Workstation für rund 8’500 Franken läuft ein offenes Modell auf dem Niveau von GPT-5.1, das Korrespondenz, Dokumentensuche und Übersetzung trägt. Anspruchsvolles Programmieren und lange agentische Aufgaben bleiben aussen vor. Modelle, die nicht mehr ganz in den Grafikspeicher passen, laufen nur noch im Nachtbetrieb.

Das Wichtigste in Kürze

• Fangen Sie bei den Aufgaben an, erst danach bei der Hardware. Was im Haus laufen soll und wie viele Leute gleichzeitig damit arbeiten, bestimmt alles Weitere.
• Für Korrespondenz, Dokumentensuche und Übersetzung reicht eine Maschine unter dem Schreibtisch. Für anspruchsvolles Programmieren reicht sie nicht.
• Rechnen Sie in gleichzeitigen Anfragen statt in Köpfen. Zwanzig bis dreissig Mitarbeitende bringen eine solche Maschine nicht an ihre Grenze.
• Der Grafikspeicher entscheidet, welches Modell passt. Über das Tempo entscheiden die aktiven Parameter und die Speicherbandbreite: Ein 35-Milliarden-MoE war bei uns doppelt so schnell wie ein 27-Milliarden-Modell.
• Wenn Ihre Anwendung warten kann, öffnet sich eine ganze Modellklasse mehr. Nachtbetrieb ist der billigste Weg zu mehr Qualität.
• Erwarten Sie keine Ersparnis. Wer eigene Hardware hinstellt, tut es für die Kontrolle über die Daten.

In Beratungsmandaten stellen Kanzleien, Arztpraxen und Treuhandbüros diese Frage inzwischen regelmässig. Ihre Daten sind besonders schützenswert, oft dem Berufsgeheimnis?Berufs- und AmtsgeheimnisDie strafrechtlich geschützte Schweigepflicht von Behörden (Amtsgeheimnis, Art. 320 StGB) und einer im Gesetz aufgezählten Reihe von Berufen (Art. 321 StGB), etwa Anwältinnen, Ärzte und Apothekerinnen. Sie gilt unabhängig vom Datenschutz und reicht weiter. Das Bankgeheimnis steht separat im Bankengesetz. unterstellt. Ein Vertrag mit einem Anbieter löst das juristisch↗Recht & Regulierung · Teil 3Berufsgeheimnis und KI: was in die Cloud darf«Bei uns geht das nicht» ist in Kanzleien und Praxen die Standardantwort auf KI. Art. 321 StGB sagt etwas Engeres, und der grössere Teil des Alltags fällt gar nicht darunter. Beitrag lesen , doch bei manchen Beständen will die Geschäftsleitung schlicht, dass die Akten das Haus nie verlassen.

Auf «welches Modell nehmen wir» antworten wir dann mit zwei Gegenfragen: Welche Aufgaben sollen im Haus laufen? Und wie viele Menschen arbeiten gleichzeitig damit? Aus den Antworten folgt die Modellklasse, und erst daraus die Maschine.

Wir sind diesen Weg selbst gegangen und haben drei Wochen lang gemessen. Was folgt, sind unsere Zahlen vom August 2026.

Dieser Beitrag eröffnet unsere fünfteilige Serie über lokale Inferenz, also den Betrieb von Sprachmodellen auf eigener Hardware. Er erzählt, was wir gebaut und gemessen haben; die technischen Teile danach zeigen, wie Sie es selbst auslegen.

Zuerst die Aufgaben, dann die Hardware

Zuverlässig laufen auf eigener Hardware die Aufgaben mit klarem Rahmen und prüfbarem Ergebnis: Informationen aus Dokumenten ziehen, Eingänge klassifizieren, zusammenfassen, übersetzen, anonymisieren, Fragen über den eigenen Aktenbestand beantworten. Für eine Kanzlei oder eine Praxis ist das der grösste Teil dessen, was KI im Alltag tun soll.

Die Sprache gehört dabei zu den Stärken. Das Modell, das wir betreiben, löste 82 Prozent eines professionell übersetzten deutschen Wissenstests. Ein zweiter, maschinell übersetzter Test derselben Art ergab 88 Prozent; die sechs Punkte Unterschied gehen auf die Übersetzung, nicht auf das Modell. Deutsch ist kein Engpass.

Schwierig bleibt langes agentisches?AgentischKI-Anwendungen, die mehrstufig und selbstständig arbeiten: Sie planen, rufen Werkzeuge auf und wiederholen Schritte, bis die Aufgabe erledigt ist. Dabei senden sie denselben Kontext viele Male. Arbeiten, also eine Aufgabe über zwanzig Werkzeugaufrufe↗Souveräne KI · Teil 5Souveräne KI-Integration: wenn die KI zu handeln beginntSobald ein Agent handelt statt nur zu lesen, wird aus einem Fehler ein Vorfall. Die Integrationsebene ist, wo Ihr IP entsteht und wo Sie die Kontrolle behalten müssen. Wie das geht. Beitrag lesen hinweg, bei der ein einziger Formatfehler die Kette abbricht. Ebenso die schwersten Denkaufgaben. Wer einen Coding-Assistenten auf Spitzenniveau braucht, kauft ihn weiterhin ein.

Schreiben Sie also zuerst zehn bis zwanzig echte Vorgänge aus Ihrem Alltag auf. Fallen die meisten in die erste Liste, lohnt sich das Weiterlesen. Fallen sie in die zweite, sparen Sie sich die Hardware.

Zwanzig Mitarbeitende sind nicht zwanzig Anfragen

Die zweite Frage wird fast immer falsch gestellt. «Reicht das für 200 Leute» lässt sich nicht beantworten, denn eine Maschine trägt keine Belegschaft, sie trägt gleichzeitige Anfragen.

Wer eine Antwort liest, sie prüft und die nächste Frage tippt, belegt die Maschine vielleicht zehn Sekunden pro Minute. Sind von zweihundert Personen zur Mittagszeit vierzig aktiv und stellt jede alle zwei Minuten eine Frage, laufen im Mittel keine zwanzig Anfragen parallel. Bei zwanzig bis dreissig Mitarbeitenden liegt die Zahl im einstelligen Bereich.

Rechnen Sie Ihre eigene Zahl aus, bevor Sie weiterlesen. An ihr hängen später die Grafikkarten, und wir kommen bei den Messungen darauf zurück.

Die Maschine, die daraus folgt

Ein Sprachmodell muss vollständig in den Speicher der Grafikkarte passen, sonst wird es zäh. Grafikspeicher ist deshalb die Grösse, um die beim Selbsthosten alles kreist, und die Preise pro Gigabyte klaffen weit auseinander. Professionelle Karten bieten 96 GB in einem einzigen Steckplatz und kosten pro Gigabyte ein Mehrfaches. Eine RTX 4090 aus dem Gaming-Bereich bietet 24 GB für rund 1’700 Franken.

Also zwei davon. Der Rest der Liste folgt daraus: ein Mainboard mit zwei langen Steckplätzen, ein Netzteil, das beide Karten trägt, und viel Arbeitsspeicher, dessen Nutzen weiter unten sichtbar wird.

Komponente	Menge	CHF
ASUS TUF Gaming RTX 4090, 24 GB	2	je ca. 1’700
AMD Ryzen 9 7950X	1	489
ASUS ROG Crosshair X670E Hero	1	475
Kingston FURY Beast DDR5-6000, 2 x 32 GB	2	je 909
Crucial T700, 4 TB	2	je 520
Corsair HX1500i, 1500 W	1	719
Gehäuse, Kühlung, Kleinteile		ca. 460
Total		ca. 8’450

Das Ganze ist ein Desktop-Rechner mit zwei Grafikkarten, bestellbar bei jedem Schweizer Händler. Er steht unter einem Schreibtisch und hängt an einer normalen Steckdose. Herausgekommen sind 48 GB Grafikspeicher und 128 GB Arbeitsspeicher.

Damit steht die Hardware. Was fehlt, ist das Modell.

Die Suche nach dem Modell beginnt bei einer Rangliste

48 GB stehen bereit. Auf Hugging Face liegen zehntausende offene Modelle?Open WeightModelle, deren Gewichte öffentlich verfügbar sind und selbst gehostet werden dürfen (z.B. Apertus, DeepSeek, Llama). Voraussetzung für souveränen Betrieb ohne Anbieterbindung., viele davon Abwandlungen von Abwandlungen. Wir haben bei Artificial Analysis angefangen. Die Seite schickt Modelle durch denselben Satz Prüfungen und fasst das Ergebnis zu einem Intelligence Index zusammen, einer Zahl auf einer Skala bis 100. Für unseren Fall gibt es dort eine eigene Ansicht für kleine offene Modelle, also genau das Feld, das auf eine Maschine wie unsere passt.

Bevor eine solche Liste nützt, muss man die Namen lesen können. Sie sehen wirr aus und enthalten genau die zwei Zahlen, um die es geht.

Modellname, entschlüsselt

Qwen 3.6 -35B -A3B

Qwen

Der Anbieter. Hier Alibaba. Sagt nichts über die Fähigkeit, aber viel über Pflege, Lizenz und darüber, wie viele Grössen es von derselben Familie gibt.

3.6

Die Generation. Eine höhere Nummer schlägt eine niedrigere derselben Familie fast immer, auch bei gleicher Grösse.

-35B

Gesamtparameter. 35 Milliarden. Diese Zahl bestimmt, wie viel Grafikspeicher Sie brauchen, denn so viel muss geladen sein.

-A3B

Aktive Parameter. Drei Milliarden. Diese Zahl bestimmt das Tempo, denn nur so viel wird pro Wort gerechnet. Fehlt die Angabe, rechnet das Modell mit allem, was es hat.

Die beiden roten Zahlen tun Verschiedenes. Die erste kostet Sie Speicher, die zweite kauft Ihnen Tempo.

Fehlt der zweite Zahlenblock, ist es ein Dense-Modell: Es rechnet für jedes einzelne Wort mit sämtlichen Parametern. Steht dort ein A, handelt es sich um ein MoE-Modell?MoEMixture of Experts: ein Modell, das viele Teilmodelle («Experten») speichert, pro Token aber nur wenige davon rechnet. Gespeichert werden alle Parameter, gerechnet wird mit einem Bruchteil., aufgeteilt in viele Experten mit unterschiedlichen Spezialgebieten, von denen es pro Wort nur einige wenige beschäftigt. Diese Bauart ist der Grund, warum ein grösseres Modell schneller antworten kann als ein kleineres.

Drei Klassen, und warum nur eine infrage kommt

Nach diesem Muster sortiert, fallen die offenen Modelle im August 2026 in drei Klassen.

Klein, bis etwa vier Milliarden Parameter. Diese Modelle laufen auf einem Notebook, die kleinsten auf einem Telefon. Sie fassen Texte zusammen, sortieren Eingänge und finden Textstellen. Für alles, was mehrere Schritte hintereinander richtig machen muss, sind sie zu schwach.

Mittel, etwa neun bis vierzig Milliarden Parameter. Qwen, Gemma, Mistral und Apertus liegen in dieser Klasse. Quantisiert passt ein solches Modell in 24 bis 48 GB Grafikspeicher.

Die offene Spitze, 300 Milliarden bis 2.8 Billionen Parameter. DeepSeek, Kimi, GLM. Diese Modelle treten gegen die geschlossenen Spitzenmodelle an und kommen nahe heran. Dafür brauchen sie Dutzende von Rechenzentrumskarten und Anschaffungskosten in Millionenhöhe.

Im Index sieht der Abstand zwischen diesen Welten so aus:

Modell	Index
Claude Opus 5 (proprietär, Spitze)	63.1
Kimi K3, 2.8 Billionen Parameter (offene Spitze)	59.7
Qwen3.6-27B (passt ganz in 48 GB)	37.7
GPT-5.1, zum Vergleich	37.5
GPT-4o (März 2025)	12.3

Quelle: Artificial Analysis, Abruf vom 12. August 2026.

Die letzten drei Zeilen sind die gute Nachricht. Das Modell, das auf eine Maschine unter dem Schreibtisch passt, liegt gleichauf mit GPT-5.1 und weit über dem GPT-4o, mit dem die meisten Menschen ChatGPT kennengelernt haben.

Aus der mittleren Klasse haben wir Qwen genommen, aus drei Gründen. Es war zum Messzeitpunkt das am höchsten platzierte offene Modell, das vollständig in 48 GB passt. Es gibt dieselbe Familie in vielen Grössen sowie als Dense- und als MoE-Variante, was Vergleiche überhaupt erst zulässt. Und es liegen fertige 4-Bit-Fassungen von mehreren unabhängigen Anbietern vor.

Eine Rangliste hat allerdings Grenzen. Wer eine Prüfung kennt, kann für sie trainieren, und ein Index sagt nichts über Ihre Dokumente, Ihre Sprache und Ihre Werkzeuge. Deshalb haben wir die Kandidaten heruntergeladen und selbst nachgemessen.

Was Grösse kauft

Gemessen haben wir mit Prüfungen, deren Ergebnis man nachzählen kann: Rechenaufgaben in Textform, kleine Programmieraufgaben mit ausführbarer Lösung, und deutsche Wissensfragen im Multiple-Choice-Format. Angegeben ist jeweils der Anteil richtiger Antworten. Die ersten vier Zeilen stammen aus derselben Modellfamilie und liefen ohne Quantisierung?QuantisierungKompression eines Modells über geringere Zahlenpräzision der Gewichte (z.B. FP8 oder 4-Bit). Der Betrieb wird deutlich günstiger; ab einem gewissen Grad sinkt die Antwortqualität messbar.. Die fünfte ist das Modell, das wir auf dieser Maschine tatsächlich betreiben:

Grösse	Rechnen	Programmieren	Deutsches Wissen
0.8 Mrd.	38 %	18 %	41 %
2 Mrd.	57 %	22 %	55 %
4 Mrd.	73 %	39 %	66 %
9 Mrd.	87 %	55 %	74 %
27 Mrd. (4-Bit, neuere Generation)	66 %	74 %	82 %

Unter neun Milliarden Parametern taugt ein Modell nicht für professionelle Arbeit. Vier Milliarden lösen keine zwei von fünf Programmieraufgaben und kennen ein Drittel der deutschen Wissensfragen nicht. Zum Zusammenfassen und Sortieren reicht das. Sobald sich jemand auf das Ergebnis verlässt, wird es zu wenig.

Brauchbar wird es in der Klasse um dreissig Milliarden. Das 27-Milliarden-Modell löst drei von vier Programmieraufgaben, wo das 9-Milliarden-Modell gerade die Hälfte schafft. Genau diese Klasse passt auf 48 GB Grafikspeicher. Beim Rechnen fällt es mit 66 gegen 87 Prozent aus der Reihe. Dafür sprechen drei Gründe, und keiner davon ist beruhigend: Das Modell gehört einer anderen Generation an als die Leiter darüber, es lief auf 4 Bit quantisiert statt unquantisiert, und es denkt vor dem Antworten, wofür wir ihm kein zusätzliches Token-Budget gegeben haben. Diese Zeile verdient eine Nachmessung.

Für die schwersten Aufgaben brauchen Sie mehr als hundert Milliarden Parameter. Und damit sind wir beim eigentlichen Thema, denn die Hardware ist zu diesem Zeitpunkt längst gekauft.

Was das Tempo bestimmt: aktive Parameter und Bandbreite

Ab hier ändert sich die Frage. Die 48 GB entscheiden, welches Modell überhaupt hineinpasst. Wie schnell es dann antwortet, entscheiden zwei andere Grössen: wie viele Parameter pro Wort tatsächlich rechnen, und wie schnell die Karte ihren Speicher liest.

Die erste Grösse zeigen zwei Modelle auf derselben Maschine, unter derselben Last, mit acht gleichzeitigen Nutzern. Verändert wird nur das Modell.

Konfiguration	Tokens pro Sekunde und Person	Wartezeit bis zum ersten Zeichen
Qwen3.6-35B (MoE), ganz auf den Karten	104.6	1.6 s
Qwen3.6-27B, ganz auf den Karten	51.6	5.8 s

Das grössere Modell ist doppelt so schnell und lässt seine Nutzer ein Viertel so lange warten. Qwen3.6-35B rechnet pro Wort mit drei seiner 35 Milliarden Parameter, das 27-Milliarden-Modell mit allen. Für den Speicherbedarf zählt die Gesamtzahl, fürs Tempo die aktive. Genau deshalb empfehlen wir in dieser Klasse MoE-Modelle: Sie belegen den Speicher eines grossen Modells und rechnen im Tempo eines kleinen.

Die zweite Grösse ist die Speicherbandbreite, und sie erklärt eine Überraschung beim Hardwarekauf. Für jedes einzelne Wort müssen die aktiven Gewichte einmal durch den Speicher der Karte. Eine RTX 4090 liest dafür rund 1’000 GB pro Sekunde. Nvidias L4, eine verbreitete Rechenzentrumskarte mit gleich viel Speicher, kommt auf 300 GB pro Sekunde (Herstellerangaben). Für Inferenz heisst das: Die teurere Serverkarte antwortet langsamer als die Gaming-Karte. Sie ist auf 72 Watt, halbe Bauhöhe und Dauerbetrieb ausgelegt, nicht auf Bandbreite.

Solange das Modell ganz auf die Karten passt, gibt es also keinen Handel zwischen Qualität und Tempo. Der beginnt erst, wenn es nicht mehr passt, und genau das messen wir weiter unten am 284-Milliarden-Modell.

Jetzt zu Ihrer Zahl aus der zweiten Frage. Neben dem Modell belegt auch jedes laufende Gespräch Platz auf der Karte, denn das Modell muss den bisherigen Verlauf mitführen. Dieser Zwischenspeicher heisst KV-Cache?KV-CacheDer Zwischenspeicher, in dem ein Modell den bisherigen Gesprächsverlauf hält. Er wächst mit der Textlänge und mit jedem gleichzeitigen Nutzer und belegt oft mehr Grafikspeicher als das Modell selbst., und er wächst mit der Textlänge und mit jedem gleichzeitigen Nutzer.

Er erklärt, warum zwei Karten mehr bringen als eine. Auf einer einzelnen RTX 4090 belegt ein 27-Milliarden-Modell so viel Platz, dass für alle Gespräche zusammen noch etwa 15’000 Tokens bleiben, also nicht einmal eine einzige längere Anfrage. Auf zwei Karten sind es 337’000. Die zweite Karte macht das Modell nicht klüger, sie macht es betreibbar.

Gemessen mit realistischer Last, also je Anfrage 10’000 Tokens Eingabe und 2’000 Tokens Antwort:

Die mittlere Spalte zählt alle Nutzer zusammen, die rechte misst, wie schnell der Text bei einer einzelnen Person erscheint. Die beiden lassen sich nicht ineinander umrechnen, weil eine Anfrage einen Teil ihrer Zeit mit Lesen statt mit Schreiben verbringt.

Gleichzeitige Anfragen	Tokens pro Sekunde insgesamt	Je Person	Längste Wartezeit
1	65.8	74.3	3.5 s
4	169.0	59.7	13.7 s
8	240.6	51.4	27.5 s
16	301.6	39.3	55.1 s

Der Gesamtdurchsatz steigt bis zuletzt, und das Schreibtempo je Person bleibt lesbar. Was kippt, ist die längste Wartezeit: von 3.5 auf 55 Sekunden. Bei 10’000 Tokens Eingabe verbringt die Karte den grössten Teil ihrer Zeit mit dem Lesen der Anfragen, und diese Lesephasen behindern einander.

Acht gleichzeitige Anfragen verkraftet diese Maschine also gut. Bei sechzehn lässt sich keine Antwortzeit mehr zusagen. Liegt Ihre Zahl aus der zweiten Frage darunter, passt die Maschine.

Der Extremfall: 284 Milliarden Parameter

Wie weit sich das treiben lässt, zeigt der äusserste Fall. DeepSeek V4 Flash hat 284 Milliarden Parameter und 51.8 Indexpunkte, holt also gut zwei Drittel des Rückstands auf die offene Spitze auf. Läuft so ein Modell auf einer Maschine für 8’500 Franken?

Es läuft. In 10.9 GB Grafikspeicher.

Möglich macht das die Bauart in ihrer äussersten Form. Der volle Name lautet DeepSeek-V4-Flash-284B-A13B: gespeichert werden 284 Milliarden Parameter, gerechnet wird pro Wort mit 13 Milliarden. Bei einem solchen Verhältnis dürfen die selten gebrauchten Experten im billigen Arbeitsspeicher liegen, und nur die gerade benötigten wandern zur Grafikkarte. Genau dafür stehen die 128 GB Arbeitsspeicher in der Einkaufsliste.

Bezahlt wird das mit Zeit. Wir haben eine einzelne deutsche Frage gestellt und mitgestoppt: Nach 10.7 Sekunden begann das Modell zu arbeiten, sichtbar wurde das erste Zeichen nach 37.3 Sekunden, und die dreisätzige Antwort stand nach 53.9 Sekunden. Dazwischen lagen 196 Denk-Tokens, die niemand zu sehen bekommt.

Der Balken zählt herunter, und genau das ist die Erfahrung: gut eine halbe Minute vor einem leeren Bildschirm. Hier zeigt sich die Abwägung, die es bei den Modellen auf der Karte nicht gab. Dieselbe Maschine, die mit dem 35-Milliarden-Modell 104.6 Tokens pro Sekunde und Person lieferte, schreibt jetzt 7.9, und die Wartezeit steigt von 1.6 auf 37.3 Sekunden. Der Grund ist nicht die Parameterzahl an sich: Die Experten liegen im Arbeitsspeicher, und der ist um ein Vielfaches langsamer angebunden als der Speicher der Grafikkarte.

Was das für Ihr Unternehmen heisst

Für einen Betrieb mit zwanzig bis dreissig Mitarbeitenden, der Korrespondenz schreibt, Dokumente durchsucht und übersetzt, ist eine eigene Maschine machbar. Sie kostet rund 8’500 Franken, steht unter einem Schreibtisch und liefert ein Modell auf dem Niveau von GPT-5.1. Wer daneben anspruchsvoll programmieren oder Agenten über lange Ketten laufen lassen will, kauft diesen Teil weiter ein.

Braucht eine Aufgabe mehr Qualität und darf sie warten, öffnet sich der Nachtbetrieb bis hinauf zu Modellen mit 284 Milliarden Parametern. Vor einem Jahr lief ein Modell dieser Klasse nur im Rechenzentrum.

Für die Modellwahl lautet unsere Empfehlung: MoE vor Dense, weil das Verhältnis von Qualität zu Tempo dort am besten ausfällt. Heute heisst das Qwen. In ein paar Monaten heisst es etwas anderes, und dann ist dieser Absatz veraltet. Schauen Sie deshalb selbst auf die Rangliste und messen Sie den Kandidaten auf Ihren eigenen Aufgaben nach, bevor Sie sich festlegen.

Zwei Dinge zum Schluss, die in keiner Messreihe stehen. Erstens die Rechnung: Über drei Jahre muss die Maschine rund 39 Prozent der Zeit unter Volllast arbeiten, damit sie günstiger ist als Schweizer Anbieterpreise, über zwei Jahre 57 Prozent. Wie diese Zahlen zustande kommen, rechnen wir im letzten Teil dieser Serie vor. Zweitens eine Frage, an der in unseren Mandaten regelmässig ganze Vorhaben hängen: Wer betreibt die Maschine, wenn sie an einem Freitagabend nicht mehr antwortet?

Wer beides beantwortet hat, kann entscheiden. Der Grund für ein Ja liegt nach unseren Zahlen bei der Kontrolle über die Daten, kaum je beim Preis.

1. 01

   Die Aufgaben festhalten

   Zehn bis zwanzig echte Vorgänge aus Ihrem Alltag aufschreiben, mit der typischen Dokumentlänge. Ohne diese Liste lässt sich weder Modell noch Hardware sinnvoll wählen.

2. 02

   Die gleichzeitigen Anfragen schätzen

   Von der Zahl gleichzeitig aktiver Personen und ihren Denkpausen her rechnen. An dieser Zahl hängen die Grafikkarten.

3. 03

   Mit gemieteter Hardware messen

   Eine GPU-Stunde bei einem Schweizer oder europäischen Anbieter kostet wenige Franken. Erst wenn Ihre eigenen Aufgaben dort sauber laufen, lohnt sich der Kauf.

4. 04

   Den Betrieb besetzen

   Updates, Modellwechsel, Überwachung und Wiederanlauf sind wiederkehrende Arbeit. Klären Sie, wer sie übernimmt, bevor die Karten bestellt sind.

Die weiteren Teile der Serie vertiefen, was hier nur anklang: die Speicherrechnung, die Quantisierung, die Wahl der Engine und zum Schluss die Kostenfrage.

Überlegen Sie, ein Sprachmodell im eigenen Haus zu betreiben? Die erste Frage ist meist, ob die Qualität überhaupt reicht.

Die Schlagzeilen legen nahe, dass sie das tut: Offene Modelle liegen nur noch 3.4 Indexpunkte hinter der proprietären Spitze (Artificial Analysis, 12.8.2026). Diese Zahl gilt allerdings für Modelle mit Billionen von Parametern, die niemand unter den Schreibtisch stellt.

Wir haben deshalb gemessen, was auf einer Maschine für 8'450 Franken mit zwei RTX 4090 tatsächlich läuft. Das beste Modell, das ganz in die 48 GB passt, ist Qwen3.6-27B mit 37.7 Punkten, dem Niveau von GPT-5.1. Von der offenen Spitze trennen es 22 Punkte. Ein Sonderfall bleibt DeepSeek V4 Flash: als Mixture-of-Experts mit den Experten im Arbeitsspeicher erreicht es 51.8 Punkte bei 7.9 Tokens pro Sekunde, also Nachtbetrieb statt Dialog.

Unser Schluss: Für Korrespondenz, Dokumentensuche und Übersetzung im Haus reicht das heute. Anspruchsvolles Programmieren und lange agentische Ketten kaufen Sie vorerst weiter ein.

Im Beitrag stehen die Einkaufsliste, alle Messwerte und die Erklärung, warum das grössere der beiden Modelle das schnellere ist. Link in den Kommentaren.

#KI #Datensouveränität #LLM #Schweiz