> Quelle: https://souverana.ch/insights/llm-quantisierung/
> Sprache: de-CH

# LLM-Quantisierung verstehen und richtig einsetzen

Quantisierung ist der Hebel, mit dem ein grosses Modell auf bezahlbare Karten passt und schneller antwortet. Wie sie funktioniert, wie Sie selbst quantisieren, und wie Sie die Stufe finden, bei der die Qualität hält.

Technik · Veröffentlicht 14.08.2026 · Aktualisiert 14.08.2026 · Joel Barmettler

## Wie setze ich Quantisierung richtig ein?

**Quantisierung tauscht Speicher gegen Präzision: Dasselbe Modell in 4 statt 16 Bit braucht einen Drittel des Platzes, antwortet schneller und trägt mehr gleichzeitige Nutzer. In unserer Messung kostete der Schritt von 8 auf 4 Bit auf keiner von drei Aufgaben mehr als vier Prozentpunkte. Die Kunst liegt darin, die Stufe zu finden, bei der die eigene Aufgabe noch hält, denn unter 3 Bit brach das Rechnen ein.**

**Das Wichtigste in Kürze**

-   Quantisierung ist der wirksamste Hebel im ganzen Betrieb: ein Drittel Speicher, doppeltes Tempo, mehr Nutzer auf derselben Karte.
-   Starten Sie bei 4 Bit (Q4\_K\_M für llama.cpp, AWQ für vLLM). Der Schritt von 8 auf 4 Bit kostete bei uns fast nichts, und der gesparte Platz wird zu KV-Cache und damit zu gleichzeitigen Nutzern.
-   Trauen Sie dem Dateinamen nicht. Unsere 5-Bit-Datei rechnete schlechter als die 4-Bit-Datei, bei zwei unabhängigen Anbietern.
-   Messen Sie mit einer Aufgabe, die Ihrer Arbeit entspricht. Code und Mathematik sortierten die vier oberen Stufen gegenläufig.
-   Nehmen Sie eine Quantisierung nie mit einem Wissenstest ab. Wissen überlebt bis 2 Bit fast unversehrt, das Rechnen bricht lange vorher.
-   Für die Abnahme reicht ein Nachmittag: je Stufe rund eine Stunde für zwei Standard-Benchmarks gegen den eigenen Server.

Quantisierung ist der Grund, warum lokale KI auf bezahlbarer Hardware funktioniert. Im ersten Teil dieser Serie lief ein Modell auf dem Niveau von GPT-5.1 auf zwei Consumer-Karten, im zweiten wurde aus dem gesparten Speicher Platz für gleichzeitige Nutzer. Beides gibt es nur quantisiert, und wer den Mechanismus versteht, holt aus derselben Hardware eine Modellklasse mehr heraus.

Verstehen lohnt sich auch aus einem zweiten Grund. Auf Hugging Face liegen für unser 27-Milliarden-Modell dutzende fertig quantisierte Dateien, erzeugt von Dritten, mit Namen wie Q4\_K\_M oder IQ2\_XXS. Der Name nennt die Bits. Was die Datei kann, nennt er nicht, und ein zu grob quantisiertes Modell stürzt nicht ab, es antwortet einfach öfter falsch.

Dieser Beitrag zeigt deshalb beides: wie Quantisierung arbeitet, einmal selbst durchgespielt, und was sie kostet, gemessen an sieben Stufen desselben Modells auf drei Aufgaben.

Dieser dritte Teil der Serie behandelt also die Technik, die alles Bisherige erst möglich macht.

Serie · Lokale Inferenz

1.  1 [LLM selbst hosten: GPT-5-Niveau für 8'500 Franken](/insights/llm-selbst-hosten/)
2.  2 [VRAM für LLM: so rechnen Sie vor dem Kauf richtig](/insights/vram-llm/)
3.  3 LLM-Quantisierung verstehen und richtig einsetzen Sie lesen diesen Teil
4.  4 [Ollama, llama.cpp oder vLLM: die richtige Engine wählen](/insights/ollama-llamacpp-vllm/)
5.  5 [LLM selbst hosten: was es kostet und wann es sich rechnet](/insights/llm-selbst-hosten-kosten/)

## Was Quantisierung ist

Die Gewichte eines Sprachmodells sind Milliarden von Kommazahlen, gespeichert in 16 Bit je Zahl. Quantisierung? speichert dieselben Zahlen gröber, mit 8, 4 oder noch weniger Bits. Ein 27-Milliarden-Modell schrumpft so im Speicher von 57 auf rund 19 GB und passt damit überhaupt erst auf bezahlbare Karten.

Stumpfes Runden würde das Modell zerstören, denn mit 4 Bit lassen sich nur 16 verschiedene Werte darstellen. Der Trick ist, in kleinen Gruppen zu arbeiten: Die Gewichte werden in Blöcke von 32 Zahlen geteilt, jeder Block speichert einen fein aufgelösten Massstab, und jede Zahl nur noch, wo sie auf diesem Massstab liegt. Weil benachbarte Gewichte ähnliche Grössenordnungen haben, funktioniert das erstaunlich gut, und der Verlust je Zahl bleibt klein.

Wie viel Verlust am Ende bei den Antworten ankommt, entscheidet sich woanders: bei der Frage, **welche Schichten wie viele Bits bekommen**. Das lässt sich am besten vorführen.

## Quantisieren Sie einmal selbst

Der ganze Vorgang besteht aus zwei Kommandos und braucht keine GPU. Wir haben ihn für ein kleines Modell auf unserer Maschine durchgespielt:

```
# 1. Originalgewichte in das GGUF-Format überführen, volle Präzision
docker run --rm -v ~/.cache/huggingface/hub:/hub -v $PWD:/out   ghcr.io/ggml-org/llama.cpp:full   --convert /hub/models--Qwen--Qwen3.5-0.8B/snapshots/<hash>   --outfile /out/f16.gguf --outtype f16

# 2. Auf 4 Bit quantisieren
docker run --rm -v $PWD:/out ghcr.io/ggml-org/llama.cpp:full   --quantize /out/f16.gguf /out/q4_k_m.gguf Q4_K_M
```

Der erste Schritt dauerte 6 Sekunden, der zweite 3.5. Aus 1’475 MB wurden 506.

Interessanter als das Ergebnis ist das Protokoll. Das Werkzeug entscheidet je Schicht, wie grob sie werden darf:

```
token_embd.weight      f16 -> q6_K   485.0 MB -> 198.9 MB
blk.0.attn_qkv.weight  f16 -> q6_K    12.0 MB ->   4.9 MB
blk.0.ffn_gate.weight  f16 -> q4_K     7.0 MB ->   2.0 MB
output_norm.weight     f32  (bleibt unangetastet)
```

Das Embedding und die Attention bekommen 6 Bit, die Feed-Forward-Masse 4 Bit, und die Normierungen bleiben in voller Präzision. Deshalb steht im Log auch **5.50 Bits je Gewicht** für eine Datei, die «Q4» heisst: Der Name nennt das Budget, die Verteilung über die Schichten entscheidet der Autor des Werkzeugs. Merken Sie sich diesen Satz, er erklärt gleich einen Messbefund.

## Die Formate: GGUF, AWQ und die anderen

Quantisierte Dateien begegnen Ihnen in mehreren Formaten, und die Wahl folgt der Engine, mit der Sie hosten:

| Format | Kalibrierung | Wo es läuft |
| --- | --- | --- |
| GGUF Q8\_0, Q6\_K, Q5\_K\_M, Q4\_K\_M | keine | llama.cpp, Ollama |
| GGUF IQ-Stufen (IQ2\_XXS …) | meist mit Kalibrierdaten | llama.cpp, unter 3 Bit |
| AWQ | Kalibrierdaten | vLLM, SGLang |
| GPTQ | Kalibrierdaten | vLLM, älterer Standard |
| bitsandbytes (NF4) | keine, quantisiert beim Laden | transformers, Fine-Tuning |
| FP8 | keine, echtes Zahlenformat | vLLM, oft direkt vom Hersteller |

Zum Lesen der GGUF-Namen: Die Zahl nennt das grobe Bit-Budget, das K steht für die eben gezeigte Mischtechnik, der Buchstabe am Ende (S, M, L) für deren Varianten. IQ-Stufen komprimieren unter 3 Bit und stützen sich dafür meist auf eine Wichtigkeitsmatrix aus Kalibrierdaten.

**AWQ** und **GPTQ** gehen einen Schritt weiter als GGUF: Sie schicken beim Quantisieren Beispieldaten durch das Modell und schützen gezielt die Gewichte, die für die Ausgaben am wichtigsten sind. **bitsandbytes** quantisiert erst beim Laden und erzeugt gar keine Datei, bequem für Experimente und Fine-Tuning, für den Betrieb zweitrangig. **FP8** schliesslich ist keine Kompressionstechnik, sondern ein echtes 8-Bit-Zahlenformat, das neuere Karten direkt rechnen können; Hersteller wie Qwen liefern manche Modelle offiziell so aus.

Ob die Formatwahl die Qualität beeinflusst, haben wir mitgemessen, dazu unten.

## Sieben Stufen, drei Aufgaben

Gemessen haben wir Qwen3.6-27B mit llama.cpp auf einer bzw. zwei RTX 4090 (die grössten Stufen passen auf keine einzelne Karte), jede Stufe mit denselben drei Prüfungen: Rechenaufgaben in Textform (GSM8K), Programmieraufgaben mit ausführbarer Lösung (MBPP) und deutsche Wissensfragen (Global-MMLU). Je 200 Fragen, beim deutschen Wissen 100; angegeben ist der Anteil richtiger Antworten. Unterschiede unter etwa 7 Punkten (Deutsch: 10) sind bei diesen Stichproben nicht belastbar.

| Stufe | Datei | Rechnen | Programmieren | Deutsches Wissen |
| --- | --- | --- | --- | --- |
| Q8\_0 | 29.0 GB | 70 % | 64 % | 84 % |
| Q6\_K | 22.9 GB | 68 % | 59 % | 84 % |
| Q5\_K\_M | 19.8 GB | **45 %** | 68 % | 83 % |
| Q4\_K\_M | 17.1 GB | 66 % | **74 %** | 82 % |
| Q3\_K\_M | 13.8 GB | 47 % | **74 %** | 83 % |
| Q2\_K\_XL | 12.0 GB | 30 % | 47 % | 80 % |
| IQ2\_XXS | 9.6 GB | **12 %** | 33 % | **72 %** |

Drei Befunde stecken in dieser Tabelle, und jeder widerspricht einer verbreiteten Annahme.

**Von 8 auf 4 Bit passiert fast nichts.** Beim Rechnen vier Punkte, beim Deutschen zwei, beim Programmieren wird die kleinere Datei sogar besser. Dafür schrumpft die Datei von 29 auf 17 GB, und der gesparte Platz wird auf der Karte zu KV-Cache, also zu gleichzeitigen Nutzern.

**Die Klippe liegt zwischen 3 und 2 Bit.** Q3\_K\_M programmiert noch exakt so gut wie Q4\_K\_M und verliert beim Rechnen bereits ein Drittel. Ab Q2 fällt alles: IQ2\_XXS löst beim Rechnen noch 12 Prozent der Aufgaben, also fast keine.

**Und das Modell stürzt dabei nie ab.** Warum der Absturz trotzdem niemandem auffällt, der nur Antworten überfliegt, ist der wichtigste Befund der Messreihe, dazu gleich mehr.

Diese Leiter stammt von einem einzigen Modell. Ob die Klippe bei anderen Modellen an derselben Stelle liegt, haben wir nicht gemessen; wo sie bei Ihrem liegt, findet nur die eigene Messung heraus.

## Eine grössere Datei kann schlechter antworten

Der Ausreisser in der Tabelle ist Q5\_K\_M: 45 Prozent beim Rechnen, zwanzig Punkte unter der kleineren Q4\_K\_M-Datei. Ein solcher Wert ist normalerweise ein Messfehler, deshalb haben wir kontrolliert: drei unabhängige Läufe derselben Datei (45, 44, 47 Prozent), danach dieselbe Stufe von einem zweiten Anbieter (51 Prozent). Kein kaputter Download. Diese Stufe ist für dieses Modell bei zwei Anbietern schlechter als die Stufe darunter.

Die Ursache können wir nicht beweisen, aber Sie haben den Mechanismus oben im Quantize-Log gesehen: Der Name nennt das Bit-Budget, die Verteilung über die Schichten wählt das Werkzeug. Unser Modell ist ein Hybrid mit rekurrenten Schichten, und vermutlich trifft die Q5-Mischung genau diese ungünstig.

Was daraus folgt

Wer eine Quantisierung herunterlädt, lädt die Arbeit eines Dritten. Ob dessen Bit-Mischung Ihr Modell gut behandelt, steht weder im Dateinamen noch in der Modellkarte. Es gibt einen einzigen Weg, es herauszufinden, und der steht am Ende dieses Beitrags.

## Code und Mathematik sortieren dieselben Dateien gegenläufig

Lesen Sie die Tabelle einmal nur mit der Rechnen-Spalte und einmal nur mit der Programmieren-Spalte. Beim Rechnen gewinnt die grösste Datei (70 Prozent), beim Programmieren die viertkleinste (74 Prozent), und die zweitgrösste liegt dort mit 59 Prozent hinter jeder Datei bis hinunter zu 3 Bit.

Wer nur den Mathematiktest gefahren hätte, hätte Q8\_0 gekauft und beim Programmieren zehn Punkte auf die beste Datei liegen gelassen. Wer nur den Codetest gefahren hätte, hätte Q3\_K\_M genommen und beim Rechnen ein Drittel verloren.

Deshalb taugt kein einzelner Benchmark als Freigabe. Es braucht zwei bis drei, und sie müssen der eigenen Aufgabe entsprechen: Wer Code erzeugen lässt, misst Code. Wer deutsche Fachfragen beantwortet, misst deutsche Fachfragen. Ein fremder Benchmark auf einer fremden Aufgabe beantwortet die eigene Frage nicht.

## Wissen überlebt, Rechnen nicht

Die deutsche Spalte verhält sich über die ganze Leiter anders als die beiden anderen, und das ist der wichtigste Befund der Messreihe:

|  | Q8\_0 | IQ2\_XXS | Verlust |
| --- | --- | --- | --- |
| Rechnen | 70 % | 12 % | auf ein Sechstel |
| Programmieren | 64 % | 33 % | fast halbiert |
| Deutsches Wissen | 84 % | 72 % | **12 Punkte (14 Prozent)** |

Von 8 auf 2 Bit verliert das Modell fast seine gesamte Rechenfähigkeit und behält fast sein gesamtes Wissen. Ein zu stark quantisiertes Modell weiss weiterhin, was das revidierte Datenschutzgesetz ist, formuliert weiterhin sauber, und hängt keine drei Denkschritte mehr korrekt aneinander.

Für die Abnahme heisst das: **Ein Wissenstest gibt ein Modell frei, das nicht mehr denken kann.** Wer prüft, ob eine Quantisierung taugt, muss sie rechnen oder mehrstufig arbeiten lassen, denn dort bricht sie zuerst.

## «Nativ» ist kein Qualitätsversprechen

Neben den Community-Dateien bieten manche Hersteller eigene quantisierte Fassungen an. Qwen liefert das 27-Milliarden-Modell offiziell in FP8, also mit 8 Bit je Parameter, vom Hersteller selbst erzeugt. Das klingt nach der sicheren Wahl gegenüber einer 4-Bit-Datei aus der Community.

Gemessen hat die Community auf zwei Achsen gewonnen und auf der dritten gleichgezogen:

|  | AWQ (Community, 4 Bit) | FP8 (Hersteller, 8 Bit) |
| --- | --- | --- |
| Speicher je Karte | 9.7 GB | 14.5 GB |
| Tempo bei einem Nutzer | 65.9 Tok/s | 30.3 Tok/s |
| Rechnen | 65 % | 62 % |

Doppelt so viele Bits, halbes Tempo, anderthalbfacher Speicher, und der Qualitätsunterschied liegt innerhalb des Messfehlers. Woran das Tempo-Gefälle im Einzelnen liegt, haben wir nicht isoliert; es dürfte an den 4-Bit-Kernels der Engine hängen, die auf unseren RTX 4090 besonders schnell sind. Auf einer anderen Kartengeneration kann dieselbe Wahl anders ausgehen.

Nebenbei liefert dieser Vergleich die Quervalidierung für die ganze Messreihe: AWQ unter vLLM (65 Prozent) und Q4\_K\_M unter llama.cpp (66 Prozent) sind zwei verschiedene 4-Bit-Verfahren auf zwei verschiedenen Engines, und sie landen beim selben Wert. Die Messung selbst ist stabil; umso auffälliger bleibt der Q5-Ausreisser.

Beim Einkauf gilt dieselbe Vorsicht in der Gegenrichtung: [Hoster↗](/insights/souveraene-ki-infrastruktur/) betreiben unter dem Namen eines Modells oft eine still quantisierte Fassung. Was das für den Preisvergleich bedeutet, steht im [Beitrag zu den LLM-Kosten](/insights/llm-kosten/).

## So messen Sie selbst

Fertige Benchmarks reichen, wenn sie zur Aufgabe passen. Dazu kommt das [lm-evaluation-harness](https://github.com/EleutherAI/lm-evaluation-harness) von EleutherAI, das gegen OpenAI-kompatible Server misst, also auch gegen Ihren eigenen. Mit zwei Tests à 200 Fragen kostet eine Stufe rund eine Stunde, die ganze Abnahme über drei Stufen einen Nachmittag.

1.  01
    
    Zwei bis drei Benchmarks wählen, die zur Aufgabe passen
    
    Für Code MBPP oder HumanEval, für Rechnen und mehrstufiges Arbeiten GSM8K, für deutsches Fachwissen Global-MMLU. Mindestens einer davon muss Denken prüfen, nicht Wissen.
    
2.  02
    
    Mit 200 Fragen je Test fahren
    
    Das begrenzt den Standardfehler auf rund 3.5 Punkte: gut genug für 20-Punkte-Ausreisser wie unseren, zu grob für Feinvergleiche. Für die Wahl zwischen zwei Stufen reicht es.
    
3.  03
    
    Die Kandidaten-Stufen durchmessen, gleiche Einstellungen
    
    Q4\_K\_M als Startpunkt, dazu die Stufe darüber und darunter. Ändern Sie zwischen den Läufen nichts ausser der Datei, sonst geht jede Differenz auf die Einstellungen zurück.
    
4.  04
    
    Bei jedem Wechsel neu messen
    
    Neue Modellversion, neuer Anbieter der Quantisierung, neue Engine-Version: derselbe Durchgang noch einmal. Der Q5-Fall zeigt, dass sich das nicht vorhersagen lässt.
    

Zwei Fallen haben uns dabei je einen Fehlversuch gekostet, beide erzeugen falsche Zahlen ohne Fehlermeldung. Code-Benchmarks führen den erzeugten Code aus und brauchen dafür zwei ausdrückliche Freigaben; fehlt eine davon, läuft der Test scheinbar durch und liefert eine leere Tabelle. Und ein Reasoning-Modell verbraucht sein Antwortbudget unsichtbar im Denkteil: Ohne abgeschaltetes Reasoning steht am Ende exakt 0.0, was wie ein kaputtes Modell aussieht und ein falsch konfigurierter Messaufbau ist. Die Kommandos, die beide Fallen umgehen, stehen im Anhang.

Sie wollen Modell und Quantisierung für Ihren Fall belastbar prüfen lassen?

[KI-Architektur & Lösungsauswahl](/leistungen/ki-architektur/)

Mit der Quantisierung ist das Modell gewählt und geprüft. Welche Software es ausliefert, klärt der vierte Teil der Serie, und der fünfte rechnet aus, was der ganze Aufbau kostet.

Der Autor

![Porträt von Joel Barmettler](/_astro/joel-barmettler.CGKHGWrV_sJ0IG.webp)

Joel Barmettler

KI-Architekt · Souverana, Zürich

Joel Barmettler begleitet Schweizer Unternehmen von der KI-Strategie bis zur Integration: souverän, vertraulich und produktionsreif. Er hat den Swiss AI Hub als Architekt aufgebaut und trägt heute Mitverantwortung für dessen Architektur; jedes Souverana-Mandat führt er persönlich. Mandate vom Einzelunternehmen bis zum Fortune-500-Konzern.

[Erstgespräch buchen](https://meet.brevo.com/joel-barmettler/30-minute-meeting) [Mehr über Souverana](/) [LinkedIn](https://www.linkedin.com/in/joel-barmettler-b9ab361b7)

Für die Geschäftsleitung

## Dieses Dossier als PDF

Den vollständigen Beitrag plus eine kompakte Management-Zusammenfassung und Checkliste, als PDF zum Speichern und Weiterleiten.

Sie erhalten das PDF sofort. Mit dem Absenden stimmen Sie zu, dass Souverana Sie zu diesem Thema kontaktieren darf. Verarbeitung in der Schweiz/EU, keine Weitergabe an Dritte, Widerruf jederzeit (revDSG).

## Häufige Fragen

Welche Quantisierung soll ich für ein lokales LLM wählen?

4 Bit ist der Standard, mit dem Sie starten sollten: Q4\_K\_M für llama.cpp, AWQ für vLLM. In unserer Messung kostete der Schritt von 8 auf 4 Bit auf keiner der drei Aufgaben mehr als vier Prozentpunkte, sparte aber 41 Prozent des Speichers. Unter 3 Bit brach die Rechenfähigkeit ein.

Verliert ein Modell durch Quantisierung an Qualität?

Je nach Aufgabe verschieden stark. Zwischen 8 und 4 Bit lagen in unserer Messung nur wenige Prozentpunkte, teils war die kleinere Datei besser. Ab 2 Bit fiel die Rechenfähigkeit auf ein Sechstel, während deutsches Fachwissen 14 Prozent verlor. Das Modell wirkt dann weiterhin kompetent und rechnet trotzdem falsch.

Was bedeutet Q4\_K\_M?

Eine GGUF-Quantisierungsstufe für llama.cpp: rund 4 Bit je Parameter, wobei die K-Verfahren wichtige Schichten genauer speichern als unwichtige. Die Buchstaben dahinter (S, M, L) bezeichnen Varianten dieser Mischung. Welche Mischung eine Aufgabe trifft, sieht man dem Dateinamen nicht an.

Ist AWQ besser als GGUF?

Bei gleicher Bitzahl lagen beide in unserer Messung gleichauf: AWQ unter vLLM erreichte 65 Prozent auf dem Mathematiktest, Q4\_K\_M unter llama.cpp 66. Die Wahl folgt der Engine, nicht der Qualität: GGUF gehört zu llama.cpp und Ollama, AWQ zu vLLM.

Wie prüfe ich, ob eine Quantisierung für meine Aufgabe reicht?

Mit zwei bis drei Standard-Benchmarks, die Ihrer Aufgabe entsprechen, gefahren mit dem lm-evaluation-harness gegen den eigenen Server. Mit 200 Fragen je Test dauert das etwa eine Stunde je Stufe. Wichtig ist ein Test, der Rechnen oder mehrstufiges Arbeiten prüft, denn genau das bricht zuerst.

LinkedIn

## Diesen Beitrag teilen

Fertig formatierte Grafiken und ein Textvorschlag für Ihren LinkedIn-Post: herunterladen, kopieren, posten.

![Liniendiagramm über sieben Quantisierungsstufen von Q8\_0 bis IQ2\_XXS, Qwen3.6-27B: Deutsches Wissen fällt von 84 auf 72 Prozent richtiger Antworten, Programmieren und Rechnen brechen unter 3 Bit ein, Rechnen auf ein Sechstel des Ausgangswerts.](/media/llm-quantisierung/infografik.png)

[Infografik herunterladen (PNG)](/media/llm-quantisierung/infografik.png)

Textvorschlag

Wollen Sie ein grösseres Modell auf Ihre Grafikkarte bringen? Dann führt der Weg über Quantisierung.

Sie ist der Grund, warum ein Modell mit 29 GB plötzlich in 9.6 GB passt und damit auf Hardware läuft, die im eigenen Haus stehen kann. Die Frage ist, was dabei verloren geht.

Wir haben dasselbe Modell über sieben Stufen vermessen, mit drei Prüfungen (lm-eval-harness). Von 8 auf 2 Bit verliert deutsches Fachwissen 12 von 84 Punkten, Rechnen fällt auf ein Sechstel. Und der Dateiname allein genügt nicht: Unsere 5-Bit-Datei rechnete schlechter als die 4-Bit-Datei, bei zwei unabhängigen Anbietern.

Unser Schluss: Ein zu stark quantisiertes Modell klingt weiter kompetent, weil das Wissen zuletzt stirbt. Es rechnet nur nicht mehr zuverlässig. Messen Sie die gewählte Stufe deshalb an Ihrer eigenen Aufgabe, eine Stunde je Stufe genügt.

Im Beitrag stehen die ganze Messreihe, der Unterschied zwischen GGUF, AWQ und FP8 sowie eine Anleitung, wie Sie ein Modell selbst quantisieren. Link in den Kommentaren.

#KI #LLM #Quantisierung #Schweiz