GGUF Quantisierung: Definition und Bedeutung

GGUF Quantisierung reduziert die Gewichte eines Sprachmodells von 16 oder 32 Bit auf 2 bis 8 Bit. Das Modell schrumpft dabei auf einen Bruchteil seiner Größe und läuft auf normaler Hardware. Kürzel wie Q4_K_M, Q5_K_M, Q6_K oder Q8_0 stehen für die jeweilige Stufe: Die Zahl nennt die Bitbreite, der Buchstabe dahinter die Feinabstimmung.

Wer ein Modell auf Hugging Face herunterlädt, steht vor genau dieser Liste. Zehn Dateien, alle mit demselben Modellnamen, alle unterschiedlich groß. Die Frage ist immer dieselbe: Welche nehme ich? Diese Seite gibt eine Antwort, ordnet Q6_K ein und erklärt, was die Unsloth Dynamic Quants mit dem Kürzel UD anders machen als der Standard.

Never Code Alone betreibt KI Inferenz seit Jahren auf eigenen Servern in Deutschland. Ollama mit Qwen3 Coder und Llama läuft bei uns täglich, llama.cpp bildet den technischen Unterbau. Wir kennen die Stolperfallen aus der Praxis: zu große Quants, die in den Swap laufen, zu kleine Quants, die beim Tool Calling aussteigen, und Modelle, die nur deshalb schlecht antworten, weil das Chat Template kaputt ist. Diese Erfahrung fließt in jede Empfehlung ein.

Wir begleiten Teams beim Vibe Coding Consulting, von der Auswahl der Modelle bis zur produktionsreifen Integration. Welches Modell zum Anwendungsfall passt, klären wir im Vergleich der KI Modelle und im Guide welches KI Modell ohne US Anbieter. Für den lokalen Betrieb bauen wir Setups mit Ollama und llama.cpp auf, für Teams ohne Terminal Affinität mit LM Studio. Wer den Einstieg sucht, findet ihn bei Vibe Coding lernen.

Ein Modell besteht aus Milliarden Zahlen. Im Original sind das 16 Bit Gleitkommazahlen. Quantisierung rundet diese Zahlen auf weniger Bits. Aus 16 Bit werden 4, das Modell wird viermal kleiner. Der Preis ist Präzision. Wie viel davon verloren geht, hängt vom Verfahren ab.

Die Kürzel lesen sich nach einem festen Muster:

• Q steht für quantisiert.
• Die Zahl nennt die durchschnittliche Bitbreite: Q4 sind rund vier Bit pro Gewicht, Q6 rund sechs.
• K markiert die K Quants. Sie arbeiten in Blöcken und geben wichtigen Matrizen mehr Bits als unwichtigen. Deshalb liefert Q4_K_M bessere Ergebnisse als ein naives Vier Bit Verfahren bei gleicher Größe.
• S, M, L stehen für Small, Medium und Large innerhalb einer Stufe. Q4_K_M gibt einzelnen Tensoren mehr Präzision als Q4_K_S.
• Q8_0 und Q4_0 ohne K sind ältere, gleichmäßige Verfahren. Q8_0 gilt praktisch als verlustfrei, kostet aber viel Platz.
• IQ bezeichnet die Importance Matrix Quants. Sie nutzen einen Kalibrierungsdatensatz und funktionieren besonders unterhalb von vier Bit.

Das Format selbst heißt GGUF und stammt aus dem llama.cpp Projekt. Es steckt in praktisch jedem lokalen Werkzeug: Ollama, LM Studio, Open WebUI und Unsloth Studio. Auch vLLM kann GGUF laden, arbeitet für Serving aber meist mit anderen Formaten.

In der Praxis reduziert sich die Auswahl auf vier Stufen. Alles darunter ist ein Kompromiss für knappen Speicher, alles darüber verschwendet Platz. Die Tabelle ordnet die Stufen nach Größe und Einsatzzweck.

Qualität und Größe wachsen nicht im gleichen Takt. Von Q4 auf Q5 gewinnt man wenig, von Q5 auf Q6 noch weniger. Über Q6_K hinaus passiert fast nichts mehr, der Speicherbedarf steigt aber weiter deutlich.

Unsloth hat das für Gemma 3 mit 27 Milliarden Parametern durchgemessen und alle Stufen gegen dieselbe MMLU Implementierung laufen lassen. Das Ergebnis ist eine flache Kurve am oberen Ende. Q6_K liegt an der Spitze, Q8_0 fällt sogar minimal zurück und kostet dabei sechs Gigabyte mehr.

Bei Unsloth tauchen auf Hugging Face Dateien mit dem Präfix UD und dem Zusatz XL auf: UD-Q4_K_XL, UD-Q3_K_XL, UD-Q2_K_XL. UD steht für Unsloth Dynamic. Der Ansatz dahinter ist einfach zu erklären.

Nicht jede Schicht eines Modells reagiert gleich empfindlich auf Präzisionsverlust. Embeddings und die Aufmerksamkeitsschichten am Anfang und Ende tragen Struktur, die der Rest braucht. Wer sie hart quantisiert, verliert schnell Qualität. Die Feed Forward Schichten in der Mitte vertragen deutlich mehr Kompression. Standardverfahren behandeln trotzdem alle Schichten weitgehend gleich.

Dynamic 2.0 misst die Empfindlichkeit pro Schicht und vergibt die Bits entsprechend. Empfindliche Schichten bleiben hoch, robuste fallen tiefer. Jedes Modell bekommt dabei ein eigenes Schema, die Schichtauswahl bei Gemma unterscheidet sich von der bei Llama. Dazu kommt ein handkuratierter Kalibrierungsdatensatz mit Chat und Tool Calling Beispielen statt reinem Wikipedia Text.

Der praktische Effekt: Eine UD-Q4_K_XL Datei ist oft kleiner als das gleichnamige Q4_K_M und liefert trotzdem bessere Werte. In der Gemma Messung oben schlägt UD-Q4_K_XL das Standard Q4_K_M bei nahezu identischer Größe. Ein direkter Größenvergleich zwischen UD und den llama.cpp Standardstufen führt deshalb in die Irre.

Unsloth misst dabei bewusst nicht nur Perplexität. Die Begründung stammt aus der Forschung: Perplexität kann stabil bleiben, während einzelne Antworten von richtig auf falsch kippen. Fehler heben sich im Mittel auf. KL Divergenz gegen das Originalmodell fängt genau diese Kipppunkte ein und ist deshalb der ehrlichere Messwert.

Die Faustregel ist unspektakulär: Nimm die größte Stufe, die vollständig in deinen Grafikspeicher passt. Ein Modell, das zur Hälfte im Arbeitsspeicher liegt, wird langsam. Ein kleineres Modell in Q6_K schlägt fast immer ein größeres Modell, das nicht mehr auf die Karte passt.

Konkret hat sich das so eingespielt:

• Speicher knapp: UD-Q4_K_XL, sonst Q4_K_M. Darunter wird es merklich schlechter, vor allem beim Tool Calling.
• Etwas Luft: Q5_K_M als Zwischenschritt, wenn Q6_K nicht mehr passt.
• Genug Speicher: Q6_K. Für Code, Refactoring und agentische Abläufe die vernünftige Obergrenze.
• Q8_0: nur, wenn du einen Referenzlauf gegen die volle Präzision brauchst.

Ein zweiter Punkt wird oft übersehen: Ein kaputtes Chat Template kostet mehr Qualität als zwei Quantisierungsstufen. Wenn ein Modell im lokalen Betrieb schlechter antwortet als erwartet, lohnt der Blick auf Template und Parameter, bevor man eine größere Datei herunterlädt. Wie du Ollama sauber aktuell hältst, steht bei den Ollama Update Befehlen. Wer Hardware vor dem Kauf ausprobieren will, findet Optionen bei RunPod.

Hier liegt das häufigste Missverständnis. Quantisierung senkt den Speicherbedarf drastisch, aber sie verkleinert kein Modell mit 700 Milliarden Parametern auf Arbeitsplatzgröße. Ein Coding Modell dieser Klasse braucht auch in vier Bit weit über hundert Gigabyte. Eine Maschine dafür kostet ein kleines Vermögen und amortisiert sich in keinem realistischen Szenario.

Unsere Regel dazu lautet: Coding aus der Cloud, Datenverarbeitung im eigenen Netz. Große Modelle für Code laufen über souveräne europäische Anbieter oder gehostete Inferenz. Der lokale Teil bleibt die Datenverarbeitung. Modelle, die nicht auf eigener Infrastruktur laufen, arbeiten bei uns ausschließlich gegen lokale Entwicklungsumgebungen mit Testdaten, nie gegen echte Daten.

Für den eigenen Server ist die Quantisierungsfrage trotzdem zentral, nur bei anderen Modellgrößen: Qwen3 Coder, Llama und vergleichbare Modelle bis in den mittleren zweistelligen Milliardenbereich laufen sauber über Ollama. Genau dort entscheidet die Wahl zwischen Q4 und Q6 über Qualität und Geschwindigkeit. Warum sich das wirtschaftlich rechnet, ordnet der Beitrag zu lokaler KI als ROI Treiber ein, die rechtliche Seite der Beitrag zu lokaler KI für Compliance. Als europäische Optionen für gehostete Inferenz arbeiten wir mit Conversis Duisburg und TensorX.

Bei aller Sympathie für saubere Messungen: Benchmarkwerte sind ein grobes Signal, kein Urteil. Unsloth weist selbst darauf hin, dass niedrigere Perplexität und bessere KL Divergenz nicht automatisch bessere Ergebnisse in echten Aufgaben bedeuten. Es gibt dokumentierte Fälle, in denen eine deutlich kleinere Datei bei Coding und Reasoning Aufgaben vorn liegt, obwohl die klassischen Kennzahlen das Gegenteil nahelegen.

Dazu kommt: Die Schemata sind modellspezifisch. Was bei einem Modell gilt, gilt beim nächsten nicht zwangsläufig. Und die Werte veralten schnell, weil Quantisierungsalgorithmen und Kalibrierungsdaten laufend nachgeschärft werden. Wer verlässlich entscheiden will, testet zwei Stufen an der eigenen Aufgabe. Ein halber Tag Vergleich schlägt jede Tabelle.

Eine Lizenzanmerkung noch: Die Modellgewichte tragen die Lizenz des jeweiligen Herstellers, unabhängig davon, wer sie quantisiert hat. Bei kommerziellem Einsatz zählt diese Lizenz, nicht die des Werkzeugs. Bei Qwen und Kimi lohnt der Blick ins Kleingedruckte.

Wir arbeiten seit Jahren mit lokalen Modellen und haben dabei gelernt, dass die Quantisierungsstufe selten das eigentliche Problem ist. Meistens hakt es an Kontextlänge, Template oder Erwartungshaltung. Ein Modell mit acht Milliarden Parametern wird durch Q8_0 kein Frontier Modell. Diese Ehrlichkeit gehört zur Beratung dazu.

Vertiefen kannst du das Thema an mehreren Stellen: LLM lokal auf dem Smartphone zeigt, wie weit Kompression auf kleiner Hardware trägt. Embedding Modelle für RAG behandelt den zweiten Modelltyp im lokalen Stack. Ubuntu 26 mit lokaler KI beschreibt den Unterbau, Groq die Gegenrichtung über spezialisierte Hardware.

Für die Modellauswahl selbst lohnt der Vergleich der Vibe Coding Modelle mit Praxisanalysen zu DeepSeek und dem souveränen deutschen Modell Soofi S. Welche Werkzeuge in unseren Stack gehören und welche wir nur einordnen, steht in den Top 10 Vibe Coding Tools.

Die Fragen, die im Beratungsalltag rund um Quantisierungsstufen, Unsloth Dynamic Quants und lokale Modelle immer wieder auftauchen.