Was ist Mistral Small?

Mistral Small ist die mittlere Modellreihe des französischen KI Unternehmens Mistral AI und das typische Arbeitsmodell für wiederkehrende Aufgaben in Workflows. Die Gewichte stehen unter der Lizenz Apache 2.0 offen zur Verfügung, ihr dürft sie also herunterladen, anpassen und kommerziell nutzen. Das Modell versteht Text und Bilder, ruft Werkzeuge auf und arbeitet in über zwanzig Sprachen, Deutsch eingeschlossen.

Die aktuelle Generation führt zusammen, was Mistral vorher auf drei Modellreihen verteilt hatte: Reasoning, Bildverständnis und agentisches Coding in einem Modell. Der Name täuscht. Mistral Small ist ein Mixture of Experts Modell mit 119 Milliarden Parametern, von denen pro Token nur rund sechs Milliarden aktiv sind. Quelle sind die Ankündigung von Mistral AI und die Modellkarte auf Hugging Face.

Für Teams, die ein Modell auf einer einzelnen GPU brauchen, bleibt die vorige Generation mit 24 Milliarden Parametern interessant. Wer noch kleiner will, greift zur Modellfamilie Ministral.

Wir bauen täglich n8n Workflows, in denen KI Modelle wiederkehrende Aufgaben übernehmen: Anfragen klassifizieren, Dokumente zusammenfassen, Felder extrahieren, Entwürfe schreiben. Mistral Small hat genau dort Stärken, und wir helfen Teams, es gegen kleinere und größere Modelle einzuordnen. Für den Betrieb kommen ein Hoster in Deutschland oder europäische Inferenz Anbieter wie TensorX infrage, als Enterprise Option für gehostete Inferenz mit DSGVO Fokus auch unser Netzwerkpartner Conversis in Duisburg.

Dazu gehören Self Hosted KI für Unternehmen, KI Assistenten selbst hosten, die NCA MCP Middleware für Unternehmensdaten und die DSGVO Beratung für KI Projekte.

Laut Modellkarte bringt die aktuelle Generation diese Eigenschaften mit:

• Text und Bild: Das Modell versteht Fotos, Screenshots und Dokumente als Eingabe und antwortet mit Text.
• Reasoning auf Wunsch: Ein Schalter entscheidet, ob das Modell vor der Antwort in Zwischenschritten nachdenkt oder direkt antwortet. Für einfache Klassifikation bleibt der Schalter aus, das spart Zeit und Kosten.
• Tool Calling: Mistral Small ruft Werkzeuge strukturiert auf und eignet sich damit für Agenten und MCP Server.
• Langer Kontext: Rund 256.000 Tokens, genug für lange Dokumente oder ganze Mailverläufe in einem Durchgang.
• Offene Gewichte: Lizenz Apache 2.0, ohne Einschränkungen für kommerzielle Nutzung.

Mistral betont für die aktuelle Generation vor allem den Durchsatz: deutlich mehr Anfragen pro Sekunde und kürzere Antwortzeiten als die Vorgänger. Für Workflows, in denen viele kleine Aufgaben nacheinander laufen, ist das wichtiger als der letzte Punkt in einem Benchmark.

Die aktuelle Generation ist ein Mixture of Experts Modell. Es besteht aus vielen Teilnetzen, und ein Router wählt für jedes Token nur wenige davon aus. Von 119 Milliarden Parametern arbeiten so pro Token nur rund sechs Milliarden. Das macht Antworten schnell und günstig im Betrieb. Im Speicher liegen müssen trotzdem alle Gewichte, in voller Präzision sind das rund 240 Gigabyte.

Kurz gesagt: Mistral Small 4 gehört auf einen GPU Server bei einem Hoster oder zu einem europäischen API Anbieter, nicht auf den Laptop. Mit Quantisierung schrumpft der Bedarf deutlich, wie das geht, erklärt unsere Seite zur GGUF Quantisierung.

Die vorige Generation mit 24 Milliarden Parametern ist ein dichtes Modell und läuft quantisiert auf einer einzelnen GPU mit 24 Gigabyte Speicher. Für viele Teams ist das die praktischere Wahl, wenn das Modell auf einer Workstation oder einem Server bei einem Hoster in Deutschland laufen soll. Ausgeliefert wird in beiden Fällen über vLLM, llama.cpp oder Ollama.

Mistral Small ist von Haus aus ein Allzweckmodell. Zur domänenspezifischen KI wird es durch die Art, wie ihr es einsetzt. Drei Wege haben sich bewährt:

• Enge Aufgabe, fester Prompt: Das Modell bekommt genau eine Aufgabe, ein festes Ausgabeformat und Beispiele. Für Klassifikation und Extraktion reicht das meistens.
• Eigene Daten per RAG: Das Modell antwortet nur auf Basis eurer Dokumente. Welche Embedding Modelle dafür taugen, steht bei Embedding Modelle für RAG.
• Feinabstimmung: Für wiederkehrende Fachaufgaben mit vielen Beispielen lässt sich das Modell nachtrainieren. Werkzeuge dafür zeigt unsere Seite zu Unsloth.

In einem n8n Workflow sitzt Mistral Small dann als ein Schritt zwischen Eingang und Ausgang: Mail kommt rein, Modell sortiert und zieht die Felder, Workflow legt den Vorgang im CRM an, ein Mensch gibt frei. Was ein Foundation Model davon unterscheidet, erklärt unser Eintrag zum Foundation Model.

Mistral Small passt gut, wenn diese Punkte auf euch zutreffen:

• Ihr habt wiederkehrende Aufgaben mit klarem Ein und Ausgabeformat.
• Eure Daten sollen in Europa bleiben, bei einem Hoster in Deutschland oder einem europäischen Anbieter.
• Ihr braucht ein Modell, das Bilder und Dokumente versteht und Werkzeuge aufruft.
• Ihr wollt ein Modell, das ihr austauschen könnt, ohne an einen Anbieter gebunden zu sein.

Mistral Small passt weniger, wenn ihr diese Ziele habt:

• Das Modell soll auf einem Laptop ohne GPU laufen. Dafür ist Ministral gedacht.
• Ihr braucht das stärkste Reasoning für komplexe, mehrstufige Aufgaben. Dann lohnt der Blick auf das Flaggschiff Mistral Large.
• Ihr braucht ein Modell, das vor allem auf Deutsch trainiert wurde und bei fehlenden Belegen schweigt. Dafür lohnt der Vergleich mit Aleph Alpha Kolibri.

Wie Mistral insgesamt gegen ChatGPT abschneidet, zeigt unser Vergleich ChatGPT und Mistral. Einen Überblick über alle Produkte von Mistral AI gibt der Eintrag Mistral AI.

Bei Mistral Small entscheidet selten das Modell allein. Wichtiger sind die Fragen drumherum: Welche Aufgabe soll es lösen? Wo läuft es? Wer prüft die Ergebnisse? Und wie tauscht ihr es aus, wenn eine neue Generation kommt?

• Bedarf klären: Aufgabe, Datenarten, Anforderungen aus DSGVO und AI Act.
• Modelle testen: Mistral Small gegen ein kleineres und ein größeres Modell, mit anonymisierten Daten aus eurem Alltag.
• Betrieb planen: europäischer API Anbieter oder GPU Server bei einem Hoster in Deutschland.
• Austauschbar bauen: mit einem LLM Gateway wie LiteLLM, damit die nächste Generation ohne Umbau reinkommt.

Wer das Thema im ganzen Unternehmen verankern will, findet den passenden Rahmen im NCA KI Workshop für Unternehmen. Am Anfang steht ein kostenloses Kennenlernen, abgerechnet wird transparent nach Minuten.

Hier beantworten wir die wichtigsten Fragen zu Mistral Small, seiner Hardware, der Lizenz und dem Einsatz im Unternehmen.