Lemonade ist ein quelloffener KI Server, der Sprachmodelle lokal auf CPU, GPU und NPU ausführt und sie über eine OpenAI kompatible Schnittstelle bereitstellt. Das Projekt steht unter Apache 2.0, wird von der Community entwickelt und von AMD gesponsert. Der Schwerpunkt liegt auf Hardware, die viele Notebooks längst mitbringen und kaum jemand nutzt: der neuronalen Recheneinheit, kurz NPU.

Lemonade kommt in zwei Ausprägungen. Der Lemonade Server läuft als Dienst und spricht die APIs von OpenAI, Anthropic und Ollama. Embeddable Lemonade ist ein portables Binary, das Entwickler in die eigene Anwendung packen können, ohne Installer, ohne Branding, ohne Telemetrie.

Neben Text beherrscht der Server Sprache zu Text, Text zu Sprache und Bildgenerierung. Damit ist Lemonade weniger ein reiner Model Runner als ein kompletter lokaler KI Stack. Wer lokale Inferenz bisher nur über Ollama oder llama.cpp kennt, findet hier eine dritte Perspektive.

Lokale Inferenz ist bei Never Code Alone kein Laborthema. Wir betreiben Ollama mit Qwen und Llama täglich im eigenen Stack, für Content Produktion und für Vibe Coding. Aus dieser Praxis kennen wir die echten Stolpersteine: Treiber, Quantisierung, Kontextlängen, Tool Calling und die Frage, welche Aufgabe überhaupt auf lokale Hardware gehört. Lemonade ordnen wir redaktionell ein, im Production Stack bleibt Ollama gesetzt.

Wir begleiten Teams bei der Beratung zum Selbsthosten von KI Assistenten, planen Self Hosted KI für Unternehmen mit Multi Tenant und klären im Rahmen der Vibe Coding Datenschutz und DSGVO Beratung, welche Daten das eigene Netz verlassen dürfen. Für Teams, die KI im Alltag verankern wollen, gibt es das NCA Vibe Coding Consulting und die KI Weiterbildung für Entwicklerteams.

Der Lemonade Server ist der klassische Weg. Er installiert sich als Dienst, bringt eine Oberfläche für Chat, Bild und Sprache mit und stellt einen lokalen Endpunkt bereit. Weil er die APIs von OpenAI, Anthropic und Ollama spricht, lassen sich bestehende Clients meist ohne Codeänderung umbiegen. In der Praxis heißt das: Open WebUI, Dify oder ein n8n Workflow zeigen einfach auf localhost statt in die Cloud.

Embeddable Lemonade geht einen Schritt weiter. Statt einer Installation für den Nutzer bündelt eine Anwendung das Binary mit. Der Anwender merkt von Lemonade nichts, bekommt aber lokale KI, die sich automatisch auf seine Hardware einstellt. Für Softwarehäuser mit Desktop Produkten ist das der interessantere Teil des Projekts.

Beide Varianten decken mehr ab als Text. Sprache zu Text, Text zu Sprache, Bildgenerierung und experimentell sogar Audio und 3D laufen über denselben Server. Wer heute für Sprachsynthese und Bildgenerierung getrennte Setups pflegt, spart hier Betriebsaufwand.

Ollama, LM Studio und llama.cpp holen ihre Leistung aus CPU und GPU. Die NPU liegt in den meisten Notebooks brach. Genau hier setzt Lemonade an. Auf Ryzen AI Hardware teilt ein hybrider Modus die Arbeit auf: Die NPU verarbeitet den Prompt am Stück, die integrierte Grafikeinheit erzeugt danach Token für Token die Antwort. Jede Einheit macht das, was sie am besten kann.

Der praktische Effekt ist weniger Rechenleistung als Ruhe. Ein kleines Modell auf der NPU arbeitet, ohne dass der Lüfter hochdreht oder der Akku wegschmilzt. Für Agenten, die im Hintergrund dauerhaft mitlaufen, ist das ein echtes Argument. Für einen einzelnen langen Coding Prompt eher nicht.

Wichtig für die Erwartungshaltung: NPU Inferenz ist der Bereich kleiner Modelle. Ein Modell im Vier bis Acht Milliarden Bereich passt, ein Frontier Coding Modell nicht. Diese Grenze zieht sich durch das gesamte Thema lokale KI und ist der Kern unserer Modellauswahl ohne US Anbieter.

Für Windows gibt es einen Installer, für macOS ein Paket, für Linux Pakete für Ubuntu, Debian, Fedora, Arch sowie Snap und Docker. Wer lokale KI auf Ubuntu betreibt, kennt den Ablauf. Nach der Installation läuft alles über eine CLI, die bewusst nah an Ollama liegt.

Der Befehl für die Backends ist der erste, den man braucht. Er zeigt, was auf der konkreten Maschine tatsächlich unterstützt wird. Die Kombination aus Betriebssystem, Treiberstand und Chipgeneration entscheidet, ob die NPU überhaupt zur Verfügung steht.

Für die anderen Modalitäten funktioniert derselbe Befehl mit anderen Modellen.

Lemonade unterstützt drei Modellformate. GGUF ist das bekannte Format aus dem llama.cpp Umfeld, ONNX kommt über die Runtime von Microsoft, FLM ist auf die NPU zugeschnitten. Eigene Modelle lassen sich von Hugging Face oder ModelScope holen. Wer sich mit GGUF Quantisierung auskennt, findet sich sofort zurecht.

Praktisch für den Betrieb sind Aliase. Statt einen Modellnamen in jede Anwendung zu schreiben, zeigt ein sprechender Alias auf ein konkretes Modell. Wird das Modell getauscht, ändert sich nur der Alias.

Für Modelle wie Qwen ist der NPU Pfad besonders interessant, weil die kleinen Varianten dort spürbar sparsamer laufen. Wer über die Modellauswahl für lokales Coding nachdenkt, findet die Einordnung in unserem Vergleich der besten Coder Modelle für lokale Nutzung.

Lemonade ist ein starkes Projekt, aber kein Selbstläufer. Drei Punkte gehören auf den Tisch, bevor jemand die eigene Inferenz darauf umstellt.

Die Nähe zu einem Hersteller. Das Projekt ist quelloffen und nimmt Beiträge von außen an, wird aber von AMD gesponsert und maßgeblich von AMD Ingenieuren entwickelt. Auf AMD Hardware ist das ein Vorteil, weil Optimierungen früh landen. Auf anderer Hardware läuft Lemonade zwar, ist dort aber nicht der naheliegende Weg.

Die Feature Breite. Text, Sprache, Bild, Audio, 3D, Mobile Apps, Cloud Offload: Das ist viel für ein Projekt in dieser Größe. Etliche Backends sind ausdrücklich als experimentell markiert. Wer produktiv fährt, sollte genau prüfen, welcher Pfad tatsächlich stabil ist.

Die NPU Voraussetzungen. Der spannendste Teil hängt an konkreten Chipgenerationen und am Betriebssystem. Ältere NPUs bleiben außen vor. Ohne passende Hardware bleibt ein solider llama.cpp Server, und dann ist Ollama im Alltag meist der bequemere Weg.

Bei NCA trennen wir zwei Dinge sauber. Große Coding Modelle laufen nicht auf eigener Hardware. Ein lokales Setup für ein Modell dieser Klasse kostet ein Vermögen und rechnet sich für kein Team. Coding Inferenz kommt deshalb aus der Cloud, gegen lokale Entwicklungsumgebungen mit Fakedaten. Für Anbieter in Europa nutzen wir TensorX oder gehostete Inferenz bei Conversis.

Datenverarbeitung dagegen bleibt im eigenen Netz. Klassifizieren, zusammenfassen, extrahieren, transkribieren: Das erledigen kleine Modelle lokal, ohne dass ein einziges Dokument nach draußen geht. Genau in dieses Feld gehört Lemonade. Nicht als Coding Backend, sondern als lokale Verarbeitungsschicht auf Hardware, die ohnehin herumsteht.

Wie sich das wirtschaftlich rechnet, haben wir in lokale KI wirtschaftlich einsetzen ausgeführt. Die rechtliche Seite steht in lokale KI für Compliance. Eine Faustregel gilt immer: Modelle, die nicht auf eigener Infrastruktur laufen, arbeiten ausschließlich gegen Testdaten, niemals gegen echte Kundendaten.

Lokale KI scheitert selten am Modell. Sie scheitert an falschen Erwartungen. Teams starten mit dem Wunsch, den Coding Assistenten komplett ins eigene Rechenzentrum zu holen, und landen nach Wochen bei einem Setup, das langsamer und teurer ist als vorher. Der Weg, der funktioniert, geht andersherum: erst die Aufgaben identifizieren, die ein kleines Modell zuverlässig erledigt, dann die Infrastruktur dafür bauen.

Genauso wichtig sind Leitplanken. KI generierter Code braucht Quality Gates, ein Team braucht klare Regeln in AGENTS.md und ein Projekt braucht einen ehrlichen Blick auf die Risiken. Wo Altlasten im Spiel sind, hilft AI Code Refactoring mit menschlicher Kontrolle statt eines Agenten, der allein durch die Codebasis läuft.

Weiterführend passen der LM Studio Eintrag, die Einordnung von vLLM für Serving, der Blick auf On Device KI auf dem Smartphone und der Vergleich Groq gegen lokale Inferenz. Wer Hardware vor dem Kauf testen will, findet in RunPod einen pragmatischen Weg.

Die wichtigsten Fragen zu Lemonade, zur NPU Inferenz und zur Abgrenzung gegenüber anderen lokalen KI Servern.