Self Hosted KI Tools 2026 im Vergleich, Open WebUI, Ollama, LM Studio, Hermes Agent, Open Notebook und Paperless eingeordnet von NCA aus Duisburg
Mehr erfahren
Ein Tag inhouse mit Benjamin Klein für Developer, Tester und Admins. Context Engineering, Harness, ADRs und zwei Hands on Blöcke mit KI Agenten in eurem Setup.
Get up and running with large language models.
Self Hosted KI Tools 2026 im Vergleich, Open WebUI, Ollama, LM Studio, Hermes Agent, Open Notebook und Paperless eingeordnet von NCA aus Duisburg
Mehr erfahren
Roland Golla ist Entwickler aus Leidenschaft – seit über 20 Jahren. Er hat hunderte Projekte begleitet, von Legacy-Refactoring bis KI-Integration. Bei Vibe Coding verbindet er das Beste aus beiden Welten: Die Geschwindigkeit von KI-generiertem Code mit der Qualität professioneller Softwareentwicklung. Kein Bullshit, keine Agentur-Floskeln – direkte Hilfe von jemandem, der selbst täglich im Code steckt.
Ollama arbeitet über die Kommandozeile und eine REST API und ist für Server, Automatisierung und Teams gebaut. LM Studio ist eine Desktop App mit grafischer Oberfläche, in der du Modelle suchst, lädst und direkt testest. Beide führen Open Weight Modelle lokal aus. Ollama ist Open Source, LM Studio ist kostenlos, aber nicht quelloffen.
Für den dauerhaften Betrieb ja, für den schnellen Einstieg nicht unbedingt. Ollama lässt sich als Dienst betreiben, per API anbinden und für mehrere Nutzer bereitstellen. LM Studio ist bequemer, wenn eine Person am eigenen Rechner Modelle ausprobieren will. NCA nutzt Ollama täglich in Production und ordnet LM Studio für Einsteiger ein.
Ja, beide sind kostenlos nutzbar. Ollama ist zusätzlich Open Source unter MIT Lizenz, der Code liegt offen auf GitHub. LM Studio ist eine kostenlose App, deren Quellcode nicht offen ist. Kosten entstehen nur durch die Hardware, auf der die Modelle laufen, oder durch gehostete Inferenz für große Modelle.
Für Einsteiger ohne Erfahrung mit der Kommandozeile ist LM Studio der angenehmere Start. Modelle lassen sich mit einem Klick laden und sofort im Chat testen. Wer ohnehin im Terminal arbeitet, kommt mit Ollama genauso schnell ans Ziel. Ein Befehl lädt das Modell, ein zweiter startet es.
Ja, beide lassen sich auf demselben Rechner installieren. Viele Teams nutzen genau diese Kombination: Einzelne Personen testen Modelle in LM Studio, das Team betreibt die ausgewählten Modelle danach auf einem Ollama Server. Achte darauf, dass beide nicht gleichzeitig große Modelle laden, sonst reicht der Speicher schnell nicht mehr.
Für Teams ist Ollama die bessere Grundlage. Es läuft als Dienst oder im offiziellen Docker Image auf einem Server und versorgt mehrere Menschen über das Netzwerk. Mit Open WebUI als Oberfläche und LiteLLM für Budgets entsteht daraus eine gemeinsame Plattform. LM Studio ist auf den einzelnen Rechner ausgelegt.
OpenCode bindet Ollama direkt als Anbieter für lokale Modelle an. So nutzt NCA kleine Modelle wie Qwen3 Coder im Coding Alltag. Auch der lokale Server von LM Studio lässt sich über seine API ansprechen. Für den Betrieb im Team empfehlen wir Ollama, weil es sich wie ein normaler Dienst warten lässt.
Für kleine Modelle reicht ein moderner Laptop oder ein Mac Mini mit Apple Silicon. Größere lokale Coding Modelle wie Qwen3 Coder 30B brauchen etwa 16 bis 24 GB Grafikspeicher. Das gilt für beide Werkzeuge gleich, denn der Speicherbedarf hängt vom Modell ab und nicht von der Software, die es startet.
Größtenteils ja. Beide arbeiten mit Open Weight Modellen wie Qwen, Llama, Gemma oder DeepSeek in quantisierten Varianten. Die Modelle werden jeweils über die eigene Bibliothek oder Suche geladen. Welche Modelle sich für lokales Coding lohnen, zeigt die NCA Übersicht der Ollama Modelle für lokales Vibe Coding.
Im lokalen Betrieb ja. Prompts und Antworten bleiben auf deinem Rechner oder Server und gehen nicht an einen Cloud Anbieter. Das ändert sich, sobald du Cloud Modelle einbindest, etwa die Cloud Varianten in Ollama. Für sensible Daten gilt deshalb: kleine Modelle lokal, große Modelle nur über geprüfte Anbieter aus der EU.
Technisch ja, wirtschaftlich selten. Große Coding Modelle wie GLM, Kimi oder DeepSeek in voller Größe brauchen Hardware, die sich für die meisten Teams nicht rechnet. NCA nutzt sie deshalb über gehostete Inferenz aus der EU, etwa von TensorX oder Conversis. Lokal laufen kleine Modelle für Alltag und Datenverarbeitung.
NCA nutzt Ollama täglich in Production. Kleine Modelle wie Qwen3 Coder und Llama laufen darüber für Coding und die Verarbeitung von Daten im eigenen Netzwerk, angebunden an OpenCode und LiteLLM. LM Studio ordnen wir für Teams und Einsteiger ein, nutzen es aber nicht produktiv.