Self Hosted KI für Unternehmen
Self Hosted KI für Unternehmen DSGVO konform mit Multi Tenant: Ollama, Open WebUI, vLLM auf eigener Infrastruktur. NCA Beratung Enterprise
Mehr erfahren- Aktualisiert:
- Autor:
- Roland Golla
Was sind Self Hosted KI Tools?
Self Hosted KI Tools sind KI Anwendungen, die du auf deinem eigenen Rechner oder Server betreibst statt sie als Cloud Dienst zu mieten. Prompts, Dokumente und Antworten bleiben dabei in deinem Netzwerk, und du entscheidest selbst, welches Modell dahinter arbeitet.
Die Bandbreite ist groß. Es gibt Laufzeiten für Modelle wie Ollama, Chat Oberflächen wie Open WebUI, Agenten wie Hermes Agent und Werkzeuge für Wissen und Dokumente. Diese Übersicht ordnet die wichtigsten Tools ein und zeigt, welche Stufe zu welchem Team passt.
Inhalt
NCA KI Workshop für Unternehmen
KI gemeinsam im Team verankern
Der NCA KI Workshop gibt eurem Team einen gemeinsamen Rahmen für KI. Workshoptag inhouse, optional mit Praxistag, als Variante für Developer oder alle Abteilungen.
-
1Kostenloses VorgesprächZiele und Teilnehmer klären
-
2Variante wählenDeveloper oder alle Abteilungen
-
3Workshoptag bei euchEin Tag inhouse, danach bleibt ein Rahmen
Roland Golla
Fullstack Developer
Self Hosted KI Tools mit NCA richtig einordnen
Bei Never Code Alone läuft ein großer Teil des eigenen Stacks selbst gehostet auf Servern in Deutschland. Ollama für kleine lokale Modelle, n8n für Workflows, LiteLLM als Proxy für Token und Budgets und Twenty als CRM nutzen wir täglich. Daraus kennen wir die Stellen, an denen Self Hosting im Alltag hakt: Updates, Rechte, Backups und die Frage, welches Modell wofür reicht.
Wenn du Self Hosted KI im Team einführen willst, helfen dir diese Seiten weiter: Self Hosted KI für Unternehmen mit Mandantentrennung, KI im Unternehmen gemeinsam einführen, das Vibe Coding Consulting für Teams, der LiteLLM Proxy für Token Kosten und Budget Limits und die Einordnung zu lokaler KI für Compliance und Berufsgeheimnis.
Die wichtigsten Self Hosted KI Tools im Überblick
Self Hosted KI besteht meist aus zwei Schichten. Unten läuft eine Laufzeit, die das Modell lädt und ausführt. Oben sitzt eine Anwendung, mit der Menschen arbeiten. Wer das trennt, versteht schnell, welche Tools sich ergänzen und welche sich doppeln.
Laufzeiten für Modelle
Oberflächen und Agenten
- Open WebUI ist eine Chat Oberfläche im Browser für lokale und gehostete Modelle.
- Hermes Agent von Nous Research ist ein Agent, der Aufgaben selbstständig abarbeitet.
- Odysseus ist ein Self Hosted Workspace, der Chat, Wissen und Werkzeuge bündelt.
Wissen und Dokumente
- Open Notebook ist eine Open Source Alternative zu NotebookLM für Recherche mit eigenen Quellen.
- Paperless ngx digitalisiert und sortiert Dokumente und lässt sich mit lokalen Modellen verbinden.
Self Hosted KI Tools im direkten Vergleich
Self Hosted KI in vier Stufen
Self Hosting ist kein Schalter, den man umlegt. Es ist eine Treppe. Auf jeder Stufe wächst die Kontrolle über deine Daten, aber auch der Aufwand für Betrieb und Pflege. Wichtig ist eine ehrliche Grenze: Große Coding Modelle laufen nicht wirtschaftlich auf eigener Hardware. Sie kommen über gehostete Inferenz aus der EU, etwa von TensorX oder Conversis. Im eigenen Netzwerk laufen die Werkzeuge und kleine Modelle für die Verarbeitung deiner Daten.
Die vier Stufen von Self Hosted KI
Worauf es beim Self Hosting im Alltag ankommt
Die Installation ist selten das Problem. Die meisten Tools starten mit einem Docker Befehl. Schwierig wird es danach, wenn das Tool für ein ganzes Team laufen soll.
- Updates: Self Hosted Tools entwickeln sich schnell. Ohne festen Rhythmus für Updates läuft nach wenigen Monaten eine veraltete Version mit bekannten Lücken.
- Rechte: Wer darf welches Modell nutzen und welche Dokumente sehen? Diese Frage muss vor dem Start beantwortet sein.
- Backups: Chats, Wissensdatenbanken und eingelesene Dokumente sind Daten wie alle anderen und gehören ins Backup.
- Kosten: Auch gehostete Modelle kosten Geld pro Token. Ein Proxy wie LiteLLM macht das sichtbar und setzt Grenzen.
Für die Entwicklung gilt bei NCA eine einfache Regel: Niemand arbeitet mit Live Daten. Lokale Setups laufen mit anonymisierten Testdaten aus Faker. So kann jede Coding KI genutzt werden, auch aus der Cloud, ohne dass echte Kundendaten das Netzwerk verlassen.
We've long said that small doesn't mean weak, it means personal.
NCA Einordnung aus dem eigenen Betrieb
Unsere Erfahrung aus dem eigenen Stack ist klar. Self Hosting lohnt sich dort, wo Daten das Haus nicht verlassen sollen und wo wiederkehrende Aufgaben mit kleinen Modellen gut genug gelöst werden. Für Coding nutzen wir große Open Weight Modelle über gehostete Inferenz aus der EU. Welche kleinen Modelle lokal wirklich taugen, zeigt der Vergleich der besten Coder Modelle für die lokale Nutzung und die Übersicht der Ollama Modelle für Vibe Coding.
Skepsis im Team ist dabei kein Hindernis. Sie hilft, die richtige Stufe zu wählen statt zu viel auf einmal zu bauen. Wer mit dem ganzen Unternehmen startet, findet im NCA KI Workshop für alle Abteilungen einen gemeinsamen Einstieg. Für Support und Chat im eigenen Netzwerk lohnt zusätzlich ein Blick auf Typebot und Chatwoot.
NCA Vibe Coding Consulting
Roland Golla ist Entwickler aus Leidenschaft – seit über 20 Jahren. Er hat hunderte Projekte begleitet, von Legacy-Refactoring bis KI-Integration. Bei Vibe Coding verbindet er das Beste aus beiden Welten: Die Geschwindigkeit von KI-generiertem Code mit der Qualität professioneller Softwareentwicklung. Kein Bullshit, keine Agentur-Floskeln – direkte Hilfe von jemandem, der selbst täglich im Code steckt.
Häufige Fragen zu Self Hosted KI Tools
Die wichtigsten Fragen zu Self Hosted KI Tools, kurz und direkt beantwortet.
Welche Self Hosted KI Tools sind 2026 die wichtigsten?
Die wichtigsten Self Hosted KI Tools 2026 sind Ollama und LM Studio als Laufzeiten für Modelle, Open WebUI als Chat Oberfläche, Hermes Agent und Odysseus als Agenten und Workspaces sowie Open Notebook und Paperless ngx für Wissen und Dokumente. Dazu kommen Werkzeuge für den Betrieb wie LiteLLM für Budgets und n8n für Workflows. Welche davon du brauchst, hängt von der Stufe ab, auf der dein Team startet.
Ist Self Hosted KI 2026 kostenlos?
Die Software selbst ist meist Open Source und kostenlos. Kosten entstehen trotzdem: für Hardware oder Server, für Betrieb, Updates und Backups und für gehostete Inferenz, wenn große Modelle zum Einsatz kommen. Dort wird pro Token abgerechnet. Ein Proxy wie LiteLLM macht diese Kosten sichtbar und setzt Budget Limits pro Team oder Projekt.
Welche Hardware brauche ich 2026 für Self Hosted KI?
Für den Einstieg mit kleinen Modellen reicht ein moderner Laptop oder ein Mac Mini mit Apple Silicon. Modelle im Bereich von einer bis sieben Milliarden Parametern laufen dort flüssig. Für größere lokale Coding Modelle wie Qwen3 Coder 30B sind etwa 16 bis 24 GB Grafikspeicher nötig. Große Frontier Modelle laufen sinnvoller über gehostete Inferenz aus der EU.
Ist Self Hosted KI 2026 DSGVO konform?
Self Hosting ist eine gute Grundlage für DSGVO Konformität, garantiert sie aber nicht. Entscheidend ist das Gesamtsetup: Wo laufen die Modelle, welche Anbieter sind angebunden, wer hat Zugriff und wie werden Daten gelöscht. Wer US Cloud APIs anbindet, überträgt Daten dorthin. Wer im eigenen Netzwerk oder bei EU Anbietern bleibt, behält die Kontrolle.
Welches Self Hosted KI Tool eignet sich 2026 für Einsteiger?
Für Einsteiger ist Ollama der einfachste Start. Ein Befehl lädt ein Modell, ein zweiter startet es. Wer lieber mit Maus und Fenstern arbeitet, nimmt LM Studio. Sobald mehrere Personen mit denselben Modellen arbeiten sollen, kommt Open WebUI als Oberfläche im Browser dazu. Diese drei Tools decken die erste Stufe vollständig ab.
Was ist der Unterschied zwischen Ollama und Open WebUI?
Ollama ist das Backend, Open WebUI das Frontend. Ollama lädt Modelle und führt sie aus, ohne eigene grafische Oberfläche. Open WebUI ist die Chat Oberfläche im Browser, die sich mit Ollama oder anderen Modellanbietern verbindet und Benutzerverwaltung mitbringt. Zusammen ergeben beide ein vollständiges Self Hosted KI System für kleine Teams.
Kann ich große Coding Modelle selbst hosten?
Technisch ja, wirtschaftlich selten. Große Coding Modelle wie GLM, Kimi oder DeepSeek brauchen Hardware, die sich für die meisten Teams nicht rechnet. NCA nutzt diese Modelle deshalb über gehostete Inferenz aus der EU, etwa von TensorX oder Conversis. Lokal laufen kleine Modelle für die Verarbeitung von Daten im eigenen Netzwerk.
Brauche ich Docker für Self Hosted KI Tools?
Für die meisten Tools ist Docker der einfachste Weg. Open WebUI, Paperless ngx und Open Notebook starten mit einem Docker Befehl und lassen sich so sauber aktualisieren und sichern. Ollama und LM Studio laufen dagegen auch direkt als Anwendung auf dem Rechner. Für den Betrieb im Team ist Docker oder ein vergleichbares Setup sehr zu empfehlen.
Wie sichere ich Self Hosted KI Tools im Team ab?
Absicherung beginnt bei Rechten und Erreichbarkeit. Die Tools gehören hinter eine Anmeldung und sind nicht offen aus dem Internet erreichbar. Dazu kommen regelmäßige Updates, Backups der Daten und ein Proxy wie LiteLLM, der festlegt, wer welches Modell nutzen darf. Für Entwicklung gilt zusätzlich: anonymisierte Testdaten statt Live Daten.
Was ist der Unterschied zwischen LM Studio und Ollama?
Beide laden und starten lokale Modelle. LM Studio ist eine Desktop App mit grafischer Oberfläche, in der du Modelle suchst, lädst und direkt im Chat testest. Ollama arbeitet über die Kommandozeile und eine API und eignet sich dadurch besser für Server, Automatisierung und die Anbindung an andere Tools wie Open WebUI oder n8n.
Kann Self Hosted KI mit internen Dokumenten arbeiten?
Ja, das ist einer der stärksten Anwendungsfälle. Open WebUI bringt eine Wissensdatenbank mit, Open Notebook arbeitet mit eigenen Quellen und Paperless ngx macht Papierdokumente durchsuchbar. Mit lokalen Modellen verlässt dabei kein Dokument das eigene Netzwerk. Wichtig sind klare Rechte, damit nicht jede Person jedes Dokument sehen kann.
Welche Self Hosted KI Tools nutzt NCA selbst?
NCA nutzt täglich Ollama für kleine lokale Modelle, n8n für Workflows, LiteLLM als Proxy für Token und Budgets und Twenty als CRM, alles auf Servern in Deutschland. Open Notebook testen wir intern. Tools wie Open WebUI, LM Studio, Hermes Agent, Odysseus und Paperless ngx ordnen wir für Teams ein, nutzen sie aber nicht produktiv.
Agent to Agent ist der offene Standard für die Kommunikation zwischen KI Agenten unterschiedlicher Frameworks. Agent Cards, Tasks, Abgrenzung zu MCP und die Frage, wann sich der Aufwand lohnt.
Wie du mit Open Source Tools wie PostHog und GrowthBook plus KI Coding Agents professionelles A/B Testing selbst umsetzt, abgesichert mit Cypress.
SAP stellt ABAP Entwicklung per Model Context Protocol bereit: Funktionen, Voraussetzungen, Grenzen und die NCA Einordnung
Die Dokumente konkurrieren nicht, sie greifen ineinander. Wie PRD, ADR, Spec, BDD und AGENTS.md zusammen den Kontext bilden, aus dem ein KI Agent verlässlich arbeitet.
Der iterative Loop ist die Kernarchitektur jedes autonomen KI Agenten. Wie er funktioniert, wo er durchdreht und welche Safeguards Production braucht.
Agent Plugins ist der herstellerneutrale Paketstandard für Agent Skills und MCP Server. Ein Ordner, eine plugin.json, viele Clients. Aufbau, Grenzen und Einordnung für Teams.
