Was ist Self Hosted KI für Unternehmen 2026?

Self Hosted KI für Unternehmen bezeichnet den Betrieb von KI Modellen, Inferenz Servern und Frontends auf der eigenen Infrastruktur eines Unternehmens, statt sie über externe Cloud APIs wie OpenAI, Anthropic oder Google zu nutzen. Prompts, Dokumente und Antworten verlassen das eigene Rechenzentrum nicht und unterliegen vollständig der eigenen Kontrolle.

Der Unterschied zu generischem Self Hosting ist die Unternehmens Perspektive. In einer Organisation greifen mehrere Abteilungen, Mandanten oder Tochtergesellschaften auf dieselbe KI Infrastruktur zu. Multi Tenant Architektur trennt diese Mandanten sauber voneinander, regelt Zugriffsrechte, protokolliert Nutzung über Audit Logs und stellt sicher, dass die HR Abteilung nicht versehentlich Daten der Finanzabteilung sieht.

Treiber für diese Architektur sind 2026 vor allem drei Themen. Die DSGVO mit Bußgeldern bis zu 4 Prozent des Jahresumsatzes oder 20 Millionen Euro bei Datenschutz Verstößen. Berufsgeheimnisse bei Anwälten, Steuerberatern, Ärzten und Wirtschaftsprüfern, die eine Datenweitergabe an Dritte rechtlich ausschließen. Und sensible Geschäftsdaten wie Lieferanten Konditionen, Personalakten und nicht öffentliche Finanzplanung, die nicht auf US Servern landen sollen.

Never Code Alone aus Duisburg betreibt seit Jahren eigene KI Inferenz auf dedizierten Servern in Deutschland, nicht in der US Cloud. Unsere Production läuft auf Ollama mit Qwen und Llama, ergänzt durch Gemini, GLM und MiniMax für spezialisierte Aufgaben. Wir kennen die typischen Stolperfallen aus eigener Erfahrung: GPU Auswahl, Quantisierung, Multi Tenant Trennung, Token Throughput und das Zusammenspiel zwischen Inferenz Engine, Frontend und Vektor Datenbank.

Für Unternehmen mit DSGVO Bedarf bieten wir das volle Spektrum. Im Vibe Coding Consulting klären wir Stack Auswahl und Architektur, in der Vibe Coding Datenschutz Beratung bauen wir Rollenkonzepte, Verschlüsselung und Audit Logging. Wir migrieren bestehende Cloud Setups auf Ollama oder vLLM, richten Open WebUI als Multi Tenant Frontend ein und beraten zur passenden Compliance Architektur für Berufsgeheimnisträger. Wer den breiteren Schritt plant, findet bei der SaaS Ablösung mit eigener Plattform die passende strategische Ergänzung. Eine generische Einordnung zum Thema bietet unsere Seite KI Assistenten selbst hosten, fokussiert auf kleinere Teams.

Self Hosted KI auf eigener Infrastruktur gibt Unternehmen drei Dinge zurück, die in der Cloud strukturell schwierig zu erhalten sind: vollständige Datensouveränität, planbare Kosten und Unabhängigkeit von externen Preisänderungen oder Modell Abschaltungen.

Datensouveränität ohne Auftragsverarbeitung Dritter. Die DSGVO verlangt für jede Verarbeitung personenbezogener Daten eine Rechtsgrundlage und einen Auftragsverarbeitungsvertrag mit jedem Dienstleister, der die Daten zu Gesicht bekommt. Sobald ein Prompt an OpenAI oder Anthropic geht, ist ein US Anbieter im Spiel. Self Hosting schaltet diesen Vertragspartner aus, weil keine Daten das eigene Rechenzentrum verlassen.

Berufsgeheimnis bleibt gewahrt. Für Anwälte, Steuerberater, Wirtschaftsprüfer, Ärzte und Therapeuten ist das relevant, weil Paragraph 203 StGB die Weitergabe von anvertrauten Geheimnissen unter Strafe stellt. Cloud KI Anbieter sind nicht ohne weiteres als zulässige Hilfspersonen eingeordnet, eine lokale Inferenz schließt das Risiko sauber aus.

Kosten werden vorhersehbar. Cloud KI rechnet pro Million Token ab, was bei produktiver Nutzung schnell in fünfstellige Monatsbudgets wandert. Eine eigene GPU Workstation oder ein Mac Mini Cluster amortisiert sich oft innerhalb eines Jahres und liefert danach unbegrenzte Inferenz zu reinen Strom Kosten.

Schutz vor Modell Abschaltungen. Cloud Anbieter ziehen ältere Modelle regelmäßig aus dem Angebot. Wer seinen Workflow auf ein lokal gespeichertes Modell aufsetzt, kann ihn unverändert weiter betreiben, auch wenn neue Versionen erscheinen.

NCA setzt für Unternehmens Setups einen abgestimmten Stack ein, den wir täglich in eigener Production fahren. Die Komponenten sind frei austauschbar, aber diese Kombination hat sich für deutsche Unternehmen mit DSGVO Anspruch als robust erwiesen.

Inferenz Engine als Default: Ollama. Einfache Installation, breite Modell Auswahl, gute Performance auf Mac Mini, Apple Silicon und Linux GPU. Für höhere Throughput Anforderungen wechseln wir auf vLLM mit PagedAttention, das im Multi User Betrieb deutlich mehr Tokens pro Sekunde liefert. Für CPU only Setups oder eingebettete Geräte ist llama.cpp die richtige Wahl.

Multi User Frontend: Open WebUI. Open Source Web Interface mit Benutzer Verwaltung, Rollen, Gruppen, RAG, Multimodell Routing und Audit Logging. Lässt sich mit wenigen Docker Befehlen aufsetzen und über LDAP oder OIDC an Active Directory anbinden.

Agenten Orchestrierung: Paperclip. Wenn aus dem einfachen Chat ein Team aus spezialisierten KI Agenten werden soll, ist Paperclip die passende Wahl. Org Charts, Budget Kontrolle, Audit Log, alles selbst gehostet und DSGVO konform.

Modelle aus europäischer Produktion oder Open Source. Qwen 3 Coder und Llama 4 sind die Arbeitstiere für Coding und allgemeine Texte. Für lange Kontexte ist Kimi K2.5 von Moonshot interessant, für deutsche Sprache GLM 5. Embeddings laufen auf multilingual e5 large, MIT lizenziert, hundert Sprachen, kostenlos.

Hosting Default direkt über Ollama auf eigenem Server. Bei Bedarf gehostete Inferenz über Partner Conversis in Duisburg, vor allem bei regulierten Branchen mit Compliance Auflagen, die eine spezialisierte Rechenzentrums Umgebung verlangen.

Self Hosted KI ist kein binärer Schalter, sondern ein Spektrum. Wer als Unternehmen die passende Stufe für seinen Bedarf finden will, sollte vier Hosting Modelle kennen und für jedes Use Case bewusst eine Wahl treffen. Die Stufen unterscheiden sich in Datenhoheit, Bedienkomfort, Kosten und der Frage, wer letztlich auf die Daten Zugriff hat.

Die folgende Tabelle ordnet die Stufen mit typischen Tools und der jeweiligen Eignung. Die anschließende Infografik zeigt die Souveränität visuell als aufsteigende Balken.

In Unternehmen reicht eine einzige geteilte KI Installation selten aus. Sobald mehrere Abteilungen, Mandanten oder Tochtergesellschaften zugreifen, braucht es saubere Trennung auf allen Ebenen. Ohne Multi Tenant Design entstehen schnell DSGVO Konflikte, Vertraulichkeitsprobleme und Audit Fallen.

Mandanten Trennung auf Datenebene. Jeder Mandant bekommt eine eigene Datenbank, einen eigenen Vektor Index für RAG und eigene Storage Buckets. Cross Tenant Queries sind technisch unmöglich, nicht nur durch Rechte verboten. Open WebUI unterstützt das nativ über Gruppen und Berechtigungen, lässt sich mit OIDC oder LDAP an bestehende Identity Provider anbinden.

Modell Trennung nach Sensibilität. Nicht alle Daten brauchen das gleiche Modell. Für allgemeine Recherche reicht ein kleines schnelles Modell, für hoch sensible juristische Texte ein eigens auditiertes Setup mit nachgelagerter Protokollierung. Über Routing Layer wie LiteLLM oder selbst gebaute Proxies lässt sich pro Mandant und pro Use Case ein passendes Modell hinterlegen.

Audit Logging als Pflicht. Wer welchen Prompt zu welchem Zeitpunkt gestellt hat und welche Antwort zurückkam, muss in einem revisionssicheren Log liegen. Bei Berufsgeheimnisträgern und in regulierten Branchen verlangt der Prüfer das im Ernstfall. Paperclip bringt Audit Log und Budget Kontrolle als Erstklass Feature mit, Open WebUI loggt Konversationen pro Nutzer.

Rate Limits und Budget Töpfe pro Tenant. Eine einzige Abteilung kann mit unkontrollierten Agent Loops eine ganze Inferenz Infrastruktur in die Knie zwingen. Quoten pro Mandant verhindern das und machen Kosten und Last fair zuordenbar. In der Vibe Coding Consulting nehmen wir genau diese Architektur Themen mit ins Setup auf.

Sobald die Datensouveränität nicht verhandelbar ist, sortieren sich die Use Cases von selbst. NCA berät zu folgenden typischen Szenarien, in denen Self Hosted KI den entscheidenden Unterschied macht.

OCR und Dokumenten Verarbeitung sensibler Akten. Verträge, Personalakten, medizinische Befunde, Mandanten Schriftsätze. Diese Dokumente dürfen nicht an externe APIs. Lokale Multi Modal Modelle wie Qwen 2.5 VL oder MoonViT extrahieren Text und Struktur direkt auf dem eigenen Server, das Ergebnis wandert in eine eigene Datenbank.

Interne Recherche mit RAG auf Geschäftsgeheimnissen. Mitarbeiter sollen Fragen zu Lieferanten Konditionen, internen Prozessdokumenten oder vertraulichen Strategie Papieren stellen können, ohne dass eine externe KI diese Dokumente jemals sieht. Open WebUI mit einer eigenen Knowledge Base und einem lokalen Embedding Modell wie multilingual e5 large löst genau das.

Transkription von Meetings und Interviews. Aufzeichnungen aus Vorstandssitzungen, Personalgesprächen oder Anwalts Mandanten Terminen dürfen Berufsgeheimnis Träger nicht in der Cloud transkribieren lassen. Lokale Whisper Varianten und neue Modelle wie OmniVoice von k2 fsa liefern Transkription und Voice Cloning direkt auf eigener Hardware.

KI gestütztes Coding für vertraulichen Code. Wer an Software arbeitet, deren Quellcode unter Verschlusssache fällt oder Kunden Vertragsklauseln zur Geheimhaltung unterliegt, kann Claude Code oder Cursor mit Cloud Modellen nicht produktiv nutzen. Lokale Coding Modelle über Ollama oder vLLM mit Qwen 3 Coder, Llama 4 Coder oder DeepSeek lösen das.

Agenten Teams für Backoffice Automatisierung. Buchhaltung, HR, Compliance, Lieferanten Onboarding. Wer hier Agenten einsetzen will, braucht eine Orchestrierungs Schicht, die die Mandanten Trennung respektiert. Paperclip übernimmt das Org Chart und die Budget Kontrolle, lokale Modelle die Inferenz.

Wer in Deutschland mit personenbezogenen oder geheimhaltungspflichtigen Daten arbeitet, kommt um drei rechtliche Hebel nicht herum: DSGVO, Paragraph 203 StGB und die zunehmend strenger werdende NIS2 Richtlinie für kritische Infrastruktur. Self Hosted KI ist in vielen Konstellationen der einzige saubere Weg.

DSGVO Auftragsverarbeitung mit US Anbietern bleibt heikel. Trotz EU US Data Privacy Framework gibt es weiterhin rechtliche Unsicherheit bei Daten Transfers in die USA. Eine eigene Inferenz hebt das Thema ganz aus dem Verarbeitungs Verzeichnis heraus, weil kein externer Auftragsverarbeiter beteiligt ist.

Paragraph 203 StGB für Berufsgeheimnisträger. Anwälte, Ärzte, Steuerberater, Wirtschaftsprüfer und Therapeuten dürfen anvertraute Geheimnisse nicht an Dritte weitergeben. Auch wenn ein KI Anbieter unter Geheimhaltung steht, ist die rechtliche Einordnung als zulässige Hilfsperson umstritten. Lokale Inferenz vermeidet die Diskussion vollständig.

NIS2 Richtlinie für kritische Infrastruktur. Energie, Wasser, Gesundheit, Finanz, Telekommunikation. Wer hier arbeitet, ist seit 2024 zu strengen Cybersecurity Maßnahmen verpflichtet, inklusive Lieferketten Sicherheit. Eine selbst kontrollierte KI Stack reduziert das Lieferantenrisiko deutlich.

Bußgeld Rahmen rechtfertigt die Investition. DSGVO Bußgelder reichen bis 20 Millionen Euro oder 4 Prozent des weltweiten Jahresumsatzes, je nachdem welcher Betrag höher ist. Ein einziger ernster Verstoß übersteigt damit oft die Kosten einer eigenen GPU Infrastruktur um Größenordnungen. Aufstellung und Architektur klären wir in der Vibe Coding Datenschutz Beratung.

Der NTT DATA Global AI Report 2026 hat fast 5000 Entscheider in über 30 Märkten befragt. Das Ergebnis ist ein klarer Widerspruch zwischen Absicht und Umsetzung: Über 95 Prozent halten Private und Sovereign AI für wichtig, aber nur rund 29 Prozent treiben das Thema konkret und kurzfristig voran. Cross Border Datenrestriktionen nennt fast 60 Prozent der KI Verantwortlichen als größte Hürde, rund 57 Prozent der CEOs stufen Datensouveränität als ernsthaftes Risiko ein.

Genau diese Lücke meint Dubey mit Enterprise Readiness. Wer Self Hosted KI nur als Compliance Pflicht versteht, baut sich eine teure Sonderlösung, die niemand nutzen will. Wer sie als operatives Fundament begreift, schafft eine Architektur, die quer durch Märkte, Jurisdiktionen und Geschäftsbereiche funktioniert und mit dem Unternehmen mitwächst. NCA begleitet diesen Schritt vom punktuellen Setup zum tragfähigen Stack, in dem Multi Tenant Trennung, Audit Logging und Modellrouting kein Add On sind, sondern das Fundament.

Never Code Alone berät seit Jahren zu Self Hosting Setups, betreibt die eigene Infrastruktur in Deutschland und kennt die Stolperfallen aus erster Hand. Drei Beobachtungen aus aktuellen Beratungsprojekten 2026.

Die GPU Frage ist selten der Engpass. Viele Unternehmen denken zuerst an NVIDIA H100 Cluster und schrecken vor Kosten zurück. In den meisten Setups reicht ein Mac Mini mit M4 oder eine RTX 4090 völlig aus, weil die Last selten gleichzeitig auftritt und kleinere Modelle für viele Aufgaben ausreichen. Wir helfen Teams, die passende Hardware zu identifizieren statt überdimensioniert einzukaufen.

Der eigentliche Aufwand liegt im Frontend und in der Anbindung. Open WebUI aufsetzen ist eine Sache von Stunden. Aber Single Sign On, LDAP, Rollenkonzepte, RAG mit eigenen Dokumenten und das Onboarding der Mitarbeiter brauchen Wochen. Wer das unterschätzt, scheitert an der Adoption, nicht an der Technik. Das gleiche Muster sehen wir bei der SaaS Ablösung mit eigener Plattform.

Hybride Setups sind oft der pragmatische Mittelweg. Sensible Daten laufen lokal, unsensible Tasks dürfen weiterhin über Cloud APIs. Voraussetzung ist ein sauberes Routing Layer, das Daten Klassifizierung respektiert. Wir bauen solche Setups in der Vibe Coding Consulting und übernehmen oft auch das Onboarding für das interne Team, wenn Teams aus eigener Hand weiter operieren wollen.

Für vertiefende Fragen: Vibe Coding Best Practices für DSGVO konformen Aufbau, llama.cpp für CPU only Setups, Hermes Agent für selbstlernende Agenten, Coolify als Self Hosted PaaS Bindeglied.

Die wichtigsten Fragen rund um Self Hosted KI in Unternehmen, von DSGVO und Multi Tenant bis zu Hardware Auswahl und Kosten.