Was ist Self Hosted KI für Unternehmen 2026?

Self Hosted KI für Unternehmen bezeichnet den Betrieb von KI Modellen, Inferenz Servern und Frontends auf der eigenen Infrastruktur eines Unternehmens, statt sie über externe Cloud APIs wie OpenAI, Anthropic oder Google zu nutzen. Prompts, Dokumente und Antworten verlassen das eigene Rechenzentrum nicht und unterliegen vollständig der eigenen Kontrolle.

Der Unterschied zu generischem Self Hosting ist die Unternehmens Perspektive. In einer Organisation greifen mehrere Abteilungen, Mandanten oder Tochtergesellschaften auf dieselbe KI Infrastruktur zu. Multi Tenant Architektur trennt diese Mandanten sauber voneinander, regelt Zugriffsrechte, protokolliert Nutzung über Audit Logs und stellt sicher, dass die HR Abteilung nicht versehentlich Daten der Finanzabteilung sieht.

Treiber für diese Architektur sind 2026 vor allem drei Themen. Die DSGVO mit Bußgeldern bis zu 4 Prozent des Jahresumsatzes oder 20 Millionen Euro bei Datenschutz Verstößen. Berufsgeheimnisse bei Anwälten, Steuerberatern, Ärzten und Wirtschaftsprüfern, die eine Datenweitergabe an Dritte rechtlich ausschließen. Und sensible Geschäftsdaten wie Lieferanten Konditionen, Personalakten und nicht öffentliche Finanzplanung, die nicht auf US Servern landen sollen.

Never Code Alone aus Duisburg betreibt eigene KI Inferenz auf Servern in Deutschland, nicht in der US Cloud. Wir nutzen täglich Ollama mit Qwen3 Coder und Llama, dazu Gemini, GLM und MiniMax für spezielle Aufgaben. Die typischen Stolperfallen kennen wir aus eigener Praxis: GPU Auswahl, Quantisierung, Mandanten Trennung, Token Durchsatz und das Zusammenspiel von Inferenz Engine, Frontend und Vektor Datenbank.

Für Unternehmen mit DSGVO Bedarf bieten wir das volle Spektrum. Im Vibe Coding Consulting klären wir Stack Auswahl und Architektur, in der Vibe Coding Datenschutz Beratung bauen wir Rollenkonzepte, Verschlüsselung und Audit Logging. Wir migrieren bestehende Cloud Setups auf Ollama oder vLLM, richten Open WebUI als Multi Tenant Frontend ein und beraten zur passenden Compliance Architektur für Berufsgeheimnisträger. Wer den größeren Schritt plant, findet bei der SaaS Ablösung mit eigener Plattform die strategische Ergänzung. Für kleinere Teams ist KI Assistenten selbst hosten der passende Einstieg.

Self Hosted KI auf eigener Infrastruktur gibt Unternehmen drei Dinge zurück, die in der Cloud schwer zu halten sind: volle Datensouveränität, planbare Kosten und Unabhängigkeit von Preisänderungen oder Modell Abschaltungen.

Datensouveränität ohne Auftragsverarbeitung Dritter. Die DSGVO verlangt für jede Verarbeitung personenbezogener Daten eine Rechtsgrundlage und einen Auftragsverarbeitungsvertrag mit jedem Dienstleister, der die Daten sieht. Sobald ein Prompt an OpenAI oder Anthropic geht, ist ein US Anbieter im Spiel. Self Hosting schaltet diesen Vertragspartner aus, weil keine Daten das eigene Rechenzentrum verlassen.

Berufsgeheimnis bleibt gewahrt. Für Anwälte, Steuerberater, Wirtschaftsprüfer, Ärzte und Therapeuten ist das zentral, weil Paragraph 203 StGB die Weitergabe anvertrauter Geheimnisse unter Strafe stellt. Cloud KI Anbieter sind nicht ohne weiteres als zulässige Hilfspersonen eingeordnet. Eine lokale Inferenz schließt das Risiko sauber aus.

Kosten werden planbar. Cloud KI rechnet pro Million Token ab. Mit vielen Nutzern und Agenten wächst die Rechnung mit jedem Prompt. Eigene Hardware kostet einmal in der Anschaffung, danach vor allem Strom und Wartung. Ob und wann sich das rechnet, hängt von Last und Modell ab. Diese Rechnung machen wir mit Teams ehrlich auf, Hintergründe stehen unter lokale KI wirtschaftlich betreiben.

Schutz vor Modell Abschaltungen. Cloud Anbieter ziehen ältere Modelle regelmäßig aus dem Angebot. Wer seinen Workflow auf ein lokal gespeichertes Modell aufsetzt, betreibt ihn unverändert weiter, auch wenn neue Versionen erscheinen.

Für Unternehmens Setups nutzen wir einen abgestimmten Stack, den wir täglich in eigener Production fahren. Die Bausteine sind austauschbar. Diese Kombination hat sich für deutsche Unternehmen mit DSGVO Anspruch als robust erwiesen.

Inferenz Engine als Default: Ollama. Einfache Installation, breite Modell Auswahl, gute Performance auf Apple Silicon und auf Linux mit NVIDIA GPU. Bei vielen parallelen Nutzern wechseln wir auf vLLM mit PagedAttention, das im Multi User Betrieb deutlich mehr Tokens pro Sekunde liefert. Für CPU only Setups oder eingebettete Geräte ist llama.cpp die richtige Wahl.

Multi User Frontend: Open WebUI. Open Source Web Interface mit Benutzer Verwaltung, Rollen, Gruppen, RAG, Modell Routing und Logging. Es lässt sich mit wenigen Docker Befehlen aufsetzen und über LDAP oder OIDC an Active Directory anbinden.

Agenten Orchestrierung: Paperclip. Wenn aus dem einfachen Chat ein Team aus spezialisierten KI Agenten werden soll, ist Paperclip die passende Wahl. Org Charts, Budget Kontrolle, Audit Log, alles selbst gehostet.

Open Weight Modelle statt US API. Qwen3 Coder und Llama sind unsere Arbeitstiere für Coding und Texte. Seit August 2026 läuft mit Qwen3.8 27B zudem ein starkes dichtes Modell auf einer einzelnen 24 GB GPU. Sehr große Modelle wie GLM 5.3 oder Kimi K3 haben mehrere hundert Milliarden bis Billionen Parameter. Für echtes Self Hosting brauchen sie Rechenzentrums Hardware, Ollama bietet sie als Cloud Variante an. Embeddings laufen auf multilingual e5 large: MIT lizenziert, rund hundert Sprachen, kostenlos. Alternativen zeigt unser Vergleich der Embedding Modelle für RAG.

Hosting Default: Ollama auf eigenem Server. Bei Bedarf gehostete Inferenz über unseren Partner Conversis in Duisburg. Das ist die Enterprise Option für regulierte Branchen, deren Compliance eine spezialisierte Rechenzentrums Umgebung verlangt.

Self Hosted KI ist kein binärer Schalter, sondern ein Spektrum. Wer als Unternehmen die passende Stufe für seinen Bedarf finden will, sollte vier Hosting Modelle kennen und für jedes Use Case bewusst eine Wahl treffen. Die Stufen unterscheiden sich in Datenhoheit, Bedienkomfort, Kosten und der Frage, wer letztlich auf die Daten Zugriff hat.

Die folgende Tabelle ordnet die Stufen mit typischen Tools und der jeweiligen Eignung. Die anschließende Infografik zeigt die Souveränität visuell als aufsteigende Balken.

In Unternehmen reicht eine einzige geteilte KI Installation selten aus. Sobald mehrere Abteilungen, Mandanten oder Tochtergesellschaften zugreifen, braucht es saubere Trennung auf allen Ebenen. Ohne Multi Tenant Design entstehen schnell DSGVO Konflikte, Vertraulichkeitsprobleme und Audit Fallen.

Mandanten Trennung auf Datenebene. Jeder Mandant bekommt eine eigene Datenbank, einen eigenen Vektor Index für RAG und eigene Storage Buckets. Cross Tenant Queries sind technisch unmöglich, nicht nur durch Rechte verboten. Open WebUI bildet das über Gruppen und Berechtigungen ab und bindet bestehende Identity Provider per OIDC oder LDAP an.

Modell Trennung nach Sensibilität. Nicht alle Daten brauchen das gleiche Modell. Für allgemeine Recherche reicht ein kleines schnelles Modell, für hoch sensible juristische Texte ein eigens auditiertes Setup mit Protokollierung. Über einen Routing Layer wie LiteLLM oder einen eigenen Proxy hinterlegst du pro Mandant und pro Use Case das passende Modell.

Audit Logging als Pflicht. Wer welchen Prompt wann gestellt hat und welche Antwort zurückkam, gehört in ein revisionssicheres Log. Bei Berufsgeheimnisträgern und in regulierten Branchen fragt der Prüfer im Ernstfall genau danach. Paperclip bringt Audit Log und Budget Kontrolle mit, Open WebUI speichert Konversationen pro Nutzer.

Rate Limits und Budget Töpfe pro Tenant. Eine einzige Abteilung kann mit unkontrollierten Agent Loops die ganze Inferenz Infrastruktur in die Knie zwingen. Quoten pro Mandant verhindern das und machen Kosten und Last fair zuordenbar. Im Vibe Coding Consulting nehmen wir genau diese Architektur Themen mit ins Setup auf.

Sobald Datensouveränität nicht verhandelbar ist, sortieren sich die Use Cases von selbst. NCA berät zu diesen typischen Szenarien, in denen Self Hosted KI den Unterschied macht.

OCR und Verarbeitung sensibler Akten. Verträge, Personalakten, medizinische Befunde, Schriftsätze. Solche Dokumente dürfen nicht an externe APIs. Lokale Vision Modelle wie Qwen3 VL oder das spezialisierte GLM OCR laufen über Ollama auf dem eigenen Server und extrahieren Text und Struktur. Das Ergebnis landet in der eigenen Datenbank. Wer ein fertiges Archiv sucht, schaut sich Paperless-ngx mit lokaler KI über Ollama an.

Interne Recherche mit RAG auf Geschäftsgeheimnissen. Mitarbeiter fragen nach Lieferanten Konditionen, Prozessdokumenten oder vertraulichen Strategie Papieren, ohne dass eine externe KI diese Dokumente je sieht. Open WebUI mit eigener Knowledge Base und einem lokalen Embedding Modell wie multilingual e5 large löst genau das.

Transkription von Meetings und Interviews. Aufzeichnungen aus Vorstandssitzungen, Personalgesprächen oder Mandanten Terminen gehören nicht in eine Cloud Transkription. Lokale Whisper Varianten liefern Transkripte direkt auf eigener Hardware.

KI gestütztes Coding für vertraulichen Code. Wenn Quellcode unter Geheimhaltung fällt, darf er nicht an Cloud Modelle gehen. Die Lösung: Claude Code oder OpenCode laufen über Ollama gegen lokale Coding Modelle wie Qwen3 Coder, Qwen3.8 27B oder Devstral Small 2. Der Code verlässt das Haus nicht.

Agenten Teams für Backoffice Automatisierung. Buchhaltung, HR, Compliance, Lieferanten Onboarding. Wer hier Agenten einsetzt, braucht eine Orchestrierungs Schicht, die die Mandanten Trennung respektiert. Paperclip übernimmt Org Chart und Budget Kontrolle, lokale Modelle die Inferenz.

Wer in Deutschland mit personenbezogenen oder geheimhaltungspflichtigen Daten arbeitet, kommt um drei rechtliche Hebel nicht herum: DSGVO, Paragraph 203 StGB und die NIS2 Richtlinie. Self Hosted KI ist in vielen Konstellationen der sauberste Weg.

DSGVO Auftragsverarbeitung mit US Anbietern bleibt heikel. Trotz EU US Data Privacy Framework gibt es weiter rechtliche Unsicherheit bei Daten Transfers in die USA. Eine eigene Inferenz nimmt das Thema aus dem Verarbeitungsverzeichnis, weil kein externer Auftragsverarbeiter beteiligt ist.

Paragraph 203 StGB für Berufsgeheimnisträger. Anwälte, Ärzte, Steuerberater, Wirtschaftsprüfer und Therapeuten dürfen anvertraute Geheimnisse nicht an Dritte weitergeben. Auch wenn ein KI Anbieter zur Verschwiegenheit verpflichtet ist, bleibt die Einordnung als zulässige Hilfsperson umstritten. Lokale Inferenz vermeidet die Diskussion. Mehr dazu unter lokale KI für Compliance und Berufsgeheimnis.

NIS2 für wichtige und besonders wichtige Einrichtungen. Energie, Wasser, Gesundheit, Finanzen, Telekommunikation und viele weitere Sektoren. Seit dem 6. Dezember 2025 gilt in Deutschland das NIS2 Umsetzungsgesetz, ohne Übergangsfrist. Es verlangt strenge Cybersecurity Maßnahmen inklusive Lieferketten Sicherheit. Ein selbst kontrollierter KI Stack reduziert das Lieferantenrisiko deutlich.

Der Bußgeld Rahmen rechtfertigt die Investition. DSGVO Bußgelder reichen bis 20 Millionen Euro oder 4 Prozent des weltweiten Jahresumsatzes, je nachdem, welcher Betrag höher ist. Ein einziger ernster Verstoß kann damit teurer werden als eine eigene GPU Infrastruktur. Aufstellung und Architektur klären wir in der Vibe Coding Datenschutz Beratung.

Für den NTT DATA Report zu Private und Sovereign AI wurden über 2500 Organisationen befragt. Das Ergebnis zeigt, wie hoch das Thema hängt:

• 95 Prozent halten private oder souveräne KI für wichtig in ihrer KI Strategie.
• 96 Prozent erwägen wegen geopolitischer Spannungen, KI Infrastruktur in bestimmte Regionen zu verlagern.
• 57 Prozent der CEOs sehen Datenschutz und Datensouveränität als Risiko für ihr Unternehmen.

Genau diese Spannung meint Dubey mit Enterprise Readiness. Wer Self Hosted KI nur als Compliance Pflicht versteht, baut eine teure Sonderlösung, die niemand nutzen will. Wer sie als operatives Fundament begreift, schafft eine Architektur, die über Standorte und Geschäftsbereiche hinweg funktioniert und mit dem Unternehmen wächst. NCA begleitet den Schritt vom punktuellen Setup zum tragfähigen Stack, in dem Multi Tenant Trennung, Audit Logging und Modell Routing kein Add On sind, sondern das Fundament. Den größeren Rahmen beschreibt unser Beitrag zur digitalen Souveränität für Entwickler.

Never Code Alone berät zu Self Hosting Setups, betreibt die eigene Infrastruktur in Deutschland und kennt die Stolperfallen aus erster Hand. Drei Beobachtungen aus unserer Beratung 2026.

Die GPU Frage ist selten der Engpass. Viele Unternehmen denken zuerst an große H100 Cluster und schrecken vor den Kosten zurück. Für viele Setups reicht ein Mac Mini mit M4 oder eine Workstation mit RTX 4090, weil die Last selten gleichzeitig auftritt und kleinere Modelle viele Aufgaben gut lösen. Wir helfen Teams, die passende Hardware zu finden, statt überdimensioniert einzukaufen.

Der eigentliche Aufwand liegt im Frontend und in der Anbindung. Open WebUI aufsetzen dauert Stunden. Single Sign On, LDAP, Rollenkonzepte, RAG mit eigenen Dokumenten und das Onboarding der Mitarbeiter brauchen Wochen. Wer das unterschätzt, scheitert an der Akzeptanz, nicht an der Technik. Das gleiche Muster sehen wir bei der SaaS Ablösung mit eigener Plattform.

Hybride Setups sind oft der pragmatische Mittelweg. Sensible Daten laufen lokal, unkritische Aufgaben dürfen weiter über Cloud APIs. Voraussetzung ist ein sauberer Routing Layer, der die Daten Klassifizierung respektiert. Solche Setups bauen wir im Vibe Coding Consulting und übernehmen auf Wunsch das Onboarding, damit das interne Team danach selbst weiter operiert.

Zum Vertiefen: Ollama Grundlagen im KI Tools Glossar, Vibe Coding Best Practices für DSGVO konformen Aufbau, llama.cpp für CPU only Setups, Hermes Agent für selbstlernende Agenten und Coolify als Self Hosted PaaS.

Die Infrastruktur ist nur die halbe Miete. Erst wenn das Entwicklerteam täglich damit arbeitet, zahlt sie sich aus. Wie wir Quality Gates und Agenten im Team verankern, steht unter KI Agenten im Entwicklerteam. Ein gutes Setup ist 2026 auch ein Argument im Bewerbungsgespräch.

Die wichtigsten Fragen rund um Self Hosted KI in Unternehmen, von DSGVO und Multi Tenant bis zu Hardware Auswahl und Kosten.