Was ist lokale KI als Compliance Pflicht?

Lokale KI bezeichnet den Betrieb von Sprachmodellen auf eigener Hardware oder im selbst kontrollierten Rechenzentrum, ohne dass Prompts oder Daten an externe Cloud Anbieter wie OpenAI, Anthropic oder Google fließen. In bestimmten Branchen und für bestimmte Datenklassen ist diese lokale Inferenz keine Stil Entscheidung mehr, sondern rechtliche oder vertragliche Pflicht.

Wer Patientenakten, Mandantenakten, Personalakten, Steuerunterlagen, Patente oder klassifizierte Behördendaten verarbeitet, verstößt mit einem Cloud KI Aufruf an US Anbieter nicht selten gegen DSGVO, Berufsgeheimnis nach Paragraph 203 StGB, Sektor Regulierung oder konkrete Verträge mit den Datengebern. Lokale KI ist in diesen Fällen die einzige Option, die Aufgabe überhaupt regelkonform mit KI Unterstützung zu lösen.

Diese Seite ordnet die Pflicht Szenarien sauber ein und zeigt mit Paragraphenbezug, welche Datenklassen lokale Inferenz erzwingen. Wer wissen will, wann sich lokale KI wirtschaftlich rechnet, findet das im zweiten Vergleich zu Edge, Offline und Mass Processing als ROI Treiber.

NCA arbeitet täglich mit lokaler KI: Ollama mit Qwen und Llama auf eigener Infrastruktur, Coding Workflows mit lokalen Modellen, hybride Routing Patterns für gemischte Anforderungen. Wir kennen den Stack aus der Praxis und ordnen ihn ehrlich für die Compliance Frage ein: was muss lokal bleiben, was kann hybrid, was darf in die Cloud.

Konkrete NCA Leistungen für lokale KI Compliance Setups: Vibe Coding Consulting für die Wahl von Modellen und Hosting, Vibe Coding Best Practices für DSGVO konformen Aufbau, Beratung zu Open WebUI als Self Hosted Frontend, Architektur Reviews für hybride Setups mit lokaler Vorverarbeitung und Cloud nur für unkritische Tasks, sowie Migration von llama.cpp oder vLLM Setups vom Prototyp in produktive Inferenz Cluster.

Die DSGVO verlangt für jede Verarbeitung personenbezogener Daten eine Rechtsgrundlage und einen Auftragsverarbeitungsvertrag mit jedem Dienstleister, der die Daten zu Gesicht bekommt. Bei US Cloud KI Anbietern wird das zur strukturellen Hürde: Auch wenn AWS, OpenAI oder Anthropic Standardvertragsklauseln anbieten, bleibt nach dem Schrems II Urteil des EuGH und der nachfolgenden Praxis der deutschen Aufsichtsbehörden offen, ob US Anbieter den Zugriff durch US Behörden nach FISA 702 wirksam ausschließen können.

Für die Praxis heißt das: Bei besonderen Kategorien personenbezogener Daten nach Artikel 9 DSGVO — Gesundheit, Religion, Gewerkschaftszugehörigkeit, sexuelle Orientierung, biometrische Daten — wird die Risikoabwägung schnell unmöglich. Dasselbe gilt für Bewerberdaten, Personalakten, Kundendaten von Datenschutzbeauftragten und alles, wo der Datengeber explizit EU Verarbeitung ausbedungen hat. Lokale Inferenz löst das Problem an der Wurzel: Es gibt keinen Auftragsverarbeiter, weil die Daten den eigenen Server nicht verlassen.

NCA berät bei der Migration solcher Workflows zurück in lokale Setups — typischerweise mit Ollama als Runner, Open WebUI als User Interface und einem dokumentierten Verfahrensverzeichnis, das den Wechsel weg von Cloud KI sauber begründet. Mehr zur DSGVO konformen Architektur findest du in unserer Vibe Coding Best Practices Übersicht.

Berufsgeheimnisträger nach Paragraph 203 StGB stehen unter strengerer Schweigepflicht als andere Berufe: Rechtsanwälte, Ärzte, Zahnärzte, Apotheker, Psychotherapeuten, Steuerberater, Wirtschaftsprüfer, Sozialarbeiter in bestimmten Funktionen. Wer als Berufsgeheimnisträger Mandanten oder Patientendaten an einen Dienstleister gibt, ohne dass dieser explizit in den geschützten Personenkreis gezogen wird, begeht eine strafbare Verletzung von Privatgeheimnissen. Cloud KI Anbieter mit Servern außerhalb des Geltungsbereichs sind in dieser Konstellation ein juristisches Minenfeld.

Seit der Reform von Paragraph 203 StGB im Jahr 2017 lassen sich Dienstleister vertraglich in die Schweigepflicht einbeziehen, aber nur unter engen Voraussetzungen: Sie müssen schriftlich verpflichtet werden, die Daten dürfen nur soweit übermittelt werden wie erforderlich, und der Berufsgeheimnisträger bleibt verantwortlich. Bei einem US Cloud KI Anbieter mit globaler Infrastruktur, Subprozessoren und automatisierten Logs ist diese Pflicht praktisch nicht erfüllbar — schon weil der Anbieter selbst keinen Überblick hat, wer wo welche Daten sieht.

Lokale KI auf einem Anwaltsserver, einer Praxis Workstation oder im eigenen Rechenzentrum löst das sauber: Die Daten verlassen die geschützte Sphäre nicht, und das Modell kann trotzdem für Diktatvorlagen, Schriftsatz Drafts, Anamnese Zusammenfassungen oder Steuererklärungs Klassifikation genutzt werden. NCA berät hier zur Auswahl deutschsprachiger Modelle wie Qwen, Mistral oder Llama auf Ollama und dokumentiert den Compliance Aufbau.

Über DSGVO und Berufsgeheimnis hinaus gibt es Sektor spezifische Pflichten, die Cloud KI faktisch ausschließen. Im Gesundheitswesen regelt die Telematikinfrastruktur strikt, welche Systeme mit elektronischen Patientenakten und Gesundheitsdaten interagieren dürfen — und auf welcher Hardware sie laufen müssen. Im Finanzsektor verlangen BaFin und EBA für regulierte Institute eine genaue Kontrolle über alle Auslagerungen, inklusive KI Modellen, die Bonitäts oder Geldwäsche relevante Entscheidungen vorbereiten. Für kritische Infrastruktur nach BSI KritisV gelten ergänzende Anforderungen an Verfügbarkeit, Integrität und Vertraulichkeit, die mit externen Cloud KI Pipelines schwer vereinbar sind.

Die Konsequenz: Auch wo die DSGVO theoretisch noch Spielraum lassen würde, schließt die Sektor Regulierung externe KI Anbieter in der Praxis aus. Lokale Inferenz auf zertifizierter Hardware, ergänzt um auditierbare Logging und Versionierung der Modelle, ist die einzige tragfähige Variante. Die vLLM Inference Engine oder llama.cpp als optimierte Runner haben sich in solchen Setups bewährt, weil sie reproduzierbare Builds, klare Versionsstände und auditierbare Konfiguration liefern.

Bestimmte Umgebungen dürfen physisch nie eine Verbindung zum öffentlichen Internet haben: Behördennetze mit Verschlusssachen Einstufung VS NfD oder höher, Verteidigungsnetze, OT Netze in Industrieanlagen, Pharma Forschungsnetze mit klinischen Studiendaten. Diese Air Gapped Setups schließen jede Cloud KI Variante schon technisch aus, weil es keinen Pfad zur API gibt und auch keiner aufgemacht werden darf.

Lokale KI ist hier nicht die bessere, sondern die einzige Option. Open Weight Modelle wie Llama, Qwen, Mistral, DeepSeek oder Gemma lassen sich auf eigener Hardware deployen, regelmäßig auditieren und ohne Online Update Pflicht betreiben. Der Inference Stack — Ollama, llama.cpp, vLLM oder die in Ubuntu 26 Inference Snaps gepackten Varianten — ist Open Source und damit auditierbar. NCA hat in Beratungsprojekten Setups dieser Art begleitet und kennt die typischen Stolperfallen bei Hardware Auswahl, Modell Quantisierung und Build Reproduzierbarkeit.

Auch ohne regulatorische Pflicht gibt es eine Klasse von Daten, die niemand freiwillig an externe Anbieter gibt: eigener Quellcode, proprietäre Trainingsdaten, ungeöffnete Patentanmeldungen, M&A Dokumente, Verträge in der Verhandlungsphase. Die Allgemeinen Geschäftsbedingungen der großen Cloud KI Anbieter schließen Trainings auf Kundeneingaben in Enterprise Tarifen zwar aus, aber die Daten landen trotzdem auf fremder Infrastruktur, in Logs, in Monitoring Systemen — und im Worst Case auf Subpoenas von US Behörden.

Für IP kritische Projekte ist lokale KI nicht Pflicht im juristischen Sinn, aber Pflicht im Risiko Management Sinn. Wer einen Coding Agent auf der eigenen Codebase laufen lässt, sollte das mit Ollama und einem lokalen Modell wie Qwen3 Coder tun, nicht mit Claude oder GPT über die Cloud. Tools wie OpenCode oder Aider unterstützen lokale Modelle als Provider und liefern den vollen Funktionsumfang ohne Datenabfluss. NCA berät zur richtigen Modell und Hardware Wahl für IP sensitive Coding Workflows.

Lokale KI Pflicht heißt nicht, dass jede Cloud KI Nutzung im Unternehmen verboten wird. Sie heißt: Für die spezifische Datenklasse darf nichts mehr raus. In der Praxis lassen sich Workflows oft sauber trennen — sensible Verarbeitung lokal, allgemeine Recherche, Übersetzungen unkritischer Texte oder Blog Drafts gehen weiterhin in die Cloud.

Ein bewährtes Pattern: Ein lokales Modell als Router klassifiziert jeden Request und entscheidet, ob er lokal beantwortet wird oder eine Cloud Anfrage erlaubt ist. Daten mit Personenbezug, Codebasen, Mandantenakten bleiben lokal — generische Wissensfragen oder Marketing Content gehen über die schnellere und stärkere Cloud. NCA hilft beim Aufbau solcher Routing Architekturen mit Dify, n8n oder Symfony Mate als Orchestrierungs Schicht.

Wer den Server nicht selbst betreiben will, hat eine dritte Option: gehostete Inferenz bei einem deutschen Partner. NCA arbeitet mit Conversis in Duisburg zusammen, die dedizierte GPU Server in deutschen Rechenzentren mit DSGVO konformer Auftragsverarbeitung anbieten. Default bleibt direkt über Ollama auf eigener Hardware, bei Bedarf gehostete Inferenz über Partner Conversis.

NCA berät Teams, die ihre KI Workflows in Einklang mit DSGVO, Berufsgeheimnis und Sektor Regulierung bringen wollen. Wir kennen den lokalen KI Stack aus eigener Arbeit: Ollama als Runner, Open WebUI als Frontend, Open Weight Modelle wie Qwen, Mistral oder Llama. Wir helfen bei der Frage, welche Datenklassen lokal bleiben müssen und welche Workflows hybrid lösbar sind.

Typische Beratungs Themen: Bestandsaufnahme der vorhandenen KI Touchpoints im Unternehmen, Risiko Klassifikation nach Datenklassen, Auswahl von Modellen und Runner, Hardware Dimensionierung von Workstations bis Inference Cluster, Migration bestehender Cloud KI Setups zurück in eigene Infrastruktur. Wer den Server nicht selbst stellen will, kann über unser Netzwerk an deutsche Hosting Partner vermittelt werden — Default bleibt direkt über Ollama auf eigener Hardware.

Wir kombinieren technische und konzeptionelle Beratung. RAG Systeme für lokale Wissenssuche, Auswahl deutschsprachiger Modelle, Vergleich von Ollama als Einzelplatz und vLLM als Skalierungs Cluster, Einordnung von Inferenz Plattformen wie Groq gegen lokale Setups. Bei IP kritischem Coding empfehlen wir lokale Modelle mit Tools wie OpenCode oder Aider. Mehr zur Modellauswahl findest du in unserer Vibe Coding Modelle Übersicht.

Die wichtigsten Fragen, die Mandanten, Patienten und Kunden zu lokaler KI und Compliance stellen — von der DSGVO über Berufsgeheimnis bis zur konkreten technischen Umsetzung.