KI · 03.07.2026 · Lesezeit ca. 8 Min.

KI-Chatbot mit eigenen Daten: So geht's DSGVO-konform

„Kann die KI nicht einfach unsere Handbücher lesen und Fragen beantworten?", Doch, kann sie. Die Technik dahinter heißt RAG, ist erprobt und auch für Unternehmen mit 20 Mitarbeitern erschwinglich. Die eigentliche Frage ist nicht ob, sondern wie: Welche Daten fließen wohin, und was verlangt die DSGVO? Dieser Artikel gibt den Überblick, ohne Marketing-Nebel.

Warum ChatGPT allein Ihr Problem nicht löst

Öffentliche KI-Chatbots kennen das Internet, aber nicht Ihre Firma. Ihre Wartungsverträge, Preislisten und Serviceberichte kommen in den Antworten schlicht nicht vor, oder schlimmer: Das Modell erfindet plausibel klingende Antworten („Halluzinationen").

Und selbst wenn Mitarbeiter firmeninterne Dokumente in einen öffentlichen Chatbot kopieren, um das zu umgehen: Genau dann entsteht das Datenschutzproblem, das viele Geschäftsführer zu Recht fürchten, unkontrollierter Abfluss von Kunden- und Betriebsdaten an einen Drittanbieter.

RAG: Der Chatbot, der Ihre Dokumente zitiert

Die Lösung heißt Retrieval-Augmented Generation (RAG). Vereinfacht funktioniert das so:

1. Ihre Dokumente (Handbücher, Verträge, Projektakten, Wiki) werden indexiert und in einer durchsuchbaren Wissensbasis abgelegt, bei Ihnen bzw. in einer von Ihnen kontrollierten Umgebung.
2. Stellt jemand eine Frage, sucht das System zuerst die relevanten Textstellen aus Ihren Dokumenten heraus.
3. Erst dann formuliert das Sprachmodell eine Antwort, auf Basis genau dieser Fundstellen, mit Quellenangabe.

Der Unterschied zu „ChatGPT fragen" ist fundamental: Der Assistent antwortet aus Ihrem Wissensbestand und zeigt, woher die Antwort stammt. Was nicht in den Dokumenten steht, wird als „nicht gefunden" ausgewiesen, statt erfunden.

Die drei Betriebsmodelle, und was die DSGVO dazu sagt

Modell 1: EU-Cloud mit Auftragsverarbeitungsvertrag

Wissensbasis und Sprachmodell laufen bei einem europäischen Anbieter oder in einer EU-Region eines Cloud-Anbieters. Rechtlich abgesichert über einen Auftragsverarbeitungsvertrag (AVV) nach Art. 28 DSGVO. Für die meisten KMU der beste Kompromiss aus Kosten, Qualität und Compliance.

Modell 2: On-Premises, nichts verlässt das Haus

Offene Sprachmodelle laufen auf eigener Hardware oder einem dedizierten Server in Deutschland. Kein Dokument, keine Frage, keine Antwort verlässt Ihre Infrastruktur. Erste Wahl bei Konstruktionsdaten, Gesundheitsdaten oder strengen Kunden-NDAs, gegen etwas höhere Einstiegskosten.

Modell 3: Hybrid

Unkritische Anfragen nutzen die Cloud, sensible Datenbestände bleiben lokal. Sinnvoll, wenn nur ein Teil der Dokumente Schutzbedarf hat, erfordert aber eine saubere Klassifizierung vorab.

Unabhängig vom Modell gilt: Vor dem Start gehören ins Pflichtenheft eine Übersicht, welche Datenkategorien wohin fließen, ein AVV mit jedem beteiligten Dienstleister, die Aufnahme ins Verarbeitungsverzeichnis und, je nach Datenlage, eine Datenschutz-Folgenabschätzung. Das klingt nach Bürokratie, ist aber in ein bis zwei Terminen erledigt, wenn es von Anfang an mitgedacht wird.

Das unterschätzte Thema: Zugriffsrechte

Ein KI-Assistent, der alles weiß, ist ein Problem, wenn er alles jedem erzählt. Gehaltslisten, Kalkulationen und Personalakten dürfen in den Antworten nur auftauchen, wenn die fragende Person die Quelldokumente auch öffnen dürfte. Ein sauberes Rechtekonzept, der Assistent erbt die Berechtigungen Ihrer Ablage, gehört deshalb in jedes seriöse Projekt von Tag eins.

Woran KI-Projekte in KMU wirklich scheitern

• Zu groß gestartet: „Die KI soll alles können" endet im nie fertigen Mammutprojekt. Besser: ein Prozess, ein messbares Ziel, 4 bis 6 Wochen Pilot.
• Chaotische Datenbasis: Der Assistent ist so gut wie die Dokumente, die er kennt. Veraltete Anleitungen produzieren veraltete Antworten, ein Datenputz vorab zahlt sich doppelt aus.
• Kein Erfolgsmaß: Ohne Vorher-Messung (z. B. Suchzeit pro Servicefall) lässt sich der Nutzen später nicht belegen, und das Projekt intern nicht verteidigen.
• Datenschutz als Nachgedanke: Wer den AVV erst nach dem Go-live verhandelt, baut auf Sand. Andersherum wird ein Schuh draus: Compliance zuerst, dann skalieren.

Was kostet ein KI-Assistent mit Firmenwissen?

Ein klar umrissenes Pilotprojekt beginnt bei etwa 4.500 €; ein produktionsreifer Assistent mit Rechtekonzept und Anbindung Ihrer Dokumentablagen liegt typischerweise zwischen 9.000 und 20.000 €, plus laufender Betrieb. Details und den typischen Projektablauf finden Sie auf der Seite KI & Automatisierung.

Fazit

Ein KI-Chatbot mit eigenen Daten ist 2026 kein Forschungsprojekt mehr, sondern solide Ingenieursarbeit: RAG-Architektur, klares Betriebsmodell, AVV, Rechtekonzept, fertig ist ein Assistent, der Suchzeiten drastisch senkt und trotzdem den Datenschutzbeauftragten ruhig schlafen lässt. Entscheidend ist der Start mit einem kleinen, messbaren Piloten statt mit der großen Vision.