Zum Hauptinhalt springen

Sie halten ihr Versprechen nicht: Zur Auswertung von Nutzerdaten durch KI-Anbieter

  • Die Diskrepanz zwischen den proklamierten Datenschutzversprechen kommerzieller KI-Anbieter und der empirischen Realität der Datenverarbeitung ist ein zentrales Problem der aktuellen IT-Governance.

  • Zwischen den Datenschutzversprechen kommerzieller KI-Anbieter und dem, was sich von außen über ihre Datenverarbeitung nachprüfen lässt, klafft eine Lücke. Das Bundesamt für Sicherheit in der Informationstechnik führt die „fehlende Vertraulichkeit eingegebener Daten“ als eigenständiges Risiko generativer KI-Modelle: Neben dem ungewollten Abfluss während der Datenübertragung bestehe „die Möglichkeit, dass das betreibende Unternehmen auf die Daten zugreift und sie gegebenenfalls zum weiteren Training des Modells nutzt“ (BSI, 2025, Risiko R2). In welchem Umfang das im Einzelfall geschieht, wer intern Zugriff hat und wie lange gespeichert wird, legen die wenigsten Anbieter offen. Dieser Beitrag ordnet ein, was sich zu dieser Frage belegen lässt — und wo die Belege enden. Betroffen ist ein wachsender Teil des Mittelstands: „Etwas mehr als ein Viertel der Unternehmen (26 %) in Deutschland nutzte 2025 künstliche Intelligenz (KI)“; bei mittleren Unternehmen mit 50 bis 249 Beschäftigten waren es 36 Prozent, bei kleinen mit 10 bis 49 Beschäftigten 23 Prozent (Statistisches Bundesamt, 2025).

    1. Telemetrie und die Erfassung von Eingabedaten

    Datenschutzerklärungen und „Opt-out“-Möglichkeiten betreffen in erster Linie die Frage, ob Eingaben zum Training weiterverwendet werden dürfen. Davon zu unterscheiden ist die Frage, welche Daten beim Betrieb des Dienstes überhaupt das Haus verlassen. Für offene, cloudbasiert betriebene KI-Anwendungen hält die Datenschutzkonferenz fest: „Die Eingabedaten verlassen damit den geschützten Bereich der Anwender:in und können, je nach Konzeption der KI-Anwendung, von dieser auch für die Beantwortung von Anfragen anderer Anwender:innen verwendet werden.“ (DSK, 2024, Abschnitt 1.7) Welche Telemetrie- und Interaktionsdaten darüber hinaus anfallen, geben die Anbieterangaben nur grobkörnig wieder; einen öffentlich nachprüfbaren Nachweis dafür, dass Eingaben entgegen einer gesetzten Opt-out-Einstellung zu Trainingszwecken verwendet werden, haben wir bei der Recherche zu diesem Beitrag nicht gefunden. Der Foundation Model Transparency Index der Stanford University bewertet nicht die tatsächliche Datenverarbeitung, sondern ausschließlich, wie viel die Anbieter selbst offenlegen; in der Fassung vom Mai 2024 erreichen die 14 bewerteten Anbieter im Mittel 58 von 100 Punkten, wobei die dauerhaften Lücken vor allem beim Urheberrechtsstatus der Trainingsdaten, beim Datenzugang, bei der Datenarbeit und bei den nachgelagerten Auswirkungen liegen (vgl. Bommasani et al., 2024). Speicherdauer, interne Zugriffsrechte und die Weiterverarbeitung konkreter Nutzer-Prompts deckt der Index dagegen nicht ab; er hält im Bereich Nutzerdaten lediglich fest, ob eine Schutzrichtlinie vorliegt und wie auf Nutzungsdaten zugegriffen werden kann. Damit ist zugleich die Reichweite dieses Belegs benannt: Der Index erfasst, worüber Anbieter keine Auskunft geben, nicht, was mit den Prompts tatsächlich geschieht. Für die betriebliche Praxis ist das die unbequemere Lage – was in dieser Dokumentationslücke vor sich geht, lässt sich von außen weder bestätigen noch entkräften.

    2. Die methodische Insuffizienz von Anonymisierungsverfahren

    Ein zentrales Argument der KI-Anbieter zur Beruhigung von Unternehmenskunden ist die angebliche De-Identifizierung von Benutzerdaten vor deren algorithmischer Auswertung. Die deutschen Datenschutzaufsichtsbehörden halten dem für die Eingabeseite ausdrücklich entgegen: „Um die Eingabe personenbezogener Daten zu vermeiden, reicht es regelmäßig nicht, Namen und Anschriften einer Eingabe zu entfernen. Gegebenenfalls lässt sich aus dem Zusammenhang ein Personenbezug zu betroffenen Personen herstellen. Bei KI-Anwendungen, deren Bestimmung es ist, Querbezüge auch aus unstrukturierten Daten herzustellen, ist diese Gefahr besonders hoch.“ (DSK, 2024, Abschnitt 3.1) Ein Prompt enthält Kontext, Fachbegriffe und Fallkonstellationen, die in ihrer Kombination selten sind — genau das erschwert die Rücknahme des Personenbezugs. Wie oft eine Re-Identifizierung bei den Prompt-Beständen kommerzieller Anbieter tatsächlich gelingt, ist nicht quantifiziert; eine belastbare Untersuchung dazu ist uns nicht bekannt. Für Berufsgeheimnisträger genügt allerdings die Möglichkeit: Eine Zusicherung vollständig anonymer Auswertung lässt sich auf dieser Grundlage nicht geben. Für die Modellseite hat der Europäische Datenschutzausschuss denselben strengen Maßstab formuliert: „Damit ein Modell anonym ist, sollte es sehr unwahrscheinlich sein, (1) Personen, deren Daten zur Erstellung des Modells verwendet wurden, direkt oder indirekt zu identifizieren und (2) solche personenbezogenen Daten durch Abfragen aus dem Modell zu extrahieren“ (EDSA, 2024); ob ein Modell diesen Maßstab erfüllt, ist von den Aufsichtsbehörden im Einzelfall zu prüfen.

    3. Verantwortung im Haus, Verarbeitung außer Haus

    Wer eine cloudbasierte KI-Anwendung eines externen Anbieters zu eigenen Zwecken einsetzt, bleibt datenschutzrechtlich der Verantwortliche; der Anbieter agiert nach Auffassung der Datenschutzkonferenz „als verlängerter Arm im Auftrag des Verantwortlichen“, weshalb regelmäßig ein Auftragsverarbeitungsverhältnis nach Art. 28 f. DS-GVO besteht (DSK, 2024, Abschnitt 2.1). Die Verantwortung bleibt damit im Haus, die tatsächliche Verarbeitung nicht. Ob die Abgrenzung zwischen „Trainingsdaten“ und „Servicedaten“ in der Praxis systematisch zugunsten der Anbieter ausgelegt wird, ist eine Beobachtung aus unseren Projekten und keine belegte Aussage. Für Unternehmen heißt das: Wer öffentliche cloudbasierte KI-Dienste nutzt, gibt die Verfügungsgewalt über die eingespeisten Informationen aus der Hand und behält das, was ihm der Vertrag zusichert. Nachprüfen lässt sich davon von außen wenig.

    4. Einordnung und Handlungsempfehlung

    Die Befundlage ist dünner, als die Debatte vermuten lässt — und genau darin liegt das Problem: Wer die Datenverarbeitung eines Anbieters nicht prüfen kann, sollte sie nicht voraussetzen. Selbstverpflichtungen der Anbieter sind aus Governance-Sicht keine tragfähige Grundlage für die Verarbeitung von Mandanten-, Patienten- oder Konstruktionsdaten. Praktikabel sind drei Wege: lokal betriebene Modelle, bei denen die Daten das Haus nicht verlassen; Enterprise-Umgebungen mit vertraglich zugesicherter und auditierbarer Nichtverwertung; oder der bewusste Verzicht darauf, schutzbedürftige Inhalte überhaupt einzugeben. Nur der zweite Weg verlangt Vertrauen in den Anbieter; die beiden anderen kommen ohne es aus — der erste allerdings um den Preis, dass die Absicherung dann an der eigenen Konfiguration hängt.

    Quellenverzeichnis

    Über den Autor

    Prof. Dr. rer. nat. Mike Espig

    Professor für Mathematik und angewandte Künstliche Intelligenz in der Industrie an der Westsächsischen Hochschule Zwickau · Gründungsleiter der Data Science Research Group · Geschäftsführer der E&O Gesellschaft für Integrierte KI-Systeme mbH

    Zuvor Max-Planck-Institut für Mathematik in den Naturwissenschaften und RWTH Aachen. Arbeitsschwerpunkte: numerische Verfahren für hochdimensionale Probleme, Tensormethoden und der Einsatz von Sprachmodellen in mittelständischen Unternehmen.