Zum Hauptinhalt springen

Unerwartetes Modellverhalten: Was Trainingsvorfälle für Unternehmen bedeuten

  • Die aktuellen Diskussionen rund um sogenannte „Trainings-Vorfälle“ bei KI-Systemen wie Claude Mythos ...

  • Die aktuellen Diskussionen rund um sogenannte „Trainings-Vorfälle“ bei KI-Systemen wie Claude Mythos verdeutlichen vor allem eines:

  • Moderne Sprachmodelle sind probabilistische Systeme: Ihre Ausgaben lassen sich aus dem Trainingsaufbau nicht vollständig vorhersagen. Das BSI hält dazu fest, dass unerwünschte Ausgaben „aufgrund des probabilistischen Charakters der Modelle […] trotz Verwendung von korrektem, hochqualitativem Trainingsmaterial erzeugt werden“ können und dass die Ausgaben „nicht zwangsweise reproduzierbar“ sind: „Selbst wenn eine identische Eingabe getätigt wird, kann die jeweils erzeugte Ausgabe unterschiedlich sein.“ Ein konkreter, datierter Befund dazu liegt seit dem 18. Dezember 2024 vor: Das Alignment-Science-Team von Anthropic beschrieb gemeinsam mit Redwood Research einen eigens konstruierten Versuchsaufbau, in dem Claude 3 Opus schädliche Anfragen in 14 Prozent der Fälle beantwortete, wenn das Modell annehmen konnte, die Antwort fließe in sein eigenes Training ein, und andernfalls nahezu nie. Zur Größenordnung gemeldeter Vorfälle insgesamt: Die AI Incident Database verzeichnete für 2025 362 Vorfälle nach 233 für 2024. Ihre Erfassung ist nach Angaben des AI Index Report auf englischsprachige Medien und öffentlichkeitswirksame Fälle verzerrt; eine Aussage speziell über deutsche mittelständische Unternehmen lässt sich daraus nicht ableiten. Diese Quellen dokumentieren Beobachtungen, sie nehmen keine Ursachenzuschreibung vor; dass unerwartetes Modellverhalten eher auf die Komplexität des Trainings als auf einen Kontrollverlust verweist, ist unsere Lesart dieser Beobachtungen (BSI, 2025; Greenblatt u. a., 2024, arXiv-Preprint, nicht referiert; Anthropic, o. J., Primärquelle des betroffenen Anbieters; Stanford HAI, 2026; Stanford University, 2024).

    Die strategische Frage für Unternehmen

    Wie lässt sich das Potenzial dieser Systeme nutzen, ohne die Kontrolle über sensible Daten und Prozesse zu verlieren? Diese Fragestellung gewinnt insbesondere in regulierten Branchen wie Steuerberatung, Rechtsberatung und Medizin an Bedeutung. Der EU AI Act schafft für KI-Systeme einen eigenen Rechtsrahmen. Unabhängig davon gelten für die Verarbeitung personenbezogener Daten die Anforderungen der DSGVO, gleich ob ein Sprachmodell beteiligt ist oder nicht (Europäische Union, 2016).

    Daraus folgt aus unserer Sicht kein Verzicht auf KI, sondern eine Anwendung, die den Kontext und die Kontrolle über die Daten mitdenkt.

    Lokale, unternehmensspezifische KI-Systeme

    Solche Systeme laufen auf der eigenen Infrastruktur: Die Daten verlassen das Haus nicht. Damit entfällt ein Risiko, das das BSI für generative KI-Modelle benennt, die als Service über das Internet bezogen werden — dass „das betreibende Unternehmen auf die Daten zugreift und sie gegebenenfalls zum weiteren Training des Modells nutzt“ (BSI, 2025). Nachvollziehbarkeit der einzelnen Ausgabe folgt daraus allerdings nicht: Auch lokal betriebene Modelle bleiben nach Darstellung des BSI durch „fehlende Erklärbarkeit innerer Arbeitsweisen und Entscheidungsprozesse (Blackbox-Charakter)“ in ihren Einzelentscheidungen intransparent. Was der lokale Betrieb liefert, ist Kontrolle über die Verarbeitung, nicht Erklärbarkeit des Modells.

    Handlungsperspektive für Organisationen

    Wer kontrollierbare, lokal betriebene KI-Lösungen einsetzt, behält die Verfügungsgewalt über die verarbeiteten Daten und bleibt unabhängig von Verfügbarkeit und Weiterentwicklung eines einzelnen Anbietermodells. Das BSI beschreibt die Gegenrichtung als Risiko: Beim Bezug über ein entwickelndes oder betreibendes Unternehmen kann „die Verfügbarkeit des Modells nicht kontrollierbar sein“, und es besteht „häufig keine Möglichkeit […], in die Entwicklung, Weiterentwicklung und Bereitstellung des Modells einzugreifen“ (BSI, 2025). Beides folgt aus der Betriebsform selbst und lässt sich nachträglich nur durch einen Wechsel der Architektur herstellen.

    Unser Fazit

    Die berichteten Fälle unerwarteten Modellverhaltens lassen sich nach unserer Einschätzung eher der Komplexität heutiger Modellarchitekturen und Trainingsverfahren zuordnen als einer grundlegenden Schwäche der Technologie. Von „Vorfällen beim Training“ sprechen wir dabei bewusst nicht: Der oben genannte Befund stammt aus einem eigens konstruierten Versuchsaufbau, nicht aus einem Zwischenfall im laufenden Betrieb, und die Zahlen der AI Incident Database erfassen Schäden beim Einsatz von KI-Systemen, nicht Ereignisse während ihres Trainings. Von außen belastbar entscheiden lässt sich das nicht, da die Trainingsdetails der großen Anbieter nur teilweise offengelegt sind. Für Unternehmen folgt daraus weniger ein Grund zum Abwarten als die Aufgabe, den eigenen Einsatzfall genau zu bestimmen.

    In regulierten Bereichen trägt ein KI-Einsatz nur so weit, wie er sich kontrollieren, nachvollziehen und rechtlich einordnen lässt. Lokale, unternehmensspezifische Lösungen bieten dafür einen brauchbaren Rahmen: Die Verarbeitung bleibt im Haus, und die Anbindung an bestehende Prozesse lässt sich gezielt festlegen. Die datenschutzrechtliche Bewertung des Einzelfalls nehmen sie niemandem ab.

    So bleibt KI ein Werkzeug, dessen Einsatzbedingungen das Unternehmen selbst bestimmt. Was es im Einzelfall einbringt, entscheidet sich an der Aufgabe, für die es eingesetzt wird.

    Quellenverzeichnis

    Über den Autor

    Prof. Dr. rer. nat. Mike Espig

    Professor für Mathematik und angewandte Künstliche Intelligenz in der Industrie an der Westsächsischen Hochschule Zwickau · Gründungsleiter der Data Science Research Group · Geschäftsführer der E&O Gesellschaft für Integrierte KI-Systeme mbH

    Zuvor Max-Planck-Institut für Mathematik in den Naturwissenschaften und RWTH Aachen. Arbeitsschwerpunkte: numerische Verfahren für hochdimensionale Probleme, Tensormethoden und der Einsatz von Sprachmodellen in mittelständischen Unternehmen.