Dibani - stock.adobe.com
Monitoring von KI-Anwendungen: Was der Datenschutz verlangt
Bei dem Monitoring von KI-Anwendungen muss an den Datenschutz gedacht werden, damit personenbezogene Daten geschützt und nicht gefährdet werden. Die Behörden geben Hinweise.
Bereits seit August 2025 gelten neue Transparenzregeln für KI-Modelle Anbieter von Basis-Modellen für künstliche Intelligenz, sogenannte General-Purpose AI (GPAI), die generativen KI-Systemen wie ChatGPT zugrunde liegen, müssen Dokumentationen erstellen, sich zur Einhaltung des EU-Urheberrechts erklären, eine detaillierte Zusammenfassung über die genutzten Trainingsdaten veröffentlichen, Informationen über deren Funktionsweise zur Verfügung stellen, besonders leistungsfähige Modelle mit systemischem Risiko auf Schwachstellen und Risiken testen und schwerwiegende Sicherheitsvorfälle melden. Darauf hatte zum Beispiel der Hamburgische Beauftragte für Datenschutz und Informationsfreiheit hingewiesen.
Die neuen Pflichten gelten für alle GPAI-Modelle, die nach dem 2. August 2025 auf den europäischen Markt gekommen sind. Für Modelle, die bereits vor diesem Stichtag verfügbar waren, haben die Anbieter eine Übergangsfrist bis zum 2. August 2027.
Für Unternehmen und Behörden, die GPAI-Modelle in eigene Lösungen integrieren, hat die neue Transparenz mehrere Vorteile: Sie können von den Modellanbietern aktiv Informationen einfordern, die für ihre eigene Compliance unerlässlich sind. Durch die neuen Regeln können sie die von ihnen eingesetzten GPAI-Modelle besser bewerten, Risiken minimieren und damit auch datenschutzrechtliche Sorgfaltspflichten erfüllen.
Trotzdem müssen sie auch selbst ein Monitoring durchführen, um Transparenz in ihre KI-Systeme zu erlangen. Dieses Monitoring hilft dabei, die Datennutzung durch die KI-Systeme zu überwachen und die notwendige Kontrolle ausüben zu können. Doch aus Sicht des Datenschutzes hat auch dies seine Grenzen.
Hinweise für Betrieb und Monitoring von KI-Anwendungen
Die Datenschutzkonferenz (DSK) als Gremium der Datenschutzaufsichtsbehörden der Länder und des Bundes hat eine Orientierungshilfe veröffentlicht, die sich an Hersteller und Entwickler von KI-Systemen richtet. „Angesichts der umfangreichen Verarbeitungen personenbezogener Daten und der potenziell hohen Risiken hat der Datenschutz bei KI-Systemen eine hohe Relevanz“, erklärte Meike Kamp, Berliner Beauftragte für Datenschutz und Informationsfreiheit und 2025 Vorsitzende der DSK (PDF). „Unsere neue Orientierungshilfe zeigt Herstellern und Entwicklern von KI-Systemen, wie sie den Datenschutz von Anfang an berücksichtigen und damit die Rechte und Freiheiten von natürlichen Personen schützen können.“
In der Orientierungshilfe (PDF) werden auch Hinweise zum Betrieb und zum Monitoring gegeben. Zum einen ist das Monitoring für den Datenschutz ein zentraler Baustein, denn nur so kann zum Beispiel die notwendige Transparenz gewährleistet werden. Die DSK begründet dies so:
Entscheidungen, die Betroffenen gegenüber rechtliche Wirkung entfalten oder sie in ähnlicher Weise erheblich beeinträchtigen, dürfen nicht zufallsbasiert (gleichwohl aber wahrscheinlichkeitsbasiert) zustande kommen. Bei entscheidungsunterstützenden KI-Systemen ist es daher erforderlich, dass die entscheidungsrelevanten Inhalte der Ausgaben deterministisch und reproduzierbar sind.
Die bekannten maßgeblichen KI-Modellparameter (zum Beispiel bei Entscheidungsbäumen) und Verarbeitungsschritte für das Zustandekommen der Ausgaben eines KI-Systems sind revisionssicher zu dokumentieren. Die Tests zur Überprüfung der ordnungsgemäßen Arbeitsweise des KI-Systems müssen bei Veränderungen und Updates wiederholt und die Ergebnisse sowie etwaige daraus resultierende Anpassungen dokumentiert werden.
Es muss festgehalten werden, welche Daten durch welches KI-System verarbeitet wurden und ob diese Daten für weiteres Training zur Verfügung gestellt werden.
Auch für die Kontrolle der Integrität ist ein Monitoring erforderlich: Die Einhaltung der definierten Qualitätsanforderungen ist regelmäßig zu evaluieren. Bei KI-Systemen, die kontinuierlich im Rahmen ihrer Lernfähigkeit weiterentwickelt und angepasst werden, muss die Aufrechterhaltung der Qualität im Laufe der Zeit besonders aufmerksam verfolgt werden. Es müssen plötzliche und kontinuierliche Verhaltensänderungen von KI-Systemen festgestellt und deren Auswirkungen auf die Risiken bewertet werden.
Zudem sollte zum Beispiel erkannt werden, wenn Eingaben (von einem Angreifer) so verändert wurden, dass sie eine Fehlentscheidung des KI-Systems verursachen (engl. Evasion Attacks).
Datenschutzgrenzen für ein KI-Monitoring
Die Beispiele zeigen, dass das Monitoring des KI-Betriebs für den Datenschutz wichtig ist, doch der Datenschutz ist bei dem Monitoring von IT-Systemen immer auch in Gefahr, das gilt auch bei dem Monitoring von KI-Anwendungen.
Während die Transparenz zur Gewährleistung der Rechenschaftspflicht und zur Erfüllung der Informationspflichten nach DSGVO erforderlich ist und das Monitoring der KI-Anwendung dabei hilft, muss zum Beispiel darauf geachtet werden, dass die Nichtverkettung für die personenbezogenen und personenbeziehbaren Daten aus den Monitoring-Protokollen eingehalten wird. Darunter versteht man, dass die personenbezogenen Daten nicht für einen anderen als den festgelegten, eindeutigen und legitimen Zweck erhoben, verarbeitet und genutzt werden.
Die Monitoring-Daten müssen also auch bei KI-Anwendungen streng der Zweckbindung unterworfen werden. Das ist insbesondere deshalb hervorzuheben, weil in Zeiten vermehrter KI-Nutzung auch die Monitoring-Protokolle einer KI-Anwendung von einem anderen KI-System ausgewertet und analysiert werden könnten. Dabei könnten die personenbezogenen oder personenbeziehbaren Daten der KI-Nutzinnen und -Nutzer zu anderen Zwecken ausgewertet und genutzt werden, zum Beispiel für eine Profilbildung oder eine Leistungs- und Verhaltenskontrolle.
Es zeigt sich, dass die klassischen Monitoring-Herausforderungen für den Datenschutz bei KI-Anwendungen nicht nur erhalten bleiben, sondern sich sogar noch durch KI verschärfen könnten.
