phonlamaiphoto - stock.adobe.com
Wenn KI schuld ist: Wie sich die Vorfallreaktion ändern muss
Ein KI-Agent kann einen Vorfall auslösen, auch wenn er nur das tut, wozu er befugt ist. Die Reaktion auf Vorfälle muss weiterentwickelt werden, um der KI Rechnung zu tragen.
Im Zeitalter der KI entwickelt sich die Reaktion auf Sicherheitsvorfälle (Incident Response) für Sicherheitsteams zu einer völlig anderen Aufgabe. Noch vor wenigen Jahren handelte es sich bei einem Cybersicherheitsvorfall fast immer um einen Angriff oder eine Insider-Bedrohung, hinter der ein Mensch stand. Auf dem Gartner Cybersecurity and Risk Management Summit 2026 in National Harbor, Maryland, erklärte der Analyst Craig Porter, dass interne KI-Agenten mittlerweile häufig unbeabsichtigte Ereignisse auslösen, die von CISOs und ihren Teams bewältigt werden müssen.
„Mindestens 80 Prozent der unbefugten KI-Transaktionen werden eher durch interne Verstöße gegen Unternehmensrichtlinien hinsichtlich übermäßiger Weitergabe von Informationen, unzulässiger Nutzung oder fehlgeleitetem KI-Verhalten verursacht als durch böswillige Angriffe“, sagte Porter.
In seinem Vortrag nannte Porter drei zentrale Themen, die Gartner immer wieder beobachtet:
- Es gibt keine einheitliche Definition für einen KI-Vorfall. Vorfälle können durch Modelldrift, Prompt Injection oder autonome Agenten entstehen, die Handlungen ausführen, für die sie ursprünglich nicht konzipiert wurden.
- Risiken sind unsichtbar. Viele erhebliche Risiken liegen außerhalb der Beobachtungsmöglichkeiten des SOC (Security Operations Center) und erfordern daher eine umfassendere Überwachung über den herkömmlichen Perimeter hinaus.
- Reaktive Maßnahmen sind nicht mehr skalierbar. KI entwickelt sich so schnell, dass sie möglicherweise bereits Tausende von Entscheidungen getroffen hat, bis die Teams die Systeme untersuchen können.
Die Veranstaltung machte erneut deutlich, dass die Rolle des CISO dynamisch ist und sich die Verantwortlichkeiten ebenso schnell ändern wie die Bedrohungslage. Da KI dazu führen kann, dass sich Systeme auf eine Weise verhalten, die weitreichende Folgen für Unternehmen hat, empfahl Porter den CISOs, ihre Protokolle zur Reaktion auf Vorfälle zu überarbeiten, um der komplexen Rolle dieser Technologie für die Cybersicherheit in Unternehmen Rechnung zu tragen.
Was ist eigentlich ein KI-Sicherheitsvorfall?
Angesichts einer Vielzahl neuer, durch KI bedingter Vorfälle müssen Unternehmen definieren – oder neu definieren –, was einen KI-Cybersicherheitsvorfall ausmacht, und ihre Handlungsempfehlungen entsprechend dieser Definition weiterentwickeln. KI-Systeme können kompromittiert, missbraucht oder auf eine Weise ausfallen, die sich auf Sicherheit, Datenschutz und den Betrieb auswirkt.
Gartner hat festgestellt, dass CISOs nach wie vor Schwierigkeiten haben, diese unscharfen Bereiche klar einzuordnen, und dass sie ihre Taxonomien erweitern müssen. Und zwar um KI-Bedrohungen wie Prompt Injection, Daten- und Modellvergiftung, die Ausnutzung von Verzerrungen, Deepfakes und vieles mehr einzubeziehen. Porter erklärte, dass Teams neue KI-Leitfäden mit festgelegten Rollen entwickeln müssen, um interne Risiken und Insider-Risiken, Bedrohungen durch Dritte sowie externe KI-Vorfälle zu bewältigen.
Widerstandsfähigkeit gegenüber Vorfällen ist entscheidend
„Wir beobachten einen Wandel von der Incident Response hin zur Resilienz. Die wichtigste Erkenntnis dabei ist, dass die herkömmliche Vorfallreaktion nicht mehr skalierbar ist“, sagte Porter. „KI-Vorfälle zwingen uns dazu, Verhaltensweisen, Konzeptionen und Entscheidungsprozesse zu untersuchen.“
Im Zeitalter der KI erfordert die Reaktion auf Vorfälle einen umfassenderen Ansatz mit vordefinierten Eskalationsprotokollen für KI-Vorfälle, die sich nach der regulatorischen und technischen Schwere des Vorfalls richten, sowie klare Prozesse zur Systemwiederherstellung und neue KI-spezifische Kennzahlen. CISOs müssen zudem eine nach Prioritäten geordnete, funktionsübergreifende Vertretung festlegen – bestehend aus Vertretern der Rechtsabteilung, der Modellverantwortlichen, der Compliance-Abteilung, der Personalabteilung und der Geschäftsbereichsleiter.
Kontinuierliche Überwachung gewährleisten
Das Verhalten von KI ist dynamisch, weshalb eine Überwachung nicht nur in regelmäßigen Abständen erfolgen darf. Porter betonte, wie wichtig es ist, KI-Transaktionen zu protokollieren und Kontrollen durch Dritte durchzuführen. Eine erweiterte Beobachtbarkeit kann Modell- und Systemartefakte, Belege für Entscheidungen und Verhaltensweisen, Datenflüsse und -herkunft, Schatten-KI-Antworten, Telemetriedaten sowie die API-basierte Durchsetzung von Richtlinien umfassen. Um Risiken durch Dritte zu berücksichtigen, empfahl Porter außerdem, die KI-Triage in die Workflows zur Risikobewertung von Anbietern zu integrieren.
Das Zeitalter der KI erfordert von den CISOs ein grundlegendes Umdenken darüber, was einen Cybersicherheitsvorfall ausmacht und wie damit umzugehen ist, sobald er erkannt wurde. Da Sicherheitsteams sich bewusst werden, dass auch autorisierte KI-Modelle Risiken bergen, wird eine gute Vorbereitung in Form von regelmäßigen funktionsübergreifenden Schulungen, Tabletop-Übungen sowie Notfallwiederherstellungs- und Geschäftskontinuitätsplänen von entscheidender Bedeutung sein.
„Möglicherweise gibt es hier gar keinen Angreifer. Das ist die grundlegende Herausforderung der KI. Das System verhält sich so, wie es dazu autorisiert wurde, birgt aber dennoch ein Risiko“, sagt Porter.
Dieser Artikel ist im Original in englischer Sprache auf Search Security erschienen.
