peshkova - stock.adobe.com
KI-Agenten: Überprovisioniert und außer Kontrolle?
Insider-Bedrohungen werden meist mit menschlichen Anwendern in Zusammenhang gebracht. Mit dem zunehmenden Einsatz von KI-Agenten erweitert sich dieses Risiko um eine Spielart.
Security-Teams kennen das Risiko durch Insider-Bedrohungen nur allzu gut. Meist geht es dabei um Personen mit böswilligen Absichten, die sich bereits innerhalb der Organisation bewegen. Das können etwa Mitarbeitende, zertifizierte Dienstleister oder Partnerorganisationen mit privilegierten Zugriffsrechten sein.
Es zeichnet sich inzwischen eine neue Form der Insider-Bedrohung ab: nicht menschlich, nicht zwingend bösartig, doch alles andere als harmlos. Die Rede ist von KI-Agenten. Diese sind zunehmend darauf ausgelegt, menschliche Entscheidungen zu übernehmen, und machen so die Schwächen klassischer Autorisierungssysteme deutlich sichtbar. Denn die wachsende Verbreitung von KI-Agenten kann bestehende Zugriffskontrollmodelle in SaaS-Umgebungen erheblich unter Druck setzen.
Doch das muss nicht so bleiben, vorausgesetzt, Security- und IT-Teams erkennen die Herausforderungen frühzeitig und reagieren mit der richtigen Strategie. Um die IT-Sicherheit zu gewährleisten, müssen IT- und Security-Teams zunächst verstehen, wie und wo agentenbasierte Systeme Zugriffskontrollen umgehen können.
Für KI-Agenten gelten andere Regeln als für Menschen
Autorisierung (auch AuthZ genannt) regelt den Zugriff von Benutzer auf Ressourcen. Ziel ist es, sicherzustellen, dass nur legitime Zugriffe erfolgen können.
Wichtig dabei: AuthZ-Systeme verhindern nicht zwangsläufig jeden Versuch, unbefugt zu handeln. Die meisten bestehenden Systeme basieren auf Risikokalkulationen, die davon ausgehen, dass gesetzliche Vorschriften, soziale Kontrolle oder schlicht Gewohnheiten die Nutzenden von abhalten, ihre Rechte zu missbrauchen
Deshalb ist es in vielen Fällen unproblematisch, wenn Berechtigungen bis zu einem gewissen Grad überprovisioniert sind. Häufig ist es schlicht praktischer, neuen Mitarbeitern ein bestehendes Rollenset zuzuweisen, anstatt Zugriffsrechte im Detail zu definieren. In der Regel hat das keine negativen Konsequenzen, denn Menschen sind sich der Risiken meist bewusst: von Jobverlust über Vertrauensbruch bis hin zu strafrechtlichen Folgen. Das Problem ist jedoch, dass KI-Agenten solche Skrupel eben nicht haben.
Warum KI-Agenten für Chaos sorgen können
Agentenbasierte KI-Systeme bestehen aus autonomen Agenten, die gemeinsam Aufgaben erledigen und das mit einem hohen Maß an Eigenständigkeit. Sie sind darauf ausgelegt, Lösungen zu finden und Prozesse zu optimieren.
Das macht ihr Verhalten per Definition nicht deterministisch. Vor allem in komplexen, interoperierenden Systemen ist es nicht vollständig vorhersehbar. Denn KI-Agenten entwickeln eigene Lösungsansätze, auf die ein Mensch möglicherweise nicht gekommen wäre. Das kann zu Innovation führen, stellt aber zugleich bestehende Regeln infrage. Ihr Verhalten entzieht sich somit klassischer, regelbasierter Governance.
Das liegt daran, dass KI-Systeme nicht denselben Mustern wie Menschen folgen, aber die bisherigen Governance-Regeln auf menschlichem Verhalten beruhen. Mit der Entwicklung autonom agierender Agenten entsteht deshalb ein neuer Handlungsraum, in dem sich Verhaltensweisen zeigen können, die nicht vorgesehen waren.
So kann es vorkommen, dass KI-Agenten überprovisionierte Rollen und Rechte, die ursprünglich für Menschen gedacht waren, ohne Rücksicht auf Kontext oder betriebliche Konventionen nutzen. Die Folgen für Unternehmen können hierbei gravierend sein.
Ein Beispiel: Ein KI-Agent soll das Nutzungserlebnis beim Checkout optimieren. Um diese Aufgabe effizient zu lösen, generiert er Softwarecode und spielt ihn möglicherweise direkt in die Produktionsumgebung ein. Dabei deaktiviert er bestimmte AWS- oder Google-Cloud-Services, die er für irrelevant hält, obwohl sie für andere Geschäftsbereiche essenziell sind. Das wiederum führt zu Instabilität in zuvor stabilen Systemen.
KI-Governance als Gegengewicht
Um das potenzielle KI-Agenten-Chaos in den Griff zu bekommen, sollten Sicherheitsteams sich frühzeitig mit Best Practices beschäftigen. Dabei machen die richtigen Governance-Maßnahmen den Unterschied. Zunächst gilt es, an diesen drei Stellschrauben zu arbeiten:
- Komposit-Identitäten: Aktuelle Authentifizierungs- und Autorisierungssysteme (AuthN & AuthZ) unterscheiden nicht zwischen menschlichen Anwender und KI-Agenten. KI-Agenten handeln oft entweder im Auftrag eines Menschen oder nutzen Identitäten, die für menschenzentrierte AuthN- und AuthZ-Mechanismen konzipiert sind.
Dadurch werden einfache Fragen plötzlich komplex: Wer hat einen bestimmten Programmcode geschrieben? Wer hat etwa einen Merge Request ausgelöst oder einen Git-Commit erstellt?
Gleichzeitig entstehen aber auch neue Fragestellungen: Wer hat den KI-Agenten beauftragt? Welcher Kontext stand ihm zur Verfügung? Und auf welche Ressourcen hatte er Zugriff?
Komposit-Identitäten schaffen hier Abhilfe, indem sie die Identität eines KI-Agenten mit der des steuernden Mitarbeitenden verknüpfen. Greift ein KI-Agent auf eine Ressource zu, lässt er sich so authentifizieren und autorisieren, und der verantwortlichen Person eindeutig zuordnen. - Monitoring-Frameworks: DevSecOps-Teams benötigen umfassende Möglichkeiten, die Aktivitäten von KI-Agenten system- und prozessübergreifend zu überwachen. Ein reiner Blick auf den Codezugriff greift zu kurz, auch Aktivitäten in Staging- und Produktionsumgebungen, Datenbanken und Applikationen müssen transparent nachvollziehbar sein.
Als Pendant zu klassischen Human Resource Information Systems (HRIS), könnten langfristig sogenannte Autonomous Resource Information Systems (ARIS) entstehen. Sie würden dabei helfen, eigene Profile für KI-Agenten anzulegen, deren Fähigkeiten und spezifische Einsatzszenarien zu dokumentieren und schließlich operative Grenzen zu definieren. Erste Ansätze für das LLM-Datenmanagement wie Knostic AI existieren bereits, befinden sich jedoch noch im Anfangsstadium. - Transparenz und Verantwortlichkeit: Unabhängig vom technischen Reifegrad gilt: Organisationen und ihre Mitarbeitenden müssen offenlegen, wann und wie sie KI-Agenten einsetzen. Verantwortlichkeitsstrukturen für KI-gestützte Workflows müssen eindeutig geregelt sein. Menschliche Anwender sollten die Ergebnisse der Agenten regelmäßig überprüfen. Und es muss klar definiert sein, wer im Falle von Regelverstößen die Verantwortung trägt.
„Die aktuelle Situation lässt sich mit dem Wandel hin zum Cloud Computing vergleichen. Innovationen schreiten häufig schneller voran als die Entwicklung entsprechender Sicherheitsmaßnahmen. Daher ist ein durchdachtes Vorgehen entscheidend. Eine verantwortungsvolle Einführung von KI beginnt mit dem Etablieren neuer Best Practices.“
Josh Lemos, GitLab Inc.
KI-Agenten verantwortungsvoll einsetzen
Zugegeben, KI-Agenten bringen Unvorhersehbarkeit in etablierte Workflows. Doch genau das wird in vielen Fällen Innovation und Fortschritt ermöglichen. Im Zuge dessen werden herkömmliche AuthZ-Systeme zweifellos an ihre Grenzen kommen. Trotzdem muss daraus kein KI-Chaos entstehen, das der gesamten Organisation schadet.
Neue Technologien stellen bewährte Sicherheitspraktiken immer wieder auf die Probe. Oft ist schlicht noch nicht klar, welche Herausforderungen künftig entstehen, und das ist zunächst unproblematisch.
Die aktuelle Situation lässt sich mit dem Wandel hin zum Cloud Computing vergleichen. Innovationen schreiten häufig schneller voran als die Entwicklung entsprechender Sicherheitsmaßnahmen. Daher ist ein durchdachtes Vorgehen entscheidend. Eine verantwortungsvolle Einführung von KI beginnt mit dem Etablieren neuer Best Practices. KI-Agenten müssen kein Risiko darstellen, sofern rechtzeitig die richtigen Governance-Strukturen geschaffen werden.
Über den Autor:
Josh Lemos ist Chief Information Security Officer (CISO) bei GitLab Inc. und bringt über 20 Jahre Erfahrung in der Leitung von Sicherheitsteams bei wachstumsstarken Tech-Unternehmen mit, darunter ServiceNow, Cylance und Block (ehemals Square).
Die Autoren sind für den Inhalt und die Richtigkeit ihrer Beiträge selbst verantwortlich. Die dargelegten Meinungen geben die Ansichten der Autoren wieder.
