phonlamaiphoto - stock.adobe.com
Agentic AI erhöht das Cyberrisiko für sensible Daten
KI-Agenten, die autonom handeln, auf Daten zugreifen, interagieren und Entscheidungen fällen, stellen für Unternehmen ein Risiko dar. Hier werden neue Security-Strategien benötigt.
Für generative KI können die aktuellen Methoden und Tools aus dem Security-Bereich oft noch angepasst werden, sodass kritische Informationen zuverlässig geschützt sind. Doch mit Agentic AI verändert sich die Situation grundlegend, denn diese Systeme verhalten sich völlig anders.
Die einzelnen KI-Agenten agieren relativ frei in IT-Umgebungen, greifen auf Informationen zu, verändern und teilen sie, stimmen sich mit anderen Agenten ab, treffen Entscheidungen und führen Aktionen durch. Das Ganze geschieht nicht deterministisch, denn die Agenten suchen sich ihre Lösungswege selbst und lernen kontinuierlich dazu, sodass sie beim nächsten Mal womöglich einen anderen Ansatz wählen. Die klassischen Security-Konzepte und -Tools, die auf vorhersehbaren menschlichen Verhaltensweisen und strukturierten Systemlogiken beruhen, können nicht einfach auf diese neuen Akteure innerhalb der Unternehmensinfrastruktur ausgeweitet werden.
Zwar lassen sich die Tätigkeiten von KI-Agenten durchaus mit denen menschlicher Mitarbeiter vergleichen – sie können etwa ein Meeting planen, Daten in Systemen aktualisieren und sich mit anderen Agenten zur Erfüllung einer umfangreicheren Aufgabe austauschen. Aber es fehlt ihnen an der Intuition, dem ethischen Kompass und dem Kontextverständnis von Menschen. Die meisten Cybersecurity-Frameworks gehen davon aus, dass Menschen ihren Job verstehen, sich an Regeln halten und vorsichtig agieren beziehungsweise vorbeugende Maßnahmen ergreifen, wenn etwas nicht in Ordnung zu sein scheint. Der KI hingegen muss man erst aufwendig beibringen, wie sicheres Verhalten aussieht und wie sie Situationen erkennen kann, die außerhalb ihre sicheren Einsatzbereichs liegen.
Die Manipulation eines Agenten gefährdet den ganzen Workflow
Dadurch, dass bei Agentic AI ein ganzer Schwarm von Agenten mit maschineller Geschwindigkeit auf Daten und Systeme zugreift, die unterschiedlichsten Schlüsse zieht und sein Verhalten immer wieder ändert, entsteht eine völlig neue Angriffsfläche. Mit statischen Richtlinien und Mitarbeiterschulungen kommt man den daraus resultierenden Risiken jedenfalls nicht bei – zumal auch Cyberkriminelle ihre Taktiken anpassen und Agentic AI gezielt attackieren.
Zu den typischen Angriffen auf KI zählen beispielsweise Prompt Injections, bei denen Anweisungen für gefährliche Aktionen in Texte oder Bilder eingebettet sind, und manipulative Prompts, die die KI aus dem Tritt bringen und zur Preisgabe vertraulicher Daten oder zur Ausgabe falscher Informationen verleiten sollen. Mit einem Schwarm von KI-Agenten vervielfacht sich dieses Risiko. Gerade die Informationsweitergabe von einem Agenten zum anderen ermöglicht neue Angriffsszenarien, bei denen Cyberkriminelle nicht das eigentliche Ziel attackieren müssen, etwa den Agenten in einem Workflow, der die finale Entscheidung trifft. Es genügt, den ersten Agenten in der Kette zu manipulieren, um sämtliche Aktionen und Entscheidungen zu beeinflussen, die folgen.
Vergleichbar wäre das damit, einen Rezeptionisten zu überzeugen, falsche Informationen an einen Mitarbeiter in der Finanzabteilung weiterzureichen, der sich auf diese Informationen verlässt und darauf basierend entscheidet. Wenn das gelingt, ist ein kompletter Workflow kompromittiert. Auf Agentic AI bezogen dürften solche Angriffe in den kommenden Monaten deutlich attraktiver werden und größere Schäden verursachen, da Unternehmen den Einsatz von KI-Agenten ausweiten und ihnen immer mehr Spielräume und Entscheidungsbefugnisse einräumen.
Agentic AI braucht Kontrolle und Training für sicheres Verhalten
Bislang kümmerten sich Data Scientists um das Training und Fine-Tuning von KI-Modellen und AI Engineers um die Entwicklung der darauf basierenden Anwendungen. Für die Absicherung von Agentic AI benötigen Unternehmen jedoch Spezialisten für KI-Risiken, die die systemweiten Fähigkeiten, Entscheidungswege und Zugriffsmuster von Agenten evaluieren können. Konkret müssen diese Spezialisten folgendes verstehen:
- die Architekturen von Agentic AI und wie Agenten zusammengesetzt sind
- die Reasoning-Ketten der Agenten und wie sie Entscheidungen fällen
- die Kommunikation zwischen Agenten und wie sich diese manipulieren lässt
- die gesamte Risikokette von Datenzugriffen bis zur finalen Aktion
Diese Aufgabe erfordert Know-how aus den Bereichen Data Science und Security Operations. Derzeit bringen nicht viele Fachkräfte dieses Know-how mit, und die Ausbildung der Spezialisten braucht Zeit. Zudem bleibt die Frage, inwieweit Agenten womöglich andere Agenten überwachen können – vor allem die, die mit Menschen interagieren und anfällig für Manipulationen sind. Ein Supervisor-Agent, der sämtlichen Input und Output kontrolliert, würde die Performance beeinträchtigen und den Wert der agentenbasierten Automatisierung schmälern. Selektive Kontrollen wiederum bieten Schlupflöcher, die Angreifer ausnutzen könnten. Harte Regeln wiederum sind vorhersehbar, aber unflexibel, während weiche Regeln dazu einladen, den für die Entscheidung zuständigen Agenten zu manipulieren.
Langfristig müssen KI-Agenten auf jeden Fall darauf trainiert werden, das Risikopotenzial ihrer Aktionen einzuschätzen. Dafür benötigen sie:
- die Awareness für Richtlinien direkt integriert in ihr Reasoning
- die Fähigkeit zu beurteilen, wann eine Entscheidung eine Risikoschwelle überschreitet
- klare Mechanismen zur Eskalation von Vorgängen an Menschen oder einen Security-Agenten
Sollen Menschen die Entscheidungen überprüfen, besteht allerdings die Gefahr, dass sie dem System zu viel Vertrauen entgegenbringen. Untersuchungen zeigen, dass Menschen, die nach der Lösung eines mathematischen Problems eine leicht abweichende Lösung von einem Taschenrechner präsentiert bekommen, eher diesem vertrauen – auch wenn er falsch liegt. Wenn sie KI-Agenten überwachen, kann diese Tendenz, sich von Entscheidungen eines KI-Systems, die nicht nachweislich richtig sind, beeinflussen zu lassen, zu einer Risikoblindheit führen.
„Es gibt noch viel zu experimentieren und herauszufinden. Security-Teams sollten unabhängig davon aber davon ausgehen, dass KI-Agenten Fehler machen, manipuliert werden oder unbeabsichtigt Daten offenlegen. Tools, die Datenlandschaften von Unternehmen verstehen, sind dabei äußerst hilfreich..“
Fabian Glöser, Forcepoint
Transparenz ist der Schlüssel für Data Security im Agenten-Zeitalter
Es gibt also noch viel zu experimentieren und herauszufinden. Security-Teams sollten unabhängig davon aber davon ausgehen, dass KI-Agenten Fehler machen, manipuliert werden oder unbeabsichtigt Daten offenlegen. Beim Schutz sollten sie sich daher auf folgendes konzentrieren:
- ein Verhaltensmonitoring für die Agenten und Workflows
- eine Anomalieerkennung für die Interaktionen zwischen Agenten und die Interaktionen von Agenten mit Daten
- Guardrails, die den Agenten Grenzen setzen, damit sie keine riskanten Aktionen durchführen
Tools, die wie Lösungen für Data Security Posture Management (DSPM) die Datenlandschaften von Unternehmen verstehen, sind dabei äußerst hilfreich. Sie zeigen auf, wo sich sensible Daten befinden, welche Agenten und Benutzer darauf zugreifen und wie sich die Gefährdung im Laufe der Zeit verändert. Diese Transparenz ist die Voraussetzung für die Absicherung von agentenbasierten Systemen, die selbständig agieren, lernen und sich immer wieder anpassen.
Über den Autor:
Fabian Glöser ist Manger Sales Engineering Nordics, Central & Eastern Europe bei Forcepoint.
Die Autoren sind für den Inhalt und die Richtigkeit ihrer Beiträge selbst verantwortlich. Die dargelegten Meinungen geben die Ansichten der Autoren wieder.
