4 Hürden bei der sicheren Implementierung von KI-Agenten

Wichtige Aspekte der Sicherheit beim KI-Einsatz

Bei dem raschen Entwicklungstempo agentenbasierter KI-Modelle sollten zwei sicherheitsrelevante Faktoren nicht außer Acht geraten, um Datenverluste zu vermeiden. Erstens besteht eine wachsende Gefahr darin, dass Angreifer agentenbasierte KI einsetzen, um sensible Daten zu extrahieren. In den falschen Händen können solche Modelle dazu eingesetzt werden, Systeme aktiv auf Schwachstellen zu untersuchen, anstatt nur auf statisches Wissen zurückzugreifen. Mit dieser künstlichen Unterstützung können böswillige Akteure die Schwächen von Unternehmen effektiver aufspüren und ausnutzen sowie die Geschwindigkeit und das Volumen ihrer Angriffe deutlich erhöhen.

Der zweite Risikofaktor liegt in der Einführung von agentenbasierter KI selbst. Unternehmen streben nach einer schnellen Entwicklung innovativer Produkte und Dienstleistungen, um sich einen Wettbewerbsvorteil zu verschaffen. Bei solchen schnellen Markteinführungszyklen kann die KI eine wichtige Rolle spielen. Aber gerade in der Automatisierung von Geschäftsprozessen mit Geschwindigkeitsvorteilen vor Augen liegt das Gefahrenpotenzial. Werden Sicherheitsmaßnahmen nicht von vornherein berücksichtigt, kann das unbeabsichtigte Datenverluste zur Folge haben.

Folgende vier Überlegungen sollte eine Organisation berücksichtigen, wenn sie agentenbasierte KI in ihrem Tech-Stack einsetzen möchte.

Hürde 1: Kontrollverlusten vorbeugen

KI-Agenten sind darauf ausgelegt, ihre Ziele zweckgerichtet zu verfolgen. Diese Freiheit kann zu guten Ergebnissen führen, aber auch unbeabsichtigte Verhaltensweisen nach sich ziehen. Da Unternehmen agentenbasierte KI in Bereichen wie in Call Centern, bei der Texterstellung und im Kunden-Support einsetzen, ist es vorab entscheidend, sich Gedanken über den Zugriff auf Informationen zu machen. Nicht jeder Agent benötigt uneingeschränkt Datenzugriffsrechte. Unternehmen sollten einen KI-Agenten daher wie einen Anwender behandeln, dem man die Sicht- und Handlungsmöglichkeiten einschränkt. Es ist hilfreich, Worst-Case-Szenarien durchzuspielen und dabei untypische Verhaltensweisen des Agenten einzukalkulieren. 

CISOs und Sicherheitsteams sind für ihre restriktive Verhaltensweise bekannt. Auch wenn es verlockend erscheint, die Nutzung von agentenbasierter KI zu unterbinden, gibt es dennoch Einsatzbereiche, in denen Agenten punkten können. Dafür müssen die richtigen Parameter festgelegt werden. Dieselben Eigenschaften, die das Risiko erhöhen – nämlich Geschwindigkeit, Speicher und Autonomie – sind auch der Schlüssel zu Erfolgsfaktoren. Um die gewünschten Ergebnisse zu erzielen, muss der Blast Radius für schadhaftes Verhalten so weit wie möglich minimiert werden. Unternehmen können Kontrollverluste reduzieren, indem sie die bewährten Zero-Trust-Prinzipien für den User-Zugriff auf Daten ebenfalls auf agentenbasierte KI anwenden. Dazu gehören beispielsweise zeitlich begrenzter Zugriff, Berechtigungen und Segmentierung auf Datenbereiche, damit sich Fehler nicht auf das gesamte System auswirken. Durch das Hinzufügen von Verhaltensrichtlinien und spezifischen Kontrollmechanismen können IT-Teams sicherstellen, dass sie die Agenten nicht ausbremsen, sondern lediglich deren Handlungen auf erlaubte Bereiche eingrenzen.

Hürde 2: Manipulation vorbeugen

Ein Grund, warum agentenbasierte KI so nützlich ist, besteht in der Gedächtnisfunktion. Im Unterschied zu generativer KI, die lediglich auf Eingaben reagiert, ohne den Kontext zu speichern, behält ein KI-Agent Informationen über einzelne Interaktionen hinweg und kann im Anschluss an eine Aktion wieder darauf zurückgreifen. Wie Ergebnisse der agentenbasierten KI gespeichert, verarbeitet und gelöscht werden, sind wichtige Überlegungen für IT-Teams, um Konflikte mit Datenschutzrahmenwerken zu vermeiden. Darüber hinaus birgt dieser Prozess eine zweischneidige Gefahr. Denn während das Gedächtnis einerseits hilft, Ziele zu verfolgen und durch mehrstufige Schlussfolgerungen Ergebnisse zu erzielen, wird es dadurch auch zu einer attraktiven Informationsquelle für Angreifer.

Für Unternehmen entsteht dadurch die Herausforderung, dass ihre agentenbasierten KI-Modelle so entwickelt werden müssen, dass sie nicht gegen sie verwendet werden können. Das bedeutet, dass Angreifer oder Personen innerhalb von Unternehmen keine Befehle verwenden können, die der eigentlichen Zielsetzung entgegenlaufen und zu Sicherheitsverletzungen führen könnten. Ein häufiger Fehler von Unternehmen besteht in der Annahme, dass eine einzige Richtlinienebene innerhalb des Agenten für ausreichenden Schutz sorgt.

Unternehmen müssen ein Sicherheitssystem mit gegenseitigen Kontrollmaßnahmen einsetzen. Durch die Kopplung von einem aufgabenorientierten Agenten mit einem separaten Validierungsagenten gelingt dieser Schutz. Aufgabe des Validierungsagenten ist es, Aktionen zu überprüfen, die Einhaltung von Richtlinien zu bestätigen und anomales Verhalten zu blockieren oder unter Quarantäne zu stellen. Entscheidend ist die logische und operative Trennung dieser beiden Agenten. Dadurch muss ein Angreifer beide Agenten kompromittieren, um erfolgreich zu sein. Dieses Maß an operativer Exzellenz mindert nicht nur etwaige Probleme, sondern verbessert auch die Zuverlässigkeit der Agenten und erhöht die Wahrscheinlichkeit genauerer und besser überprüfbarer Ergebnisse.

Hürde 3: Risiken in der Lieferkette minimieren

Durch die zunehmende Verbreitung von KI-Agenten und deren intensiver Zusammenarbeit untereinander entstehen zusätzliche Risiken. Unabhängig davon, ob Agenten innerhalb oder außerhalb eines Unternehmens zusammenarbeiten, geben sie Daten aneinander weiter. Und genau hier können die traditionelleren und bekannteren Formen von Lieferkettenrisiken durch die Automatisierung noch verstärkt werden.

Um sich gegen diese Lieferkettenrisiken zu wappnen, müssen Entscheidungsträger berücksichtigen, dass die eigenen, internen Sicherheitsvorkehrungen nicht übertragen werden, wenn Daten das Unternehmen verlassen. Im Wesentlichen sollten Unternehmen dementsprechend die gleiche Sorgfalt an den Tag legen, die sie für SaaS und Drittparteien anwenden, und Grenzen für den Datenaustausch vertraglich festlegen.

Ein Ansatz zur Stärkung der Abwehrmaßnahmen besteht darin, eine proxybasierte Architektur auf APIs anzuwenden. Es gilt, die APIs mithilfe von Zero Trust-Prinzipien im Internet unsichtbar zu machen durch Segmentierung von Daten nach ihrer Kritikalität und nach granularen Zugriffsberechtigungen. Darüber hinaus ist es für Unternehmen mit sensiblen Daten sinnvoll, eine Versicherung für das Verhalten von Agenten in Betracht zu ziehen.

Hürde 4: Verantwortlichkeiten definieren

Fehler sind menschlich, und dieser Tatsache sollten Unternehmen auch bei der Entwicklung ihrer KI-Agenten ins Auge blicken. Auch bei sorgfältiger Planung und Entwicklung können Fehler unterlaufen. In der Regel lassen sich die Verantwortlichen ausfindig machen und die Wiederholung von den gleichen Fehlern damit unterbinden. Da Agenten jedoch immer weiterführende Aufgaben übernehmen, muss die Frage gestellt werden, wer die Verantwortung trägt, wenn ein autonomer Workflow eine falsche Entscheidung trifft.

„Durch die zunehmende Verbreitung von KI-Agenten und deren intensiver Zusammenarbeit untereinander entstehen zusätzliche Risiken. Unabhängig davon, ob Agenten innerhalb oder außerhalb eines Unternehmens zusammenarbeiten, geben sie Daten aneinander weiter.“

Martyn Ditchburn, Zscaler

Die Gesetzgebung hält in diesem Hinblick noch nicht mit der unternehmerischen Innovationstätigkeit Schritt. Gerade im Bereich der KI gibt es noch große legislative Lücken. Deshalb ist es für Unternehmen umso wichtiger, dass die Rechenschaftspflicht von Anfang an in ihre KI-Systeme integriert ist. Dies kann durch Maßnahmen wie Wiedergabemodi für kritische Abläufe und die Führung manipulationssicherer Aktionsprotokolle erreicht werden. Auf diese Weise lässt sich sicherstellen, dass ein Agent nicht gegen Auflagen und regulatorische Anforderungen verstößt.

Darüber hinaus ist es wichtig, die Kontrollen für den Speicherlebenszyklus so zu definieren, dass sie mit der DSGVO und ähnlichen Datenschutzregelungen im Einklang stehen. Hier kann es sinnvoll sein, KI zum Schutz der KI einzusetzen. Dazu führt ein Agent die Aufgabe aus und ein anderer sorgt dafür, dass eine unbefugte Nutzung oder unbeabsichtigte Ergebnisse verhindert werden. Auf diese Weise wird Vertrauen geschaffen, und mit einer angemessenen Überprüfbarkeit werden Governance-Probleme zu technischen Problemen, die gemessen und verbessert werden können.

Vorausschauend agieren

Wie so oft in der Cyberlandschaft begreifen auch Bedrohungsakteure KI als Teil ihres Arsenals. Wenn Sicherheitsteams KI zum Schutz ihrer Unternehmen einsetzen, nutzen auch böswillige Akteure agentenbasierte Systeme zu ihrem Vorteil, um kontinuierlich Angriffsziele zu sondieren und maßgeschneiderte Exploit-Codes zu generieren.

Traditionelle flache Netzwerkhierarchien und Hardware-gebundene Kontrollen können oft nicht mit der Entwicklung Schritt halten. Die Rechenleistung für eine ordnungsgemäße Analyse und Abwehr von Angreifern ist begrenzt, sodass Unternehmen letztendlich die Angriffe von morgen mit der Architektur von gestern zu bekämpfen versuchen. Durch die Anwendung von modernen Zero-Trust-Ansätzen und -Denkweisen, eine aggressive Segmentierung von Systemen und Daten sowie die Nutzung eines plattformbasierten Sicherheitsmodells können Unternehmen die Vorteile von agentenbasierter KI nutzen und gleichzeitig vor ihr geschützt bleiben.

Die Autoren sind für den Inhalt und die Richtigkeit ihrer Beiträge selbst verantwortlich. Die dargelegten Meinungen geben die Ansichten der Autoren wieder.