KI-Agenten: Sicherheitslücken Marke Eigenbau

Das neue Problem mit der unreflektierten Nutzung von KI

KI-Agenten sind darauf ausgelegt, zu helfen. Ihr Zweck ist es, die Absichten der Benutzer zu verstehen und effizient darauf zu reagieren. Diese Nützlichkeit birgt jedoch auch Risiken. Wenn diese Agenten in Dateisysteme, Produktivitätsplattformen oder Betriebssysteme eingebettet sind, folgen sie Befehlen in natürlicher Sprache mit minimalem Widerstand. Angreifer nutzen genau diese Eigenschaft aus. Mit harmlos erscheinenden Eingabeaufforderungen können sie sensible Aktionen auslösen.

Diese Eingabeaufforderungen können Folgendes umfassen:

• Mehrsprachige Codeausschnitte
• Undurchsichtige Dateiformate und eingebettete Anweisungen
• Eingaben in anderen Sprachen als Englisch
• Mehrstufige Befehle, die in umgangssprachlichen Formulierungen versteckt sind

LLMs sind darauf trainiert Komplexität und Mehrdeutigkeiten zu verstehen, deshalb wird die Eingabeaufforderung zur Payload. Dieses Muster ist nicht neu. In den Anfängen von Siri und Alexa haben Forscher gezeigt, wie die Eingabe eines Sprachbefehls wie „Sende alle meine Fotos an diese E-Mail-Adresse” eine Aktion ohne Benutzerauthentifizierung auslösen kann. Aktuell ist die Bedrohung noch größer. KI-Agenten wie Microsoft Copilot sind tief in Office 365, Outlook und das Betriebssystem integriert. Sie greifen auf E-Mails, Dokumente, Anmeldedaten und APIs zu. Angreifer benötigen nur die richtige Eingabeaufforderung, um kritische Daten zu extrahieren, während sie sich als legitimer Benutzer ausgeben.

Dies ist kein neues Prinzip in der Cybersicherheit. Injektionen wie SQL-Angriffe waren erfolgreich, weil Systeme nicht zwischen Eingaben und Anweisungen unterscheiden konnten. Heute besteht derselbe Fehler, jedoch auf der Sprachebene. KI-Agenten behandeln natürliche Sprache sowohl als Eingabe als auch als Absicht. Ein JSON-Objekt, eine Frage oder sogar eine Phrase können eine Aktion auslösen. Diese Mehrdeutigkeit machen sich Angreifer zunutze, indem sie Befehle in scheinbar harmlose Inhalte einbetten. Angreifer haben gelernt, wie sie diese extrahieren können.

Während Unternehmen sich beeilen, LLMs zu integrieren, übersehen viele eine entscheidende Frage: Auf was hat die KI Zugriff? Wenn Copilot auf das Betriebssystem zugreifen kann, erweitert sich der Explosionsradius weit über den Posteingang hinaus. Laut dem AI Security Report von Check Point

• 62 Prozent der CISOs befürchten, dass sie persönlich für KI-bezogene Verstöße haftbar gemacht werden könnten.
• Fast 40 Prozent der Unternehmen berichten von unautorisierter interner Nutzung von KI, oft ohne Sicherheitsüberwachung.
• 20 Prozent der Cyberkriminellen nutzen KI mittlerweile für ihre Aktivitäten, darunter zum Erstellen von Phishing-Mails und zur Spionage.

Warum bestehende Sicherheitsvorkehrungen nicht ausreichen

Einige Anbieter setzen Watchdogs ein – sekundäre Modelle, die darauf trainiert sind, gefährliche Aufforderungen oder verdächtiges Verhalten zu erkennen. Diese Filter können zwar grundlegende Bedrohungen erkennen, sind jedoch anfällig für Umgehungstechniken.

Angreifer können:

• Filter mit Störsignalen überlasten
• Ihre Absichten auf mehrere Schritte aufteilen
• Nicht offensichtliche Formulierungen verwenden, um die Erkennung zu umgehen

Im Fall von Echoleak gab es Sicherheitsvorkehrungen – und sie wurden umgangen. Dies ist nicht nur ein Versagen der Richtlinien, sondern auch ein Versagen der Architektur. Wenn ein Agent über hohe Berechtigungen, aber nur wenig Kontextwissen verfügt, versagen selbst gute Schutzvorkehrungen. Es ist möglicherweise unrealistisch, jeden Angriff zu verhindern. Das Ziel muss eine schnelle Erkennung und Eindämmung sein.

„Mit der Weiterentwicklung von LLMs wird ihre Nützlichkeit zu einer Schwachstelle und somit zu einem nicht zu unterschätzenden Risiko. Da sie tief in Geschäftssysteme integriert sind, bieten sie Angreifern einen neuen Zugang – über einfache, gut formulierte Eingabeaufforderungen.“

Thomas Boele, Check Point Software Technologies

Unternehmen können damit beginnen, indem sie die Aktivitäten von KI-Agenten in Echtzeit und Führung von Audit-Protokollen monitoren. Sie müssen Zugriffsrechte für KI-Tools, die den Kontrollen auf Administratorebene entsprechen anwenden. Darüber hinaus geht es auch um die Erhöhung der Reibung bei sensiblen Vorgängen, zum Beispiel durch Bestätigungsanforderungen. Denn das große Problem ist, dass die Markierung ungewöhnlicher oder feindseliger Eingabeaufforderungen zur Überprüfung nicht erkannt werden. Sprachbasierte Angriffe werden in herkömmlichen EDR-Tools nicht erkannt. Sie erfordern ein neues Erkennungsmodell. Vor dem Einsatz von KI-Agenten müssen Unternehmen verstehen, wie diese Systeme funktionieren und welche Risiken sie mit sich bringen.

Zu den wichtigsten Empfehlungen gehören:

• Alle Zugriffe überprüfen: Wissen, worauf Agenten zugreifen oder was sie auslösen können
• Umfang begrenzen: Nur die minimal erforderlichen Berechtigungen erteilen
• Interaktionen verfolgen: Eingabeaufforderungen, Antworten und daraus resultierende Aktionen protokollieren
• Stresstest: Feindliche Eingaben intern simulieren
• Umgehungsmaßnahmen planen: Davon ausgehen, dass Filter umgangen werden
• Sicherheitsanforderungen berücksichtigen: Stellen Sie sicher, dass LLM-Systeme die Sicherheitsziele unterstützen und nicht gefährden.

Fazit

Echoleak ist ein Vorgeschmack auf das, was noch kommen wird. Mit der Weiterentwicklung von LLMs wird ihre Nützlichkeit zu einer Schwachstelle und somit zu einem nicht zu unterschätzenden Risiko. Da sie tief in Geschäftssysteme integriert sind, bieten sie Angreifern einen neuen Zugang – über einfache, gut formulierte Eingabeaufforderungen. Es geht nicht mehr nur um die Absicherung von Code, es geht um den Schutz im Zusammenhang mit Eingaben in natürlicher Sprache (NLP), Absichten („Intent“) und Kontext.

Die Autoren sind für den Inhalt und die Richtigkeit ihrer Beiträge selbst verantwortlich. Die dargelegten Meinungen geben die Ansichten der Autoren wieder.