phonlamaiphoto - stock.adobe.com
KI-Agenten: Anforderungen an die Sicherheit
KI-Agenten sollen autonom Aufgaben übernehmen und Entscheidungen treffen. Damit gehen wichtige Anforderungen an Sicherheit und Datenschutz einher, die es zu berücksichtigen gilt.
Ende 2022 markierte die Einführung von ChatGPT einen Wendepunkt in der Wahrnehmung von generativer KI (GenAI). Die Fähigkeit dieser Technologie, präzise und menschlich wirkende Antworten zu liefern, begeisterte Millionen Menschen und führte zu einer rasanten Verbreitung. Innerhalb kürzester Zeit wurde generative KI zu einem festen Bestandteil des Mainstreams.
Nur zwei Jahre später begann das Zeitalter der KI-Agenten – digitale Begleiter, die zunehmend autonom Aufgaben übernehmen und Entscheidungen treffen können. Nahezu wöchentlich werden neue Produkte vorgestellt, etwa von Microsoft, Salesforce, ServiceNow oder Priceline. Laut Gartner könnten KI-Agenten bis 2028 bereits ein Drittel aller GenAI-Anfragen ausmachen und unser tägliches Leben maßgeblich beeinflussen.
Diese rasante Entwicklung wirft jedoch eine entscheidende Frage auf: Wie stellen wir sicher, dass KI-Agenten sicher und vertrauenswürdig sind?
Die Chancen und Herausforderungen von KI-Agenten
KI-gestützte Agenten eröffnen eine Vielzahl an Möglichkeiten: Sie können Aktien kaufen, in virtuellen Warteschlangen für Konzerttickets warten oder Geschäftsentscheidungen analysieren. Um solche Aufgaben zu erfüllen, benötigen sie jedoch Zugriff auf sensible und wertvolle Informationen – sowohl von Unternehmen als auch von Verbrauchern. Damit diese Technologie sicher genutzt werden kann, ohne Daten oder Identitäten zu gefährden, müssen wir zentrale Fragen klären:
- Welche Daten werden von den großen Sprachmodellen (LLMs), die von KI-Agenten genutzt werden, verarbeitet und wie können wir dies kontrollieren?
- Welche Werkzeuge brauchen Unternehmen und Entwickler, um den sicheren Einsatz von KI-Agenten zu gewährleisten?
- Welche Maßnahmen sind erforderlich, um Datenschutz bei KI-Agenten, die persönliche Informationen nutzen, sicherzustellen?
- Wie erkennen wir, ob ein KI-Agent von einem vertrauenswürdigen Anbieter betrieben wird?
- Wie garantieren wir eine sichere Kommunikation zwischen mehreren KI-Agenten oder Anwendungen?
- Wie können sich Nutzer sicher authentifizieren, bevor KI-Agenten sensible Aktionen vornehmen?
Unternehmen, die KI-Agenten in ihre Produkte integrieren, stehen vor der Herausforderung, spezifische Kontrollmechanismen einzuführen und ihre IAM-Systeme (Identity- und Access-Management) entsprechend anzupassen, um Missbrauch und Bedrohungen vorzubeugen.
Die besonderen Risiken von generativer KI
Was unterscheidet KI-gestützte Agenten von herkömmlichen Anwendungen?
Interaktion mit Drittanbietern: KI-Agenten agieren nicht isoliert. Viele ihrer nützlichen Funktionen – etwa das Buchen von Flügen oder das Kaufen von Aktien – erfordern die Interaktion mit externen Diensten.
Neue technische Grundlagen: Im Gegensatz zu klassischen Apps basieren KI-Anwendungen auf Komponenten wie großen Sprachmodellen (LLMs) und Vektordatenbanken. Diese bringen spezifische Risiken mit sich, die in traditionellen App-Architekturen nicht existieren. Das Open Worldwide Application Security Project (OWASP) hat zehn zentrale Schwachstellen für LLM-basierte Anwendungen identifiziert, darunter die Offenlegung sensibler Daten und übermäßige Autonomie.
Ein sicherer Umgang mit diesen Risiken erfordert durchdachte, identitätsbasierte Sicherheitskonzepte.
Zentrale Anforderungen für die sichere Integration von KI-Agenten
Unternehmen, die KI-Agenten sicher einsetzen möchten, sollten vier wesentliche Anforderungen berücksichtigen:
Nutzer-Authentifizierung
Bevor ein Agent auf Nutzerdaten zugreifen oder personalisierte Antworten geben kann, muss er sicherstellen, mit wem er interagiert. Eine zuverlässige Authentifizierung ist daher unverzichtbar.
Sichere APIs
KI-Agenten agieren häufig über APIs, um mit anderen Anwendungen zu kommunizieren. Die Sicherheit dieser Schnittstellen ist entscheidend, um Manipulationen oder Datenmissbrauch zu verhindern.
„Unternehmen, die KI-Agenten in ihre Produkte integrieren, stehen vor der Herausforderung, spezifische Kontrollmechanismen einzuführen und ihre IAM-Systeme entsprechend anzupassen, um Missbrauch und Bedrohungen vorzubeugen.“
Götz Walecki, Okta
Asynchrone Authentifizierung
Viele Aufgaben von KI-Agenten, wie das Beobachten von Preisschwankungen, erfordern zeitlich verzögertes Handeln. Nutzer sollten daher die Möglichkeit haben, solche Aktionen erst dann zu genehmigen, wenn der KI-Agent tätig werden möchte. So lässt sich übermäßige Autonomie der Agenten vermeiden.
Strikte Zugriffskontrollen
KI-Apps nutzen Retrieval-Augmented Generation (RAG), um LLM-Ergebnisse durch externe Datenquellen wie Firmendatenbanken zu ergänzen. Um den Zugriff auf sensible Informationen zu kontrollieren, sind strenge Autorisierungsmechanismen für diese Daten erforderlich.
Der Blick in die Zukunft
Um das Potenzial generativer KI auszuschöpfen, müssen Organisationen Sicherheit von Anfang an in ihre Lösungen integrieren. Die richtige Balance zwischen Innovation und Schutz ist dabei essenziell.
Moderne Identitätslösungen ermöglichen es Entwicklern, den Zugriff auf sensible Informationen auf das Notwendige zu beschränken und Menschen aktiv in Entscheidungsprozesse einzubinden. Durch solche Maßnahmen können übermäßige Autonomie verhindert und Risiken minimiert werden.
Die aktuellen Entwicklungen markieren den Beginn einer vielversprechenden Ära. Wenn Unternehmen frühzeitig auf sichere Prozesse setzen, können sie das Vertrauen der Nutzer gewinnen und gleichzeitig komplett neue Nutzererfahrungen schaffen, die bisher undenkbar waren.
Über den Autor:
Götz Walecki ist Director Solutions Engineering Central & Eastern Europe bei Okta.
Die Autoren sind für den Inhalt und die Richtigkeit ihrer Beiträge selbst verantwortlich. Die dargelegten Meinungen geben die Ansichten der Autoren wieder.
