Marko - stock.adobe.com

Die Kultur der verlässlichen Zusammenarbeit mit KI-Agenten

Damit der Einsatz von KI-Agenten in Unternehmen wirklich erfolgreich ist, sind Transparenz, Kontrolle, gegenseitiges Vertrauen und ein kultureller Wandel erforderlich.

KI-Agenten sind die nächste Welle der Innovation, sie gelten bereits jetzt als unverzichtbare Technologie. Die Mehrheit der deutschen Unternehmen ist überzeugt, dass Investitionen in KI-Agenten entscheidend für die Wettbewerbsfähigkeit sind. Laut dem aktuellen Rubrik Zero Labs Report haben 84 Prozent der Befragten in Deutschland KI-Agenten bereits voll oder teilweise beispielsweise in ihre Identitäts-Infrastruktur implementiert, weitere 14 Prozent planen den Einsatz.

Gleichzeitig ist das Vertrauen in die Technologie massiv eingebrochen: Innerhalb nur eines Jahres sank die Akzeptanz vollständig autonomer KI-Agenten von 43 auf 22 Prozent, so eine Capgemini-Studie (PDF). Einen möglichen Grund liefert eine Umfrage von Camunda mit einem noch drastischeren Befund: Nur elf Prozent der Use Cases schaffen es tatsächlich in die Produktion.

Das Vertrauensproblem: Wenn die Blackbox entscheidet

Die Ursache für das Dilemma: Je autonomer KI-Agenten arbeiten und selbständig Entscheidungen treffen, desto weniger verstehen Unternehmen, was genau sie eigentlich tun. Denn KI-Agenten interagieren mit anderen Systemen, passen ihr Verhalten an und entwickeln eigene Lösungswege, ohne ihre einzelnen Schritte offenzulegen.

Deshalb lässt sich oft nicht mehr nachvollziehen, wie ein KI-Agent zu einer bestimmten Entscheidung gelangt. Die Gefahr: Agentische KI lässt ihre Anwender im Dunkeln stehen, statt Prozesse im Unternehmen voranzubringen. KI ist nicht fehlerfrei, und Systeme, die autonom handeln, bergen noch weitaus höhere Risiken als bloße Halluzinationen, wie sie aus herkömmlichen Large Language Models (LLMs) bekannt sind – insbesondere dann, wenn sie in kritische Geschäftsprozesse integriert sind. Die Systeme gleichen mitunter einer Blackbox: Fehler werden erst spät entdeckt – manchmal erst dann, wenn bereits erheblicher Schaden entstanden ist – und ein einzelner kleiner Fehler kann unter Umständen viele weitere nach sich ziehen. 84 Prozent der Unternehmen fürchten laut der Camunda-Studie genau diese geschäftlichen Risiken in laufenden Prozessen.

Wie lässt sich nun mehr Vertrauen in KI-Agenten gewinnen? Die Lösung liegt in mehr Transparenz und einer besser kontrollierten Autonomie. Nur so lässt sich das Potenzial der Technologie bestmöglich ausschöpfen. Die verlässliche Zusammenarbeit mit KI-Agenten basiert auf drei Säulen:

  • Vollständige Sichtbarkeit. Unternehmen müssen wissen, welche KI-Agenten in ihrer IT-Umgebung aktiv sind, auf welche Daten sie zugreifen und mit welchen Systemen sie interagieren. Eine automatisierte Bestandsaufnahme ist die Grundvoraussetzung für jede Form von Kontrolle.
  • Lückenlose Nachvollziehbarkeit. Jede Aktion eines KI-Agenten muss in unveränderlichen Audit-Protokollen dokumentiert werden. Kontinuierliches Monitoring erkennt Abweichungen vom erwarteten Verhalten in Echtzeit. Policies und Mustererkennung bewerten Risiken, bevor sie eskalieren.
  • Revidierbarkeit. Der entscheidende Faktor: KI-Entscheidungen müssen rückgängig gemacht werden können. Wenn Unternehmen die Möglichkeit haben, Aktionen Schritt für Schritt nachzuverfolgen und im Fehlerfall zurückzusetzen, sind sie in der Lage, KI-Agenten verantwortungsvoll einsetzen.

Diese technische Kontrollinfrastruktur schafft sichere Leitplanken, innerhalb derer KI-Agenten ihr volles Potenzial entfalten können – ohne zum unkontrollierbaren Risiko zu werden.

Der kulturelle Wandel: Mensch und Maschine als Team

Doch Technologie allein löst das Vertrauensproblem nicht. Der eigentliche Paradigmenwechsel findet auf kultureller Ebene statt. KI-Agenten entwickeln sich vom Werkzeug zum Team-Mitglied – und diese Transformation verändert Arbeitsweisen grundlegend. Capgemini Research prognostiziert (PDF), dass 60 Prozent der Unternehmen in den kommenden zwölf Monaten hybride Teams etablieren werden, in denen Menschen und KI-Agenten zusammenarbeiten. Diese Entwicklung erfordert ein klares Verständnis darüber, wer welche Rolle übernimmt.

Die Stärken liegen auf unterschiedlichen Seiten:

KI-Agenten sind unschlagbar in der hocheffizienten Datenverarbeitung, Mustererkennung und der Übernahme repetitiver Routineaufgaben. Sie arbeiten fehlerfrei, ermüden nicht und skalieren beliebig. Doch sie verfügen nicht über Kreativität, ethisches Urteilsvermögen oder strategische Weitsicht. KI entscheidet ausschließlich datenbasiert – ohne entsprechende Leitplanken wird sie zum Risiko.

Menschen dagegen bringen genau das ein, was KI fehlt: originäre Kreativität, emotionale Intelligenz, die Fähigkeit zu ethischen Entscheidungen und strategischem Denken. In hybriden Teams übernehmen sie die Führung, setzen Ziele und treffen Entscheidungen in komplexen, mehrdeutigen Situationen.

Frank Schwaak, Rubrik

„Menschen müssen darauf vertrauen, dass KI-Agenten verlässlich arbeiten und keine unkontrollierten Risiken eingehen. KI-Agenten brauchen klare Rahmenbedingungen, um ihre Stärken auszuspielen. Vertrauen ist kein Automatismus, wird aber, einmal aufgebaut, zum entscheidenden Erfolgsfaktor.“

Frank Schwaak, Rubrik

Klare Rollenverteilung und Kompetenz-Aufbau

Erfolgreiche Unternehmen setzen auf klare Rollenverteilung. Sie weisen ihren KI-Agenten feste Funktionen zu – als Forschungsagent, Test-Agent oder Workflow-Koordinator. Klar abgegrenzte Aufgaben und Ziele erleichtern die Integration ins Team und erhöhen die Akzeptanz bei den menschlichen Kollegen.

Gleichzeitig investieren sie in die Weiterentwicklung ihrer Mitarbeitenden. Die Zusammenarbeit mit KI-Agenten ist eine neue Kompetenz, die geschult werden muss. Mitarbeitende lernen, KI-Systeme zu orchestrieren, deren Ergebnisse kritisch zu hinterfragen und die Kontrolle zu behalten. Verbindliche ethische Leitlinien geben dabei Orientierung und definieren klare Grenzen für den KI-Einsatz.

Die Zukunft ist hybrid – aber nicht autonom

Interessanterweise zeigen die Daten eine bemerkenswerte Nüchternheit: Nur vier Prozent der IT-Entscheider erwarten laut der Capgemini-Studie bis 2028 vollständig autonome KI-Agenten. Die Mehrheit setzt auf ein Modell, in dem KI-Agenten unter menschlicher Aufsicht arbeiten – als vollwertige Team-Mitglieder, aber nicht als eigenständige Entscheider. Produktivitätssteigerung in hybriden Teams entsteht nicht durch Konkurrenz, sondern durch Kollaboration.

Doch diese Kollaboration funktioniert nur, wenn beide Seiten entsprechend ihrer Stärken eingesetzt werden und sich aufeinander verlassen können. Menschen müssen darauf vertrauen, dass KI-Agenten verlässlich arbeiten und keine unkontrollierten Risiken eingehen. KI-Agenten brauchen klare Rahmenbedingungen, um ihre Stärken auszuspielen. Vertrauen ist kein Automatismus, wird aber, einmal aufgebaut, zum entscheidenden Erfolgsfaktor.

Die Autoren sind für den Inhalt und die Richtigkeit ihrer Beiträge selbst verantwortlich. Die dargelegten Meinungen geben die Ansichten der Autoren wieder.

Erfahren Sie mehr über Anwendungs- und Plattformsicherheit