Leo Lintang - stock.adobe.com
Die subtilen Fallstricke beim Einsatz von KI und Agentic AI
Generative KI bringt Chancen, aber auch Risiken: Vermenschlichung, neue Rollen, Review-Fatigue und Sicherheitsfragen erfordern klare Governance und eine realistische Bewertung.
Generative KI ist mittlerweile in den Unternehmen angekommen. Viele Organisationen haben die Phase des Ausprobierens hinter sich gelassen und setzen erste produktive Use Cases um.
Damit rückt KI zunehmend aus dem Innovationslabor in den operativen Alltag. Wie bei jeder neuen Technologie entstehen dabei nicht nur neue Optionen, sondern auch neue Herausforderungen. Neben offensichtlichen Risiken gibt es subtilere Fallstricke, die häufig erst zeitverzögert sichtbar werden, deren Auswirkungen dann jedoch umso gravierender sein können. Einige dieser weniger offensichtlichen Aspekte beleuchtet dieser Beitrag.
Vermenschlichung von KI
Eine der größten Stärken generativer KI-Modelle ist ihre Fähigkeit, natürliche Sprache zu interpretieren und zu erzeugen. Auch wenn es sich dabei nicht um echtes Verstehen, sondern um statistische Mustererkennung handelt, ermöglichen diese Modelle Mensch-Maschine-Schnittstellen, die deutlich näher an menschlicher Kommunikation liegen als frühere Technologien. Genau darin liegt jedoch ein erster Fallstrick.
Menschen neigen dazu, Systemen menschliche Intelligenz zuzuschreiben, wenn diese sprachlich menschlich wirken – ein Effekt, der durch fehlendes Verständnis der Funktionsweise von Large Language Models (LLMs) zusätzlich verstärkt wird. Diese Vermenschlichung führt leicht zu falschen Annahmen über Fähigkeiten und Risiken von KI-Modellen, insbesondere zu der Vorstellung, sie vereinten menschliche Intelligenz mit maschineller Präzision und Zuverlässigkeit.
KI-Modelle sind jedoch keine Menschen. Sie verfügen weder über Verständnis noch über Intuition oder Verantwortungsbewusstsein. Entsprechend machen sie Fehler – allerdings andere als Menschen. Wird KI wie ein künstlicher Mensch betrachtet, besteht die Gefahr, Risiken falsch einzuschätzen und neuartige Fehlermuster zu übersehen, die in rein menschlichen Prozessen gar nicht auftreten würden.
Deshalb ist es entscheidend, realistisch zu verstehen, wofür KI-Modelle geeignet sind, wo ihre Grenzen liegen und an welchen Stellen zusätzliche Absicherung notwendig ist. Dazu gehören gezielte Tests, technische Schutzmechanismen sowie der bewusste Einsatz von Human in the Loop-Konzepten. Dieses Verständnis muss dabei nicht nur auf operativer Ebene vorhanden sein, sondern auch auf Entscheiderebene, da Fehlannahmen hier schnell zu grundlegenden strategischen Fehlentscheidungen führen können.
Trotz wachsendem Bewusstsein forcieren einige Anbieter weiterhin Narrative einer bald bevorstehenden allgemeinen Superintelligenz, da dies ihren Geschäftsinteressen dient. Umso wichtiger ist es, KI-Modelle nüchtern zu bewerten, um ihre Stärken gezielt und verantwortungsvoll einsetzen zu können.
Führungskraft durch die Hintertür
Der Human in the Loop bringt neue Herausforderungen mit sich, insbesondere im Kontext von Agentic AI. Hier arbeiten spezialisierte KI-Agenten gemeinsam an Aufgaben, während Menschen die Ergebnisse überwachen, bewerten und freigeben. Besonders deutlich wird dieses Muster in der Softwareentwicklung: Ein Agent generiert Code auf Basis fachlicher Anforderungen, ein weiterer erstellt automatisierte Tests, ein dritter überprüft Architekturentscheidungen oder Sicherheitsaspekte. Die einzelnen Agenten interagieren miteinander, schlagen Lösungen vor, verwerfen Alternativen und passen ihr Vorgehen iterativ an.
Ein Mensch – typischerweise ein erfahrener Software-Engineer – greift nicht mehr selbst in jeder Phase operativ ein, sondern definiert Ziele, setzt Rahmenbedingungen und überprüft die Ergebnisse. Er entscheidet, ob ein Lösungsansatz tragfähig ist, ob Anforderungen korrekt umgesetzt wurden und ob die Qualität den Erwartungen entspricht. Die eigentliche Umsetzung erfolgt jedoch überwiegend durch die KI-Agenten.
Ein unerwarteter Effekt: Fachkräfte übernehmen damit implizit eine Führungsrolle. Anstatt Aufgaben selbst auszuführen, koordinieren sie ein Team spezialisierter KI-Agenten, geben Richtung und Prioritäten vor und greifen korrigierend ein, wenn Ergebnisse nicht den Erwartungen entsprechen. Verantwortung bleibt beim Menschen, der Einfluss erfolgt jedoch indirekt über Steuerung und Kontrolle. Für viele bedeutet das eine grundlegende Rollenänderung – oft ohne bewusste Entscheidung oder entsprechende Vorbereitung.
Das kann zu Qualitätsproblemen und psychischer Überlastung führen, insbesondere, wenn die Verantwortung steigt, ohne dass Qualifikation, Erfahrung oder Handlungsspielräume entsprechend mitwachsen. Hinzu kommt die Gefahr schleichenden Kompetenzverlusts. Bereits frühe Arbeiten zur Automatisierung zeigen, dass Menschen Fähigkeiten verlieren, wenn sie Tätigkeiten nur noch überwachen. Tritt dann ein Problem auf, fehlt häufig die praktische Routine, um effektiv einzugreifen.
Agentic AI erfordert daher Antworten auf zentrale Fragen zu Verantwortung, Qualifikation, Skill-Erhalt und dem Umgang mit Personen, die sich in dieser Rolle nicht wohlfühlen. Diese Fragen sind bislang nicht abschließend geklärt und werden Unternehmen in den kommenden Jahren zunehmend beschäftigen.
Review-Fatigue
Bereits in den 1950er-Jahren zeigte die Forschung zur Automatisierung, dass Menschen nicht in der Lage sind, Systeme, in denen Fehler nur selten auftreten, über mehr als etwa 30 Minuten hinweg zuverlässig zu überwachen. Lisanne Bainbridge hat diese frühen Erkenntnisse später in ihrer Arbeit Ironies of Automation systematisch aufgegriffen und beschrieben, wie mit zunehmender Automatisierung die Rolle des Menschen von der aktiven Ausführung hin zur passiven Überwachung verschoben wird – bei gleichzeitig sinkender Fähigkeit, in kritischen Situationen effektiv einzugreifen.
Genau hier entsteht ein zentraler Fallstrick beim Einsatz generativer KI und von Agentic AI. Moderne KI-Systeme erklären ihr Vorgehen häufig ausführlich und mit großer Überzeugung. Der Human in the Loop wird so mit umfangreichen, meist korrekten und sehr überzeugend formulierten Texten konfrontiert. Unter diesen Bedingungen sinkt die Wahrscheinlichkeit erheblich, verbleibende Fehler zu erkennen – nicht aus Nachlässigkeit, sondern aufgrund menschlicher Wahrnehmungs- und Aufmerksamkeitsgrenzen.
Hohe Produktivitätserwartungen verschärfen diese Problematik zusätzlich. Ergebnisse entstehen schneller, als Menschen sie sinnvoll prüfen können. Wird nicht nur das Resultat, sondern bereits der von KI-Agenten entwickelte Plan validiert, steigt die kognitive Belastung weiter. Der daraus resultierende Cognitive Overload führt in der Praxis häufig dazu, dass Menschen entweder oberflächlich prüfen oder sich zunehmend auf die vermeintliche Korrektheit der KI verlassen.
„Trotz wachsendem Bewusstsein forcieren einige Anbieter weiterhin Narrative einer bald bevorstehenden allgemeinen Superintelligenz, da dies ihren Geschäftsinteressen dient. Umso wichtiger ist es, KI-Modelle nüchtern zu bewerten, um ihre Stärken gezielt und verantwortungsvoll einsetzen zu können.“
Uwe Friedrichsen, codecentric AG
Automatisierte Überwachungsmechanismen können die Fehlerwahrscheinlichkeit weiter reduzieren, verändern das Grundproblem jedoch nicht. Im Gegenteil: Je stärker automatisierte Prüfungen etabliert werden, desto größer wird die Tendenz, verbleibende Auffälligkeiten zu übersehen. Studien zeigen, dass Menschen in solchen Konstellationen der Automatisierung zunehmend mehr Vertrauen entgegenbringen als der eigenen Beobachtung.
Ein vollständiger Ausschluss von Fehlern ist daher nicht realistisch. Menschen für das Nichtentdecken unvermeidbarer Fehler verantwortlich zu machen, ist nicht sinnvoll, da dies fundamentale Grenzen menschlicher Wahrnehmung ignoriert. Konsequenterweise sollten KI- Systeme nicht dort eingesetzt werden, wo Fehler grundsätzlich inakzeptabel sind. In solchen Szenarien bleiben deterministische Softwarelösungen notwendig, deren Verhalten vorhersagbar und überprüfbar ist.
Weitere Fallstricke
Neben den bislang betrachteten menschlichen und organisatorischen Aspekten gibt es weitere Fallstricke, die beim Einsatz generativer KI berücksichtigt werden müssen.
Ein bekannter Aspekt ist die Sicherheit. Die Kombination aus Zugriff auf vertrauliche Daten, externer Kommunikation und der Verarbeitung nicht vertrauenswürdiger Inhalte birgt inhärente Risiken, die sich nicht vollständig eliminieren lassen. Positiv ist, dass das Sicherheitsbewusstsein im Umfeld von Agentic AI zuletzt deutlich gestiegen ist.
Weniger beachtet wird die unklare Preisentwicklung von Frontier Models. Viele Anbieter arbeiten bislang nicht kostendeckend, was langfristig Auswirkungen auf Wirtschaftlichkeit und Skalierung haben kann. Gleichzeitig sind kleinere, allgemein verfügbare Modelle inzwischen leistungsfähig genug, um viele Use Cases abzudecken. Sie eröffnen zudem Optionen mit Blick auf Kostenkontrolle, Flexibilität und technologische Souveränität.
Fazit
Generative KI eröffnet Unternehmen neue Möglichkeiten, die mit klassischer Software allein bislang nicht erreichbar waren. Diese Potenziale sollten genutzt werden. Gleichzeitig ist es entscheidend, sich frühzeitig mit den subtileren Herausforderungen auseinanderzusetzen, die sich erst mit zeitlicher Verzögerung zeigen. Wer KI realistisch bewertet, menschliche Grenzen berücksichtigt und Verantwortung bewusst organisiert, trifft heute Entscheidungen, die auch langfristig tragfähig sind.
Über den Autor:
Uwe Friedrichsen ist CTO der codecentric AG. Seine aktuellen Schwerpunktgebiete sind Softwarearchitektur, Resilienz und die IT von (über)morgen. Er ist regelmäßiger Sprecher auf internationalen Konferenzen, Verfasser zahlreicher Fachartikel sowie Herausgeber von zwei IT-Fachzeitschriften.
Die Autoren sind für den Inhalt und die Richtigkeit ihrer Beiträge selbst verantwortlich. Die dargelegten Meinungen geben die Ansichten der Autoren wieder.
