8 versteckte KI-Kosten, die Führungskräfte nicht einplanen

1. Die Kosten gescheiterter KI-Initiativen

Der Bericht „The GenAI Divide: State of AI in Business 2025“ des Massachusetts Institute of Technology (MIT) kam zu dem Ergebnis, dass 95 Prozent der generativen KI-Pilotprojekte in Unternehmen keinen messbaren ROI erzielen und sich nicht über das Experimentstadium hinaus skalieren lassen. Während viel Aufmerksamkeit darauf gerichtet wurde, warum KI-Projekte ins Stocken geraten, wurde weitaus weniger darüber berichtet, welche Kosten diese ins Stocken geratenen Bemühungen für Unternehmen verursachen.

Die direkten Kosten wie Entwicklungsstunden, Beratungshonorare, Lieferantenverträge und Implementierungskosten lassen sich relativ leicht ermitteln. Die indirekten Kosten sind jedoch oft viel höher. Gescheiterte Initiativen können über Monate hinweg Ressourcen binden, bevor Unternehmen gezwungen sind, Systeme abzubauen, Änderungen an Arbeitsabläufen rückgängig zu machen und Tools zu ersetzen, die bereits in den Betrieb integriert wurden.

„Viele Unternehmen gehen mit einer ‚Schrotflinten-Strategie‘ an KI heran, starten Projekte ohne klare geschäftliche Begründung und konzentrieren sich auf KI um der KI willen“, sagt Jiaxi Zhu, Leiter des Bereichs Analytics bei Google Customer Solutions. Der Erfolg hänge davon ab, KI in reale Arbeitsabläufe zu integrieren, anstatt sie als eigenständiges Experiment zu behandeln. Das sei auch ein Grund dafür, dass viele Pilotprojekte Schwierigkeiten hätten, über die Testphase hinaus zu bestehen, fügt er hinzu.

Die internen Auswirkungen gescheiterter Initiativen können jedoch noch schädlicher sein. Viel beachtete Rückschläge bei KI-Projekten schwächen oft das Vertrauen der Mitarbeiter in die Führungs- und Entwicklungsteams. In der Folge zögern Führungskräfte, künftige Experimente zu unterstützen. Infolgedessen können Unternehmen Monate damit verbringen, das Vertrauen wieder aufzubauen, bevor neue KI-Initiativen an Fahrt gewinnen.

2. Die Kosten der endlosen Pilotphase

Nicht alle Kosten im Zusammenhang mit KI entstehen durch völliges Scheitern. In vielen Unternehmen besteht das größere Problem darin, dass KI-Initiativen nie über das Experimentstadium hinauskommen. In der Wirtschaft ist es häufig anzutreffen, dass vielversprechende KI-Initiativen vor der Produktionsreife ins Stocken geraten. Engpässe bei der Governance, unklare Zuständigkeiten, komplexe Integration und regulatorische Zurückhaltung können die Einführung verlangsamen oder gar verhindern.

„Das Problem liegt meist in der organisatorischen Bereitschaft und nicht in der technischen Vorbereitung”, meint Barbara Roos, Gründerin und Geschäftsführerin von Trailhead Communications. Ihr Unternehmen berät Firmen hinsichtlich der menschlichen Seite der KI-Einführung.

„Der häufigste Grund ist nicht technischer Natur, sondern die Kluft zwischen den Erwartungen der Führungskräfte und dem, was die Organisationen tatsächlich leisten können“, sagt sie. Die Skalierung von KI erfordere eine Veränderung der Arbeitsweise der Menschen, der Datenflüsse und der Entscheidungsfindung in einer viel chaotischeren organisatorischen Realität.

Pilotprojekte sind oft erfolgreich, da sie in kontrollierten Umgebungen stattfinden, die von diesen Herausforderungen abgeschirmt sind. Sobald Unternehmen jedoch versuchen, die Skalierung voranzutreiben, treten diese verborgenen Einschränkungen schnell zutage.

Die Kosten dieser langwierigen Experimentierphase tauchen selten in der Finanzberichterstattung auf, können aber mit der Zeit die Wettbewerbsposition schwächen. Während ein Unternehmen also damit beschäftigt ist, Anwendungsfälle zu testen, schreiten die Wettbewerber voran und verschaffen sich durch Automatisierung, Effizienz und schnellere Entscheidungsfindung operative Vorteile.

3. Die Kosten für die nachträgliche Umsetzung von Governance und Compliance

Viele Unternehmen setzen zunächst KI ein und kümmern sich erst später um Governance-Maßnahmen. Dieser Ansatz wird mit der Zeit oft teurer.

Vorschriften wie der EU AI Act entwickeln sich weiter. Unternehmen aus den Bereichen Finanzen, Gesundheitswesen und anderen Branchen sehen sich strenger Aufsicht und mehr Druck ausgesetzt. Sie müssen sicherstellen, dass ihre KI-Systeme erklärbar, überprüfbar und ordnungsgemäß verwaltet sind. Wenn diese Sicherheitsvorkehrungen nicht von Anfang an integriert sind, müssen sie nachträglich hinzugefügt werden. Das bedeutet zusätzlichen Entwicklungsaufwand, umfangreichere Dokumentation, eine erneute Validierung der Modelle und Neuverhandlungen mit Anbietern. In einigen Fällen müssen Unternehmen ihre Systeme möglicherweise sogar vorübergehend stilllegen oder komplett neu aufbauen, um die Compliance-Anforderungen zu erfüllen.

Wenn KI-Systeme von der Experimentierphase in die Produktion übergehen, wird Governance zu einer zentralen Anforderung und ist keine Option mehr. An diesem Punkt verlagern Unternehmen ihren Fokus in der Regel von grundlegenden Aktivitätskennzahlen hin zur Messung der tatsächlichen geschäftlichen Auswirkungen und der Rechenschaftspflicht, so Zhu von Google.

Die größten Kosten entstehen jedoch oft durch die damit verbundenen Störungen. Regulatorische Prüfungen verlangsamen die Bereitstellung, binden Rechts- und Compliance-Teams in langwierige Überwachungsprozesse und verzögern somit die Skalierung von KI-Initiativen im gesamten Unternehmen.

4. Die Kosten von Fachkräftemangel und Personalfluktuation

Der Mangel an KI-Fachkräften ist für Unternehmen nach wie vor eine große Herausforderung. Doch die tatsächlichen Kosten gehen über hohe Gehälter und einen umkämpften Arbeitsmarkt hinaus.

Wenn Unternehmen ohne die richtige Mischung aus Ingenieurswissen, Datenarchitektur und Fachkompetenz voranschreiten, können sie am Ende Systeme erhalten, die in Tests solide wirken, in realen Umgebungen jedoch versagen. Die Behebung dieser Probleme ist nicht einfach und könnte die Hinzuziehung externer Spezialisten, Systemneugestaltungen und zusätzliche Entwicklungszyklen erfordern, die nicht Teil des ursprünglichen Plans waren.

Gleichzeitig erfordern KI-Systeme eine kontinuierliche Wartung, da sich die Geschäftsbedingungen weiterentwickeln. Modelle müssen aktualisiert, neu trainiert und kontinuierlich überwacht werden, was einen stetigen Betriebsaufwand verursacht, den Unternehmen bei der Planung häufig unterschätzen.

Die Fluktuation der Belegschaft verursacht weitere versteckte Kosten. Die Mitarbeiter, die diese Systeme entwickeln, verfügen über umfangreiches Wissen darüber, wie die Modelle entworfen wurden, welche Kompromisse eingegangen wurden und wo die Schwachstellen liegen. Wenn sie das Unternehmen verlassen, können Organisationen Monate damit verbringen, diesen Kontext wiederherzustellen, Probleme zu beheben und neue Teammitglieder einzuarbeiten.

Unternehmen können wertvolles institutionelles Wissen verlieren, noch bevor die Mitarbeiter das Unternehmen verlassen, so Roos von Trailhead. „Wenn Pilotprojekte ohne ordnungsgemäße Übergabe eingestellt werden, gehen oft Erkenntnisse über Datenlücken, Reibungsverluste im Arbeitsablauf und vergangene Erfolge mit dem Projektteam verloren. Das zwingt zukünftige Initiativen dazu, alte Probleme neu zu lernen“, sagt sie.

5. Die Kosten der Skalierung bei Human-in-the-Loop-Anwendungen

Eines der größten Missverständnisse im Bereich der KI für Unternehmen ist die Annahme, dass die Automatisierung den Bedarf an menschlicher Arbeitskraft kontinuierlich verringern wird. Zwar übernehmen KI-Systeme zunehmend komplexere und verantwortungsvollere Aufgaben, insbesondere in den Bereichen Recht, Gesundheitswesen und Finanzen, doch die menschliche Aufsicht bleibt bestehen. Stattdessen wird sie konzentrierter und in vielen Fällen auch kostspieliger.

„Human in the Loop wird als Feature verkauft“, sagt Nick Misner, COO von Cybrary, einer Plattform zur Mitarbeiterbefähigung. „In der Praxis handelt es sich dabei um wiederkehrende Betriebskosten, die fast niemand im Budget einplant.“ Wenn Mitarbeiter nicht richtig für die Arbeit mit KI geschult sind, wird die menschliche Aufsicht langsamer, ressourcenintensiver und zu einem dauerhaften Kostenfaktor, fügt er hinzu.

Misner hob auch einen häufig übersehenen Produktivitätseffekt hervor: „Die versteckten Kosten, die die meisten CIOs übersehen, sind nicht die Infrastruktur. Es ist der Produktivitätsverlust durch nicht geschulte Nutzer. Der Einsatz von KI ohne entsprechende Schulung kann qualifizierte Mitarbeiter tatsächlich ausbremsen.“

Zwar beschleunigt KI die Erstellung von Entwürfen oder ersten Ergebnissen, doch Unternehmen sind nach wie vor auf Fachexperten angewiesen, um die Ergebnisse zu überprüfen und zu validieren. Und im großen Maßstab summieren sich selbst kurze Überprüfungszyklen und schmälern die Effizienzgewinne, die die KI eigentlich liefern sollte.

6. Die Kosten von Model Drift und kontinuierlicher Datenabhängigkeit

KI-Modelle bleiben nicht dauerhaft präzise. Veränderungen im Kundenverhalten, in der Marktdynamik und in den internen Abläufen führen im Laufe der Zeit zu einer Verschlechterung der Modellleistung – ein Phänomen, das als Model Drift bekannt ist.

Diese Veränderung vollzieht sich oft schleichend und ist schwer zu erkennen. So können die Ergebnisse beispielsweise etwas ungenauer oder weniger relevant werden, ohne dass es einen eindeutigen Ausfallpunkt gibt. Infolgedessen unterschätzen Unternehmen häufig den Aufwand, der erforderlich ist, um die Leistung langfristig aufrechtzuerhalten.

Abhängigkeiten von Unternehmensdaten machen diese Herausforderung noch komplexer. Die Datenaufbereitung wird oft immer noch als einmaliger Vorgang betrachtet, doch diese Annahme scheitert in der Praxis. Wenn sich das Kundenverhalten verschiebt, Produkte sich ändern und interne Prozesse sich weiterentwickeln, können Modelle aus dem Gleichgewicht mit den Geschäftsabläufen geraten.

Um dem entgegenzuwirken, setzen viele Unternehmen auf Echtzeit-Datenpipelines und Retrieval-Augmented-Generation-Architekturen, um Modelle kontinuierlich mit aktualisierten Informationen zu versorgen. Dies führt zu einer permanenten operativen Ebene, die sich über die Dateninfrastruktur, die Überwachung und die Governance erstreckt.

Die Aufrechterhaltung der Zuverlässigkeit von Produktionssystemen ist keine einmalige Angelegenheit. Sie erfordert fortlaufendes Nachtrainieren, Validieren, Überwachen und regelmäßige Aktualisierungen der zugrunde liegenden Daten.

Dieser Wartungsaufwand ist kontinuierlich und nicht nur episodisch, so Roos. „Dies ist keine einmalige Aufgabe. Da Modelle aktualisiert werden und sich Arbeitsabläufe weiterentwickeln, muss der Maßstab dafür, was als gut gilt, kontinuierlich neu kalibriert werden.“

Insbesondere für Unternehmen, die mehrere Modelle betreiben, werden diese Wartungsanforderungen zu einem kontinuierlichen Aufwand statt zu einer Hintergrundaufgabe. Infolgedessen betrachten viele Teams die KI-Wartung nicht mehr als gelegentliche Feinabstimmung, sondern als fortlaufende Disziplin, die in den täglichen Betrieb integriert werden muss.

7. Die Kosten für die Inferenz und architektonische Bindung

Die meisten Unternehmen konzentrieren sich auf die Kosten für das Training von KI-Modellen. Letztlich sind es jedoch die laufenden Kosten für die Inferenz – also jede Abfrage, jede Anfrage oder jede Interaktion –, die langfristig den größten Anteil an den Ausgaben ausmachen.

Dies wird noch komplizierter, wenn Systeme eng an einen einzigen Anbieter oder eine Modell-API gebunden sind. Zwar kann dies die Entwicklung kurzfristig beschleunigen, es schafft aber auch Abhängigkeiten. Ändern sich die Preise, sind die Modelle veraltet oder verschiebt sich die Leistung, müssen Unternehmen möglicherweise große Teile ihres KI-Stacks überarbeiten – von Integrationen und Eingabeaufforderungen bis hin zu Validierungsworkflows.

Peter Garraghan, Gründer und Chief Science Officer bei Mindgard, einem KI-Sicherheitsunternehmen, merkt an, dass diese Kosten oft unvorhersehbar sind, da sich die Preisgestaltung für Unternehmens-KI ständig weiterentwickelt.

„Die Token-Beträge und Kosten von heute sind nicht dieselben wie morgen“, sagt er. „Dies liegt daran, dass die Anbieter die Preise erhöhen, Kunden dazu zwingen, neuere Modelle einzuführen, indem sie ältere Versionen auslaufen lassen, und schlichtweg von der gestiegenen Nutzung in Unternehmen profitieren.“

In manchen Fällen kostet diese Art der Nachbearbeitung fast genauso viel wie die ursprüngliche Entwicklung.

Um dieses Risiko zu verringern, setzen Unternehmen zunehmend auf architekturunabhängige Lösungen und nutzen Abstraktionsschichten. Diese machen es einfacher, Modellanbieter zu wechseln oder zu kombinieren, ohne alles von Grund auf neu entwickeln zu müssen.

8. Die Kosten des Reputationsrisikos

Das Reputationsrisiko ist einer der am schwierigsten zu quantifizierenden KI-Kostenfaktoren, kann aber auch die folgenreichsten Konsequenzen haben, wenn etwas schiefgeht. KI-Systeme, die voreingenommene, ungenaue oder schädliche Ergebnisse liefern, können zu öffentlicher Kritik, behördlicher Überprüfung und langfristigem Imageschaden führen. Dies kann sich auf vielfältige Weise äußern: von fehlerhaften Einstellungs-Tools über voreingenommene Empfehlungssysteme bis hin zu automatisierten Entscheidungen, die bestimmte Gruppen benachteiligen.

Laut Garraghan spiegelt das Reputationsrisiko der KI zunehmend die Risiken wider, denen Unternehmen bereits bei kritischen digitalen Systemen ausgesetzt sind. „KI-Systeme bergen für Unternehmen ein Reputationsrisiko, genau wie ihre Kernprodukte und -dienstleistungen, wenn sie ausfallen, versagen oder Kundendaten preisgeben“, sagt er. Diese Risiken reichen von schädlichen Chatbot-Antworten bis hin zu Adversarial Attacks, die sensible Geschäfts- oder Kundeninformationen offenlegen.

Laut Zhu von Google Customer Solutions spielt Data Governance eine entscheidende Rolle bei der Vermeidung dieses Risikos. „Eine häufige Ursache für Reputationsrisiken ist, dass die Bedeutung von Data Governance bei der KI-Entwicklung nicht ausreichend betont wird. Schlecht verwaltete oder verzerrte Daten fließen dann ungewollt in KI-Projekte ein.“

Roos fügte hinzu, dass Reputationsrisiken zudem kumulativ und oft unsichtbar sind. „Da Unternehmen immer mehr KI-generierte Inhalte produzieren, ähneln sich die Ergebnisse unternehmensübergreifend zunehmend, originelles Denken wird verwässert und die unverwechselbare Stimme, die das Vertrauen in die Marke aufbaut, schwindet langsam und fast unsichtbar“, sagt sie.

Die finanziellen Auswirkungen von Reputationsschäden seien selten isoliert, so Roos. Sie äußern sich in Kundenabwanderung, vermindertem Vertrauen, längeren Verkaufszyklen und erhöhten Schwierigkeiten bei der Personalbeschaffung. Im Gegensatz zu anderen Kosten seien sie höchst asymmetrisch: Eine starke KI-Leistung werde schnell als Grunderwartung angesehen, während Fehlschläge unverhältnismäßig viel Aufmerksamkeit von Kunden, Regulierungsbehörden und den Medien auf sich zögen.

Die versteckten Kosten der KI-Skalierung

Die versteckten Kosten der KI-Einführung sind kein Zeichen des Scheiterns, sondern der Reife, wenn sich die Technologie in den Unternehmensabläufen etabliert hat.

Je intensiver Unternehmen KI nutzen, desto häufiger stoßen sie auf das, was Misner von Cybrary als „Enablement Gap“ bezeichnet: eine Lücke, bei der seiner Meinung nach Produktivitätssteigerungen ebenso sehr von der Bereitschaft der Belegschaft wie von der Leistungsfähigkeit der Modelle abhängen.

In ähnlicher Weise betont Roos, dass ins Stocken geratene KI-Initiativen oft weniger mit der Technologie zu tun haben, sondern vielmehr damit, ob das Unternehmen bereit ist, die operativen und kulturellen Veränderungen zu verkraften, die KI mit sich bringt. In solchen Fällen kann der Wiederaufbau von Vertrauen und die Unterstützung der Teams bei der Wiedergewinnung ihrer Zuversicht genauso wichtig werden wie der Neustart der Systeme selbst.

Da der Einsatz von KI in Unternehmen weiter zunimmt, werden sich CIOs wahrscheinlich weniger mit grundlegenden Lizenz- und Infrastrukturkosten befassen und stattdessen die langfristige operative Belastung in den Fokus rücken, die mit KI in großem Maßstab einhergeht.

Erfolgreich sein werden jene Unternehmen, die diese weniger sichtbaren Kosten frühzeitig einkalkulieren – sowohl die Kosten für die Einführung als auch die für den langfristigen, verantwortungsbewussten, zuverlässigen und effektiven Betrieb.

Dieser Artikel ist im Original in englischer Sprache auf Search Enterprise AI erschienen.