Versteckte KI-Kosten: Was IT-Entscheider einkalkulieren müssen

Integrationskosten übersteigen oft die Modellkosten

Wenn ein Prototyp entwickelt wird, wirkt er oft produktionsreif. Ein Chatbot wird erstellt, Daten hinzugefügt, und er liefert Antworten – was den Eindruck erweckt, er sei mit geringfügigen Anpassungen einsatzbereit. Doch was als Prototyp funktioniert, funktioniert oft nicht im großen Maßstab.

Der Übergang zu agentischer KI bringt andere Kosten mit sich als bei traditionellen SaaS-Modellen. Prototypen laufen auf kostengünstigen oder kostenlosen Tarifen. Eine groß angelegte Bereitstellung verursacht zusätzliche Kosten – wie Token-Kosten und Lizenzgebühren –, die überraschend hoch sein können.

Auch die Datenebene kann die Kosten erhöhen. Herkömmliche SaaS-Systeme stützen sich auf Geschäftslogik, um Daten zu interpretieren. KI benötigt jedoch Kontext. Der Aufbau von Integrationen, damit das System Kontext aus anderen Systemen beziehen kann, erhöht die Kosten. Die Daten müssen KI-fähig sein, das heißt sie müssen sauber und widerspruchsfrei sein und bestehende Berechtigungsstrukturen berücksichtigen.

KI-Agenten müssen hinsichtlich ihrer Rolle und Grenzen trainiert werden, was weitere laufende Kosten verursacht. Da KI jedoch nicht perfekt ist, muss ein Mensch eingebunden bleiben, um kritische Entscheidungen der Agenten zu überwachen und zu genehmigen sowie Sicherheit und Compliance zu gewährleisten. KI-Technologie mag neu sein, die zentralen Herausforderungen bei der Implementierung sind es jedoch nicht.

Die versteckten Kosten von KI-Projekten werden oft erst beim Übergang vom Pilotprojekt zur Produktion sichtbar. An diesem Punkt wechselt die Umgebung von einer Umgebung mit geringem Bedarf zu einer betrieblich intensiven Umgebung, was Komplexität und Kosten in mehreren Dimensionen mit sich bringt.

Zu den Bereichen, in denen die Ausgaben steigen können, gehören:

• Rechenkapazitätsengpässe und steigende CPU-Preise.
• Durch Datenüberflutung und Wiederholungsversuche steigende Inferenzkosten.
• Netzwerk und Datenübertragung.
• Compliance und Audit.
• Minderung von Sicherheitsrisiken.
• Energie und Personal.

Datenaufbereitung ist ein teurer und ein fortlaufender Prozess

Ein erheblicher Teil der KI-Investitionen entfällt auf Dateninfrastruktur und -bereitschaft; Studien zeigen, dass Datenpipelines, Governance und Compliance einen zentralen Kosten- und Ressourcenblock bilden.

Die Kosten für LLM beziehungsweise Modelle steigen sicherlich, aber sie sind sichtbar. Jeder hat sie im Blick. Was meist übersehen wird, ist alles rund um das Modell: Die Datenpipeline, die es speist. Die Vorverarbeitungsaufgaben. Die Retraining-Schleifen, die niemand richtig plant. Dort wird der Großteil des Geldes ausgegeben, und niemand wird darauf aufmerksam gemacht.

Mehrere Faktoren können zu diesen Zahlen beitragen, darunter die folgenden:

• Die erneute Verarbeitung bereits verarbeiteter Daten.
• Feature-Pipelines, die auf veralteter Logik laufen.
• Überdimensionierte Cluster für kleine Aufgaben.
• Experimentläufe, die nie bereinigt wurden.

Wenn Unternehmen diese KI-getriebene Datenexplosion nicht effektiv bewältigen, können die Kosten und Ineffizienzen die Innovation im Keim ersticken. Unternehmen haben treuhänderische Pflichten, und wenn die Investitionen die Einnahmen übersteigen, scheitert das Projekt.

Compliance und Rechtskosten

Während die Software agentenbasierter KI die Ausführungsgeschwindigkeit erhöht, schafft sie auch ein Governance-Paradoxon: Je schneller sich ein Unternehmen bewegen kann, desto wichtiger werden traditionelle Orchestrierung, Protokollierung und Rechenschaftspflicht. Der Bedarf an Automatisierung, Überwachung und Aufzeichnungssystemen wird noch entscheidender und treibt die Gemeinkosten von IT-Abteilungen in die Höhe.

Ein neues Problem ist das Risiko, dass Mitarbeiter ihren eigenen Agenten mit zur Arbeit bringen. Mitarbeiter können nun Tools wie Claude persönliche Zugriffs-Token gewähren, wodurch diese mit Unternehmens-APIs interagieren können. Dies schafft einen massiven blinden Fleck für die IT, da die Aktionen scheinbar von einem Menschen stammen, aber mit Maschinengeschwindigkeit ablaufen.

Zwar können Unternehmen ihre Mitarbeiter nicht daran hindern, diese Tools zu nutzen, doch können sie nach Wegen suchen, diese Funktionen in Unternehmenssoftware zu integrieren, wo die Vorgänge überwacht, protokolliert und genehmigt werden.

Laufende Betriebskosten

Bei der Berechnung der tatsächlichen Kosten für den Einsatz von KI auf Unternehmensebene muss eine Organisation beide Seiten berücksichtigen – das Frontend, bestehend aus Governance, Sicherheit und ethischen Leitplanken, sowie das Backend, das Datenbereinigung, kontinuierliche Wartung und organisatorische Akzeptanz umfasst.

Im Gegensatz zu Altsystemen, die nach der Bereitstellung an den Support übergeben werden, erfordert KI-Technologie eine kontinuierliche Feinabstimmung, Überwachung der Datenqualität und Effizienzsteigerungen. Durch die Beibehaltung eines offenen Architekturansatzes können Unternehmen neue Modelle im Zuge ihrer Weiterentwicklung an- und ausschalten.

Da KI-Tools traditionelle Silos aufbrechen, erfordert die neue Full-Stack-Erwartung von Ingenieuren, dass sie horizontal über den gesamten Softwareentwicklungslebenszyklus hinweg denken und von einem engen, tiefen Fokus zu einer durchgängigen Orchestrierung übergehen. Unternehmen müssen darauf vorbereitet sein, ihre Teammitglieder auf diese neue Denkweise umzustellen.

Da sich die neue agentische KI-Ebene herausbildet, müssen Unternehmen den zukünftigen Bedarf an Agent-zu-Agent-Protokollen und spezialisierter Governance zur Überwachung autonomer Entscheidungsfindung einplanen. Die größten versteckten Kosten entstehen oft durch das Versagen der menschlichen Akzeptanz.

Wenn der Human-in-the-Loop-Workflow nicht klar definiert ist und die Belegschaft nicht weitergebildet wird, bringt die Technologieinvestition keinen ROI.

Aufwand für Sicherheit und Risikomanagement

Viele Unternehmen betrachten KI-Technologie als Plug-and-Play-Tool. In der Realität beginnen bestehende Kontrollen und Zuständigkeitsmodelle zu versagen, wenn KI – eine probabilistische Engine – in Prozesse eingeführt wird, die auf vorhersehbare Ergebnisse ausgelegt sind. Unternehmen müssen neue Arbeitsabläufe, klarere Verantwortlichkeiten, strengere Validierungen und menschliche Aufsicht an den richtigen Stellen etablieren. Ohne diese Änderungen bringt KI eher Reibungsverluste, Ausnahmen und Risiken statt echten Mehrwert mit sich.

Ohne klare Regeln, Richtlinien und Ziele für den KI-Einsatz droht eine ungeordnete Nutzung nach individuellen Vorstellungen, die die Kosten erhöht und den Return on Investment schmälern kann.

Unternehmen müssen konkret definieren, was sie mit KI erreichen wollen. Dazu gehört die Festlegung der Geschäftsprozesse, die durch KI ermöglicht werden, der Daten, die durch diese Prozesse fließen, wer Eigentümer dieser Daten ist und Zugriff darauf hat, sowie der Art und Weise, wie alles zusammenwirkt, um das erwartete Ergebnis zu erzielen.

KI schafft zwar keine neuen Sicherheitslücken, kann aber bestehende Schwachstellen aufzeigen. Sie arbeitet schneller als ein Mensch, verfügt jedoch nicht über das nötige Urteilsvermögen, um sensible Daten zu schützen.

KI kann helfen, sich zu verbessern. Aber bevor sich ein Unternehmen verbessert, werden bestehende Schwachstellen deutlich.

Talente und organisatorische Rahmenbedingungen

Trotz der Problemlösungsfähigkeiten von KI wird es immer notwendig sein, Menschen im Prozess zu integrieren. Zusätzlich zu den Anfangskosten, um bestehende Mitarbeiter mit dem neuen System vertraut zu machen, müssen Unternehmen möglicherweise ihre vorhandenen Mitarbeiter umschulen, damit diese zusätzliche Aufgaben übernehmen können, oder das Team um neue Talente erweitern. Zu den neuen Rollen können folgende gehören:

• Machine-Learning-Ingenieure für die Entwicklung von Algorithmen, das Trainieren von Modellen und die Bereitstellung von KI-Systemen.
• Dateningenieure zum Aufbau der Infrastruktur und zur Wartung von Datenpipelines.
• KI-Forscher, die sich auf spezifische Bereiche wie natürliche Sprachverarbeitung (NLP) und bestärkendes Lernen konzentrieren.
• Machine-Learning-Operations-Ingenieure, die für die Überwachung und Wartung der Modelle verantwortlich sind.
• KI-Lösungsarchitekten, die das KI-System entwerfen und es in die bestehende Geschäftsinfrastruktur integrieren.

Unternehmen können zudem erwägen, Personal für ethische und Governance-Rollen einzustellen, wie zum Beispiel einen Compliance-Spezialisten, um die Einhaltung gesetzlicher Vorschriften sicherzustellen und Compliance- oder Datenschutzprobleme anzugehen.

Steigende Cloud- und Infrastrukturkosten

Bei der Implementierung neuer Unternehmenssoftware können Unternehmen aufgrund von Token-Verbrauch, Infrastrukturengpässen und Problemen mit der Datenqualität mit unerwarteten Kosten konfrontiert werden.

Bei herkömmlicher Software sind die Kosten vorhersehbar – man führt einen Prozess aus und erhält ein Ergebnis. In agentenbasierten Workflows werden Eingabeaufforderungen in Teilaufgaben aufgeteilt, die von mehreren KI-Agenten bearbeitet werden, von denen jeder seine eigenen Aufrufe an das Modell sendet. Eine einzige Benutzeranfrage kann eine Kaskade von Modellinteraktionen auslösen, von denen jede Token verbraucht. Da die Anzahl der Schritte unvorhersehbar ist, können die Rechnungen weitaus höher ausfallen als erwartet.

Der Betrieb der neuen Software auf bestehender Hardware kann ebenfalls die Kosten erhöhen. Hier können einige Infrastrukturengpässe entstehen, darunter die folgenden:

• CPU. Die Von-Neumann-Architektur zeichnet sich durch sequentielle Logik aus, die für die Organisation von KI-Systemen entscheidend ist; jedoch stellt die Speicherbarriere einen Engpass für die Ausführung großer Sprachmodelle dar.
• GPU. Diese sind für parallele Aufgaben ausgelegt, aber GPUs sind auf einen gemeinsamen Speicher angewiesen, auf den alle Prozessoren zugreifen müssen. Dieser gemeinsame Speicher kann zu einem Engpass werden, was Kosten und Latenz erhöht.
• TPU. Anstatt Daten hin und her zum gemeinsamen Speicher zu schieben, leiten TPUs Daten direkt von einem Verarbeitungsschritt zum nächsten weiter. Man benötigt jedoch spezialisierte Ingenieure, um den hochentwickelten XLA-Compiler auszuführen und die systolische Array-Architektur zu nutzen.
• XPUs wie NPU, DPU, IPU und LPU. Jede hat ihre eigenen Stärken und Kosten. Stärken können allerdings nicht optimal genutzt werden und Kosten steigen, wenn sie nicht in ihrem optimalen Einsatzbereich genutzt werden.
• Altsysteme. Jahrzehntealte Datenbanken und Dokumentationen wurden nicht für die Zusammenarbeit mit moderner KI konzipiert. Ihre Anbindung erfordert teure Entwicklungsarbeit, die selten im Voraus budgetiert wird.

Insgesamt ist die Qualität der Daten wichtiger als die Ausgereiftheit des Modells. Ein hochmodernes Modell, das mit schlechten oder unvollständigen Daten gefüttert wird, liefert schlechte Ergebnisse.

Bei agentischer KI fallen die Kosten von vornherein höher aus als erwartet. Der Token-Verbrauch skaliert auf eine Weise, die die meisten Führungskräfte nicht kommen sehen – und wenn sie es bemerken, ist das Budget bereits aufgebraucht. Hier müssen IT-Entscheider sorgfältig planen, um eine korrekte Budgetkalkulation umsetzen zu können.

Dieser Artikel ist im Original in englischer Sprache auf SearchCIO.com erschienen.