Wie Unternehmen dem Risiko KI-Slop begegnen können

Was ist KI-Slop im Unternehmenskontext?

Im Kontext der Unternehmens-IT ist das Problem von KI-Slop besonders kritisch.

Die Rückkopplungsschleife ist laut Adnan Masood, Chief AI Architect bei UST, das besorgniserregendste Muster. „Ich habe Teams gesehen, die FAQs und Wissensdatenbankartikel automatisch entworfen, versendet und dann dieselben Seiten wieder als Abrufquellen in RAG eingespeist haben“, sagt er. „Einen Monat später ruft man dann nicht mehr vertrauenswürdiges institutionelles Wissen ab, sondern die synthetischen Inhalte von gestern. Das Modell ist nicht schlechter geworden, sondern das Wissenssubstrat.“

Es gibt verschiedene Formen von KI-Slop:

Synthetische Daten, die ohne Validierung erstellt wurden. Teams verwenden KI, um Testdaten oder Trainingsdatensätze zu generieren, aber ohne menschliche Überprüfung enthalten diese synthetischen Datensätze Randfälle und Anomalien, die nicht den realen Bedingungen entsprechen.

Recycelte KI-Ergebnisse, die mit jeder Generation an Qualität verlieren. Inhalte werden mehrfach neu generiert, wobei mit jeder Iteration die Übereinstimmung mit dem ursprünglichen Ausgangsmaterial abnimmt. Ha Hoang, CIO bei Commvault, beschreibt dies als „unsichtbare Rückstände, die sich ansammeln, wenn generative Systeme minderwertige, nicht überprüfbare oder sich wiederholende Inhalte produzieren, die in Entscheidungssysteme einfließen”.

Code, Dokumentation oder Knowledge-Base-Einträge, die von LLMs ohne Aufsicht geschrieben wurden. KI-gestützte Entwicklungstools können fehlerhafte Muster in Codebasen einfügen, und technische Dokumentationen können ohne Überprüfung geschrieben werden. „Ob es sich nun um Anwendungen, Dokumente oder andere Ergebnisse handelt – das Überspringen des Überprüfungsschritts führt später zu Leistungsproblemen und Qualitätsmängeln“, so Erik Brown, Senior Partner für neue Technologien und KI bei West Monroe.

Wie KI-Slop in Unternehmen Einzug hält

Es gibt eine Reihe gängiger Wege, über die minderwertige KI-Inhalte in Unternehmen gelangen:

Unkontrollierte Nutzung von GenAI-Tools durch Mitarbeiter. Mitarbeiter setzen GenAI-Tools ein, ohne deren Einschränkungen zu verstehen oder die Überprüfungsprotokolle des Unternehmens zu befolgen. „KI-Tools ermöglichen es Menschen ohne Fachkenntnisse, schnell Arbeitsergebnisse zu erzielen, aber oft verfügen sie nicht über das nötige Wissen, um die Einhaltung von Qualitäts- und Sicherheitsstandards zu gewährleisten“, so Brown.

Automatisch generierte Marketinginhalte oder Produktbeschreibungen. Marketingteams skalieren die Produktion von Inhalten mithilfe von KI, opfern dabei jedoch die Markenstimme und Differenzierung. „Alles wird gleichförmig. Ihre differenzierte Stimme, Produktspezifikationen und institutionellen Nuancen werden zu einer generischen Best-Practice-Sprache abgeflacht“, so Masood.

KI-gestützte Codierungswerkzeuge fügen fehlerhafte Muster ein. Entwicklungsumgebungen integrieren KI-Programmierwerkzeuge, die Code schreiben. Ohne Überprüfung gelangen anfällige Muster in die Produktion. „Die Fehler, die Schaden anrichten, sind unauffällig“, erklärt Masood. „Code, der die Linting-Prüfung besteht, idiomatisch aussieht, schnell ausgeliefert wird und später zu einer Schwachstelle wird.“

Von KI verfasste Wissensartikel in Support- oder HR-Systemen. Unternehmen füllen interne Wikis mit KI-generierten Inhalten, denen es an Spezifität und institutionellem Kontext mangelt. „Dies führt zu inkonsistenten Antworten über verschiedene Kanäle hinweg und zu einer Verschiebung, bei der die Eskalationen zunehmen, obwohl das Inhaltsvolumen steigt“, so Brown.

Synthetische Datenpipelines ohne Qualitätssicherung. Datenteams generieren synthetische Datensätze, überspringen jedoch die Validierung, wodurch Verzerrungen oder unrealistische Muster entstehen, die die Modellleistung beeinträchtigen. Dieses Risiko synthetischer Daten verschärft sich, wenn fehlerhafte Datensätze weiterverbreitet werden.

Drittanbieter, die KI in ihre Lieferungen integrieren, ohne dies offenzulegen. Externe Partner verwenden GenAI-Tools, um Code oder Dokumentation zu erstellen, versäumen es jedoch, die Verwendung zu dokumentieren oder die Ergebnisse zu validieren.

„Unsere Sorge gilt nicht nur böswilligen Absichten, sondern auch fehlenden Metadaten“, so Hoan. „Wenn ein Anbieter eine KI-generierte Analyse liefert, fragen wir: Kann er nachweisen, wer sie verfasst hat, unter welcher Lizenz und unter Verwendung welcher Daten?“

Weshalb KI-Slop ein Unternehmensrisiko darstellt

Das Besorgniserregende an KI-Slop sei nicht, dass sie falsch liegen kann. „Das Beängstigende daran ist, dass es auf wunderschöne Weise falsch sein kann, in großem Maßstab und mit genügend Selbstvertrauen, dass die Menschen aufhören, es zu überprüfen“, so Masood.

KI-Slop bleibt nicht auf eine einzelne Abteilung oder ein einzelnes System beschränkt. Die nachgelagerten Auswirkungen von nicht verwalteten KI-Inhalten erstrecken sich über mehrere Risikokategorien:

Operative Risiken. Eine Verschlechterung der Entscheidungsfindung tritt ein, wenn Führungskräfte sich auf ungenaue, von KI generierte Analysen verlassen. Die Drift von KI-Modellen beschleunigt sich, wenn Systeme mit KI-generierten Inhalten statt mit validierten Daten trainiert werden. Dieses Risiko für die Datenqualität äußert sich in einer Fehlerverstärkung in automatisierten Pipelines. „Unternehmen bauen operative Schulden auf, weil sie keine Konsistenz wahren und die langfristige Wartbarkeit nicht berücksichtigen“, so Brown.

Reputationsrisiken. Kunden, die auf ungenaue Inhalte stoßen, verlieren laut Masood das Vertrauen in die Marke, das ohnehin schon fragil ist. „Eine einzige erfundene Kundenantwort kann unverhältnismäßig großen Schaden anrichten“, sagt er. „Sobald Kunden Ihre Antworten anzweifeln, zahlen Sie überall dafür: Der Supportaufwand steigt, die Verkaufszyklen verlangsamen sich und selbst korrekte Inhalte werden hinterfragt.“

Compliance- und Rechtsrisiken. Urheberrechtsprobleme treten auf, wenn KI-Systeme geschützte Inhalte ohne entsprechende Lizenzierung reproduzieren. Die behördliche Kontrolle hinsichtlich der Transparenz von KI und der Datenherkunft verschärft sich mit dem Inkrafttreten von Rahmenwerken wie der KI-Verordnung (EU AI Act). „Die regulatorischen Anforderungen hinsichtlich Rückverfolgbarkeit, Dokumentation und Kontrollen werden strenger, insbesondere für kundenorientierte KI und Anwendungsfälle mit größerer Wirkung“, so Masood. „Die Komplexität von Audits steigt, wenn Unternehmen die Herkunft von Inhalten nicht zurückverfolgen können.

„Wir müssen die ‚Kontrollkette‘ für Inhalte nachweisen, die geschäftliche Entscheidungen beeinflussen“, sagt Hoang. „Ohne Prüfpfade, die das Modell und die Datenquelle aufzeigen, kann man nicht hinter dem Arbeitsergebnis stehen.“

Sicherheitsrisiken. Manipulierte Modelleingaben bieten Möglichkeiten für die Einschleusung feindlicher Inhalte. KI-generierter Code kann Schwachstellen enthalten, die herkömmliche Scan-Tools übersehen. „Die Angriffsfläche hat sich nach oben verschoben“, sagte Masood. “  und Manipulation der Abfrageebene machen Sprachsysteme zu einem neuen Risiko für die Lieferkette.“

Warnzeichen, die Unternehmen beachten sollten

Für Fachleute, die täglich mit KI-Systemen arbeiten, sind die Anzeichen oft unmittelbar erkennbar. „Normalerweise erkenne ich KI-Slop schon in den ersten Zeilen“, sagte Masood. „Es handelt sich um Inhalte, deren Produktion kostengünstig, deren Verlässlichkeit jedoch teuer ist: flüssige Prosa mit geringer Informationsdichte und schwacher Grundlage.“

Es gibt mehrere Ansätze, um den zunehmenden KI-Slop in Unternehmen zu erkennen:

• Zunehmende Abhängigkeit von generativen Tools ohne Governance. Dies ist der Fall, wenn die Einführung schneller voranschreitet als die Entwicklung von Richtlinien.
• Abnehmende Modellgenauigkeit. Die Leistungskennzahlen verschlechtern sich mit sinkender Qualität der Trainingsdaten, selbst wenn die zugrunde liegenden Modelle unverändert bleiben.
• Wiederholte Halluzinationen in kundenorientierten Inhalten. Support-Teams beantworten Fragen zu falschen Informationen in der Unternehmenskommunikation.
• Nicht offengelegte KI in Produkte von Anbietern. Externe Arbeitsergebnisse weisen Muster der KI-Autorschaft auf, ohne dass dies dokumentiert ist. „Die wirklich berechtigten Bedenken betreffen die Sicherheit und die Einhaltung gesetzlicher Vorschriften“, sagte Brown. „KI-Tools stützen sich manchmal auf veraltete Informationen oder Ansätze, die bekannte Schwachstellen oder Compliance-Lücken aufweisen können.“
• Generische, fehleranfällige Wissensdatenbanken. Interne Repositorys füllen sich mit Inhalten, denen es an spezifischen Informationen mangelt. Masood identifiziert „selbstbewusste Unbestimmtheit” als einen wichtigen Indikator: „Antworten, die richtig klingen, aber konkrete Angaben vermeiden und von Ihren tatsächlichen Richtlinien abweichen.”

Was IT-Verantwortliche bezüglich KI-Slop tun können

Um das Problem der KI-Slop anzugehen, muss es als strategische Priorität behandelt werden. Eine umfassende KI-Strategie der Verantwortlichen sollte sich auf folgende Schlüsselbereiche konzentrieren:

KI-Slop sollte wie eine neue Art von technischen Schulden behandelt werden. Es handelt sich dabei um „Inhaltsschulden“, die „täglich Zinsen in Form von Nacharbeit, Verwirrung bei den Kunden, regulatorischen Risiken und Markenverwässerung verursachen“, so Masood. Diese Sichtweise hilft dabei, die Unterstützung der Führungskräfte für Abhilfemaßnahmen zu sichern.

Eine KI-Hygienestrategie entwickeln, die der Cybersicherheitshygiene ähnelt. Genauso wie Unternehmen Sicherheitskontrollen für ihre gesamte Technologieplattform implementieren, benötigen sie systematische Ansätze zur Überprüfung und Rückverfolgung von KI-generierten Inhalten. „CIOs sollten dieses Risiko genauso betrachten wie die Qualitätskontrolle und sicherstellen, dass Governance- und Überprüfungsprozesse vorhanden sind“, so Brown.

Zusammenarbeit mit Rechts- und Compliance-Teams, Personalabteilungen und Datenteams. Laut Hoang ist eine funktionsübergreifende Zusammenarbeit entscheidend, darunter die Rechtsabteilung für Fragen des geistigen Eigentums und Vertragsklauseln, die Compliance-Abteilung für die Einhaltung gesetzlicher Vorschriften und die Datenabteilung für Qualitätsüberwachung und Herkunftsnachweis. Alle diese Teams arbeiten gemeinsam an der Erstellung einer verantwortungsvollen KI-Stückliste. „Jedes KI-Produkt sollte mit einer Zutatenliste, einer Herkunftsangabe und einer Gebrauchsanweisung geliefert werden“, so Hoang.

Transparenz bei KI-generierten Inhaltsströmen gewährleisten. Unternehmen benötigen Systeme, die KI-Ergebnisse kennzeichnen, Prüfpfade führen und die Rückverfolgung der Herkunft ermöglichen. „Ich möchte wissen, worauf Inhalte basieren, welche Daten wohin verschoben wurden und welche Annahmen zugrunde liegen“, so Masood.

Priorisieren Sie die Datenqualität als strategischen Vorteil. In einer Umgebung, in der KI-Systeme Probleme mit der Datenqualität verstärken, wird die Pflege sauberer und verifizierter Datensätze zu einem Wettbewerbsvorteil. „Die Erstellung von Inhalten ist heute kostengünstig, Glaubwürdigkeit hingegen nicht“, so Masood. „CIOs sind im Geschäft mit glaubwürdigen Inhalten tätig, ob sie dies nun wollen oder nicht.“