8 Anforderungen bei der Einführung von generativer KI

Mehrwert generativer KI

Generative KI hat das Potenzial, erhebliche Zeitersparnisse bei der Textformulierung, beispielsweise im Marketing oder Vertrieb, sowie im Kundenservice durch die Beantwortung von Fragen zu ermöglichen. Bei richtiger Anwendung kann sie eine vergleichbare Qualität liefern. Ein weiteres Einsatzgebiet liegt in der Verwaltung des unternehmensinternen Know-hows, das oft in verschiedenen Datenquellen gespeichert ist. Durch den gezielten Einsatz generativer KI kann sichergestellt werden, dass Mitarbeiter schnell und effizient auf dieses Know-how zugreifen können, unabhängig von seinem Speicherort.

Untersuchungen des Fraunhofer IAO zeigen, dass 40 Prozent der Wissensarbeiter mehr als 30 Minuten pro Tag mit internen Recherchen verbringen. In den letzten Jahren ist der Zeitaufwand für digitale Recherchen allein um 77 Prozent gestiegen.

In den vergangenen Jahren wurde deutlich, dass Projekte besonders erfolgreich sind, wenn die Projektpartner ein grundlegendes Verständnis für die zugrunde liegende Technologie besitzen. Diese Partner haben realistische Erwartungen an die Software und können dadurch besser einschätzen, wo die Potenziale liegen.

Die folgenden Absätze werden etwas technischer, bevor es um die Anforderungen von Unternehmen an solche Software kommen. Denn letztendlich ist Software nur ein Werkzeug und sollte immer ein konkretes Problem lösen. KI sollte nicht einfach aus dem Grund eingesetzt werden, weil es gerade im Trend liegt, sondern weil ihr Mehrwert klar ersichtlich ist und das Problem auf technischem Wege nicht anders gelöst werden kann. Wenn es technisch gleichwertige Alternativen gibt, sind diese vollkommen legitim. Um zu beurteilen, ob KI für den jeweiligen Anwendungsfall die richtige technische Lösung ist, ist es wichtig, grob zu verstehen, wie eine generative KI funktioniert.

Wie kombiniert man generative KI mit unternehmensinternen Daten?

Die potenziellen Vorteile und Anwendungsmöglichkeiten von generativer KI sind den meisten Unternehmen mittlerweile bekannt. Trotzdem ist es nicht einfach, ein KI-Modell mit den eigenen Daten zu trainieren. Dabei gehen Zugriffsrechte verloren, neue Informationen werden nicht berücksichtigt, und das Training erfordert viele Hardwareressourcen und technisches Know-how. Darüber hinaus kann ein eigenes KI-Modell halluzinieren, was im Unternehmenskontext inakzeptabel ist. Aus diesem Grund setzen Unternehmen auf Retrieval Augmented Generation (RAG) , das an verschiedenen Stellen verschiedene KI-Modelle einsetzt. Der Prozess sieht dabei wie folgt aus:

Um eine generative KI mit unternehmensinternen Daten zu verknüpfen, ist zunächst die Erstellung eines Index (1) erforderlich, in dem die Inhalte des Unternehmens in ein Embedding umgewandelt werden. Anschließend wird eine intelligente Suche (2) aufgebaut, und basierend auf den Ergebnissen kann eine Antwort generiert werden (3). In den folgenden Absätzen wird genauer auf die Technik und die Hintergründe eingegangen.

So funktionieren generative KI-Modelle

Durch das Training mit einem umfangreichen Datensatz aus dem Internet können generative KI-Modelle Wissen zu einer Vielzahl von Themen aufbauen. Technisch gesehen werden die Informationen in einem n-dimensionalen Raum, einem sogenannten Vektorindex, als Embeddings gespeichert. In diesem Raum sind die Inhalte insbesondere nach semantischer Relevanz geclustert, was bedeutet, dass Informationen wie Wie viel Geld hat, Wie viel Wohlstand hat und Wie reich ist semantisch ähnlich sind und daher nahe beieinander liegen. Wenn ein Nutzer einen Prompt eingibt, ist es weniger wichtig, welches Wort verwendet wird, sondern vielmehr die semantische Bedeutung. Mit mathematischen Algorithmen kann dann abgeleitet werden, welche weiteren relevanten Informationen vorhanden sind. Die Antwort wird daraufhin Wort für Wort basierend auf einer mathematischen Wahrscheinlichkeit berechnet.

Für den einzelnen Nutzer wirken generative KI-Modelle oft intelligent, da sie über deutlich mehr Wissen verfügen als ein einzelner Mensch. Dennoch reproduzieren sie lediglich das, was sie während ihres Trainings gelernt haben. Eine Herausforderung für generative KI-Modelle besteht darin, dass sie halluzinieren können, da sie aufgrund der großen Datenmenge verwirrt werden können und unter Umständen Informationen falsch kombinieren.

Retrieval Augmented Generation zur Vermeidung von Halluzinationen

Retrieval Augmented Generation bietet den Vorteil, dass keine unternehmensspezifischen KI-Modelle trainiert werden müssen, da vor allem kontextbasiert gearbeitet wird. Die Grundlage eines RAG-Systems ist die intelligente Suche. Durch diese Suche werden zunächst für den Nutzer relevante und zugängliche Ergebnisse geliefert, wobei auch Zugriffsrechte berücksichtigt werden. Diese Ergebnisse werden dann mit einer KI, die auf semantischen Inhalten basiert, bewertet und gerankt.

„Für den einzelnen Nutzer wirken generative KI-Modelle oft sehr intelligent, da sie über deutlich mehr Wissen verfügen als ein einzelner Mensch. Dennoch reproduzieren sie lediglich das, was sie während ihres Trainings gelernt haben.“

Bastian Maiworm, amberSearch

Anschließend wird eine generative KI eingesetzt. Hierbei wird dem generativen KI-Modell ein einfacher Prompt übergeben, der sinngemäß lautet: "Die Frage des Nutzers lautet 'XXX?' und die relevanten Ergebnisse sind 'Ergebnis 1', 'Ergebnis 2', ...'. Beantworte die Frage des Nutzers basierend auf diesem Kontext." Dabei nutzt das generative KI-Modell seine allgemeine Intelligenz, um die übergebenen Ergebnisse neu zu formulieren, anstatt die Frage aus seinem eigenen Wissen zu beantworten. Dies vermeidet die Problematik der Halluzinationen. Zudem können durch die Bestimmung des Kontextes durch die vorgeschaltete Suche aktuelle Dokumente und Zugriffsrechte berücksichtigt werden.

Intelligente Suche sollte die Grundlage sein

In einem RAG-System spielt die intelligente Suche eine entscheidende Rolle. Hierbei ist es sinnvoll, auf eine moderne Enterprise Search oder ein generatives KI-System zu setzen, das eine solche Funktion integriert hat. Denn wenn die Suche schlechte Ergebnisse liefert, wird auch die generierte Antwort entsprechend schlecht ausfallen (Shit-In, Shit-Out-Prinzip).

8 Anforderungen an generative KI-Systeme

Unabhängig von den technischen Grundlagen haben die meisten Unternehmen ähnliche Anforderungen:

1. Zugriffsrechte: Die Berücksichtigung von Zugriffsrechten ist eine der wichtigsten Anforderungen, insbesondere aus DSGVO-Sicht. Jeder Mitarbeiter sollte idealerweise über ein vorhandenes Zugriffsrechtemanagementsystem, wie beispielsweise Active Directory oder Single Sign-On (SSO), gesteuerten Zugriff erhalten.
2. Sicherheit und EU-DSGVO-Konformität: Eine grundlegende Voraussetzung für die Integration solcher Systeme ist eine angemessene Sicherheitsarchitektur und die Einhaltung von Compliance-Richtlinien wie der DSGVO.
3. Skalierbarkeit: Eine weitere Anforderung ist die Skalierbarkeit, insbesondere hinsichtlich der Performance. Es ist wichtig, dass ein stabiles System nicht nur in kleinen Testgruppen, sondern auch bei großen Nutzerzahlen zuverlässig funktioniert.
4. Unabhängigkeit: Die Ereignisse bei OpenAI im November 2023 haben gezeigt, dass eine Abhängigkeit von Drittanbietern problematisch sein kann. Anbieter sollten das Know-how haben, um Änderungen am Algorithmus selbst vorzunehmen.
5. Flexibilität: Eine wesentliche Eigenschaft ist Flexibilität, die mit der Unabhängigkeit einhergeht. KI-Modelle entwickeln sich schnell weiter, daher müssen sie austauschbar sein, um auf dem neuesten Stand der Technik zu bleiben. KI-Modelle sollten sich bei Bedarf problemlos durch leistungsstärkere Modelle ersetzen lassen. Dies ist ein weiterer Grund, warum für die meisten Anwendungsfälle keine unternehmensspezifischen KI-Modelle trainiert werden sollten.
6. Nachvollziehbarkeit: Es ist wichtig, dass Antworten, die von einem KI-Modell generiert werden, nachvollziehbar sind. Daher ist ein Verweis auf die Ursprungsdatei unerlässlich. Dadurch kann ein Mitarbeiter bei Verdacht auf Halluzinationen nachvollziehen, woher eine Information stammt.
7. Integrationen: Eine erfolgreiche Lösung erfordert smarte Integrationen. Es sind verschiedene Integrationen notwendig, um die Anbindung an andere Systeme zu ermöglichen. Ein weiterer Aspekt ist die Integration der KI in bereits vorhandene Datenquellen wie zum Beispiel Laufwerke, Microsoft Teams oder Outlook.
8. Aktualität: Das Wissen eines Unternehmens entwickelt sich kontinuierlich weiter. Daher darf ein System nicht auf einem starren Datensatz basieren, sondern muss immer die neuesten Erkenntnisse berücksichtigen.

Tipps zur Tool-Auswahl

Derzeit gibt es eine Vielzahl von Tools auf dem Markt, die oft ähnliche Mehrwerte versprechen. Dennoch liegen die Unterschiede im Detail, insbesondere in der Reife und Qualität der generierten Informationen. Es ist wichtig, dass die Lösung zum spezifischen Anwendungsfall passt. Viele Anbieter bieten jedoch nur einen Teil der hier genannten Prozesse an, entweder die Suche oder die Generierung von Antworten.

Anbieter, die sich ausschließlich auf die Suche konzentrieren, verfügen in der Regel nicht über das Know-how, um eine eigene generative KI anzubinden, und müssen oft auf Drittanbieter wie OpenAI, Google Bard oder Aleph Alpha zurückgreifen. Anbieter, die sich ausschließlich auf die Generierung von Antworten konzentrieren, haben möglicherweise Schwierigkeiten, zunächst die richtigen Daten auszuwählen.

Über den Autor:
Bastian Maiworm ist Mitgründer des Enterprise Search Unternehmens amberSearch. Schon 2020 erkannten er und seine Mitgründer die Möglichkeiten, die die Künstliche Intelligenz für Unternehmen bereitstellt. Nach seinem Studium an der RWTH Aachen spezialisierte er sich auf die Themen Digitalisierung im Mittelstand sowie Vertrieb.