ÐаÑеÑина ÐвÑеÑов
Mit Retrieval-augmented Generation gegen halluzinierende KI
Retrieval-augmented Generation (RAG) bietet für die meisten Unternehmen eine gute Balance zwischen Innovation und Machbarkeit, um generative KI-Anwendungen umzusetzen.
Wie oft hat Tiger Woods die PGA-Tour gewonnen? Das fragte der Digitalchef der PGA Tour, dem Organisator professioneller Golftouren in Nordamerika, ChatGPT. Die Antwort, Tiger Woods ist 15-mal Sieger der Tour gewesen, war Anlass für ihn, Retrieval-augmented Generation (RAG) einzusetzen. Denn tatsächlich hatte Woods 82-mal gewonnen.
Die Basismodelle generativer KI nutzen zwar Unmengen an Daten aus dem Internet und weiteren Quellen. Doch Unternehmen stellen häufig fest, dass diese um branchen- und unternehmensspezifische Daten ergänzt werden müssen, um für ihre speziellen Einsatzzwecke nützlich zu sein. So hat Tiger Woods 15 sogenannte Majors gewonnen, was aber nicht dasselbe ist wie ein Tour-Gewinn. Das heißt: ChatGPT kannte den Unterschied zwischen Majors und PGA-Tour-Siegen nicht.
Gleichgewicht aus Innovation und Machbarkeit
Die Erweiterung eines Basismodells als Trainingsdatenquelle für KI-Anwendungen kann jedoch die Kosten und die Komplexität erheblich ansteigen lassen. RAG bietet eine für die meisten Unternehmen optimale Balance zwischen Innovation und Machbarkeit. Dabei werden Large Language Models (LLM) mittels einer Vektordatenbank um zusätzliche Informationen erweitert, zum Beispiel unternehmensinterne Daten. Das verbessert die Ergebnisse bei gleichzeitig effizienterer Nutzung der Ressourcen. Bei anderen Optionen, etwa dem Fine-Tuning von Modellen oder der Aufbau eigener KI-Modelle, sind massive Investitionen in Daten, Know-how und andere Ressourcen nötig.
Um Retrieval-augmented Generation erfolgreich zu implementieren, müssen Unternehmen jedoch zwei zentrale Herausforderungen lösen:
- Die Daten müssen zuverlässig auf eine Plattform übertragen werden, auf die das Basismodell zugreifen kann.
- Die Möglichkeiten von Retrieval-augmented Generation müssen bestmöglich zur Erfüllung der Anforderungen des Unternehmens genutzt werden.
Datenintegration: Die Basis für Retrieval-augmented Generation
Um RAG nutzen zu können, müssen die entsprechenden Daten meist aus einer Vielzahl von Quellen – unter anderem Datenbanken, Anwendungen und Dokumente – in Formate gebracht werden, auf die die Basismodelle zugreifen können. Eine automatisierte, vollständig verwaltete Datenintegration ist dabei entscheidend. Zudem empfehlen spezialisierte Unternehmen eine zweistufige RAG-Architektur:
1. Stufe: Extrahieren und Laden strukturierter und unstrukturierter Daten in einen Data Lake als Staging Ground.
2. Stufe: Transformation und Einbettung der relevanten Daten in eine Vektordatenbank und/oder einen Knowledge Graph.
Denn nur durch den Einsatz automatisierter Datenpipelines und deren Aufteilung in diese zwei Stufen erhält man einen zuverlässigen, flexiblen und modularen Datenfluss.
„Die Basismodelle generativer KI nutzen zwar Unmengen an Daten aus dem Internet und weiteren Quellen. Doch Unternehmen stellen häufig fest, dass diese um branchen- und unternehmensspezifische Daten ergänzt werden müssen, um für ihre speziellen Einsatzzwecke nützlich zu sein.“
Tobias Knieper, Fivetran
RAG-Maximierung für unmittelbare Wirkung
Nach erfolgter Datenintegration sind folgende Vorgehensweisen entscheidend, um das Potenzial von RAG ausschöpfen zu können:
- Prompt Engineering: Je besser die Fragen an das Modell formuliert sind, desto genauere Ergebnisse wird es liefern. Entscheidend ist dabei, möglichst spezifisch zu sein und den Kontext klar zu benennen.
- Datenkuratierung: Während fortschrittliche Algorithmen immer wieder für Schlagzeilen sorgen, liegt die eigentliche Arbeit oft im Management der Daten, mit denen diese Modelle gespeist werden. Viele Unternehmen befinden sich mit ihren KI-Initiativen aktuell noch in der Proof-of-Concept-Phase. Die Überführung in die produktive Phase kann eine große Herausforderung mit sich bringen. Um sie zu bewältigen, müssen Unternehmen die Daten, die sie für die RAG verwenden, sorgfältig auswählen. Dabei gilt es, ihre Qualität und Verfügbarkeit sicherzustellen. Die iterative Verfeinerung der Daten stellt sicher, dass das Modell einen relevanten, präzisen Kontext liefert und keine falschen Informationen oder Halluzinationen ausgibt.
- Knowledge Graphen: Häufig werden Vektordatenbanken mit RAG verwendet. Sie erzeugen Ergebnisse jedoch auf einer wahrscheinlichkeitstheoretischen Basis, was das Fehlerrisiko erhöht. Knowledge Graphen bieten hingegen einen deterministischeren Ansatz, indem sie semantische Beziehungen zwischen Konzepten kodieren. Dadurch wird die Erklärbarkeit der Ergebnisse erzwungen und so die Genauigkeit der Information erheblich erhöht. Gleichzeitig steigen jedoch die benötigten Rechenressourcen.
Ausblick
Generative KI ist ein äußerst dynamischer Bereich. Möglicherweise wird es schon bald zahlreiche maßgeschneiderte Basismodelle für bestimmte Branchen und Berufe geben, die die Leistung von kommerziellen RAG-Deployments erheblich verbessern. Neue Entwicklungen in der Architektur können den Datenfluss zwischen Quellsystemen und KI-Modellen deutlich vereinfachen. Öffentlich zugängliche Datensätze können so umfangreich und die Berechnungen so günstig werden, dass jede Organisation ihr eigenes maßgeschneidertes Modell zu attraktiven Kosten erstellen könnte.
Bis es so weit ist, ist es für Unternehmen sinnvoll, sich auf die Datenintegration und die effektive Verwaltung von RAG zu konzentrieren, um KI optimal für ihre spezifischen Geschäftszwecke nutzen zu können.
Über den Autor:
Tobias Knieper ist Marketing Lead DACH bei Fivetran.
Die Autoren sind für den Inhalt und die Richtigkeit ihrer Beiträge selbst verantwortlich. Die dargelegten Meinungen geben die Ansichten der Autoren wieder.
