Die Interpretierbarkeit von KI- und ML-Modellen sicherstellen

Was versteht man unter Interpretierbarkeit im maschinellen Lernen?

Im maschinellen Lernen ist Interpretierbarkeit die Fähigkeit zu verstehen, warum ein Modell eine bestimmte Entscheidung trifft.

Betrachten wir zum Beispiel ein einfaches Modell, das Bilder von Katzen von Bildern von Hunden unterscheidet. Ist das Modell in hohem Maße interpretierbar, können Nutzer den Kategorisierungsprozess nachvollziehen, der im Modell abläuft, wenn es jedes Bild bewertet. Nutzer können erkennen, welche Parameter das Modell berücksichtigt und wie es diese verarbeitet, um zu einer Schlussfolgerung zu gelangen. Legt es den Schwerpunkt auf die Gesamtfarben in jedem Bild? Oder sucht es nach bestimmten Farbkonzentrationen, wie zum Beispiel schwarzen Punkten, die auf die Schnauze eines Hundes hindeuten könnten? Dank der Interpretierbarkeit können Nutzer Fragen wie diese bis zu einem gewissen Grad beantworten.

Wichtig ist, dass Interpretierbarkeit auf einem Kontinuum liegt; manche Modelle sind besser interpretierbar als andere. Selbst bei hochgradig interpretierbaren Modellen ist es oft unmöglich, mit Sicherheit zu wissen, warum ein Modell eine Entscheidung trifft, aber es ist möglich, ein recht umfassendes Verständnis des Prozesses zu erlangen.

Warum ist Interpretierbarkeit wichtig?

Die Interpretierbarkeit von Modellen ist in mehreren Bereichen von Bedeutung, darunter Compliance, Transparenz und die Steuerung des Verhaltens von KI-Systemen.

Compliance und Transparenz

Einige Compliance-Vorschriften verlangen von Unternehmen, dass sie den Nutzern erklären, warum ein automatisierter Dienst bestimmte Entscheidungen über sie trifft. So schreibt beispielsweise die DSGVO Transparenz bei der algorithmischen Entscheidungsfindung vor, und der EU AI Act (EU KI-Gesetz) verlangt von Organisationen, dass sie erklären können, wie sie bestimmte Arten von Entscheidungen getroffen haben, wenn diese Entscheidungen KI beinhalten.

Allgemeiner betrachtet könnten Nutzer Transparenz einfordern, auch wenn keine Compliance-Vorschrift dies vorschreibt. Beispielsweise möchte ein Verbraucher, dessen Kreditantrag von einem KI-Dienst abgelehnt wird, möglicherweise die Gründe für die Entscheidung verstehen, um das Problem beheben und einen neuen Antrag stellen zu können.

In solchen Fällen ist die Interpretierbarkeit von Modellen entscheidend. Ohne sie bleiben Modelle Black Boxes, in denen Entscheidungen selbst für die Unternehmen, die sie einsetzen, undurchsichtig sind. Zudem ist es wahrscheinlicher, dass Verzerrungen im Modell unentdeckt bleiben und den Nutzern schaden, wenn einem Modell die Interpretierbarkeit fehlt.

Steuerung des Modellverhaltens

Je interpretierbarer ein Modell ist, desto einfacher ist es für ein Unternehmen, das KI-Verhalten anzupassen und zu steuern. Nutzer, die über Informationen zu den Parametern verfügen, die ein Modell auswertet, und darüber, wie es diese bewertet, sind besser in der Lage, diese Parameter zu ändern und die Funktionsweise des Modells zu beeinflussen.

Beispielsweise muss eine Bank möglicherweise ein KI-Tool korrigieren, das einen Finanzbericht mit ungenauen Daten erstellt. Ist das dem Tool zugrunde liegende Modell in hohem Maße interpretierbar, kann die Bank feststellen, dass das Tool keinen Zugriff auf eine wichtige Datenbank hatte. Infolgedessen hat es Daten halluziniert, anstatt auf tatsächliche Daten zurückzugreifen. Die Lösung bestünde in diesem Fall darin, das Tool mit der Datenbank zu verbinden, um die Halluzinationen zu unterbinden und seine Leistung zu verbessern. Ohne Interpretierbarkeit wäre die Bank nicht in der Lage, den KI-Entscheidungsprozess nachzuvollziehen, der zu ungenauen Ergebnissen geführt hat. Bei der Suche nach einer Lösung für das Problem würde sie letztlich ins Blaue hinein handeln.

Interpretierbarkeit versus Erklärbarkeit versus Überprüfbarkeit

Die Interpretierbarkeit von Machine-Learning-Modellen steht im Zusammenhang mit zwei ähnlichen Konzepten – Erklärbarkeit und Überprüfbarkeit. Dabei handelt es sich jedoch um unterschiedliche Vorgehensweisen, und es ist wichtig, sie nicht miteinander zu verwechseln.

Erklärbarkeit

Erklärbarkeit bezieht sich auf die Fähigkeit, vorherzusagen, welche Arten von Entscheidungen ein Modell auf der Grundlage bestimmter Eingaben treffen wird. Wenn Nutzer beispielsweise wissen, dass ein Modell Katzen mit gelben Fell fälschlicherweise als Hunde einstuft – auch wenn sie nicht genau wissen, warum es dies tut –, ist das Modell erklärbar, da Nutzer vorhersehen können, dass bestimmte Eingaben zu bestimmten Ausgaben führen werden.

Im Gegensatz zur Interpretierbarkeit erfordert Erklärbarkeit keinen Einblick in die internen Abläufe eines Modells. Es geht lediglich darum, auf der Grundlage beobachteter Muster vorherzusagen, wie ein Modell wahrscheinlich auf bestimmte Arten von Eingaben reagieren wird. Nutzer können die Erklärbarkeit feststellen, indem sie sich Beispiele früherer Vorhersagen ansehen und Eingaben mit Ausgaben vergleichen.

Erklärbarkeit ist nützlich, um problematisches Modellverhalten zu antizipieren, und kann Nutzern helfen, Eingabedaten anzupassen, um die Modellausgabe zu steuern. Sie hilft jedoch nicht bei der Anpassung oder Fehlerbehebung des Modells selbst, da sie keinen Einblick in die inneren Abläufe eines Modells bietet.

Überprüfbarkeit

Überprüfbarkeit konzentriert sich ebenso wie Interpretierbarkeit darauf, zu verstehen, wie Modelle bestimmte Ergebnisse generieren, ist jedoch technischer und spezifischer. Überprüfbarkeit zielt in der Regel darauf ab, den genauen Entscheidungsweg, den ein Modell durchläuft, sowie die spezifischen Daten, die es bei der Entscheidungsfindung berücksichtigt, zu rekonstruieren. Im Gegensatz dazu geht es bei der Interpretierbarkeit darum, die allgemeine Entscheidungsstrategie eines Modells zu verstehen.

Ein überprüfbares KI-Tool kann Fotoaufnahmen analysieren, um festzustellen, ob Autos eine rote Ampel überfahren haben. Um einen bestimmten Fahrer wegen einer Rotlichtüberfahrt anzuklagen, muss das Modell in der Lage sein, die spezifischen Parameter zu identifizieren, die es berücksichtigt hat, wie beispielsweise das Kennzeichen des Autos, den Zeitpunkt, zu dem das Fahrzeug in die Kreuzung einfuhr, und den Zeitpunkt, zu dem die Ampel umschaltete. Mit anderen Worten: Das System muss genau nachweisen können, wie es zu einer Schlussfolgerung in einem bestimmten Fall gelangt ist.

Damit dasselbe System interpretierbar ist, muss lediglich verstanden werden, wie das Modell insgesamt funktioniert, ohne die genauen Parameter zu identifizieren, die zu einer bestimmten Entscheidung geführt haben.

Überprüfbarkeit ist wichtig für Anwendungsfälle, die Entscheidungsfindung in stark regulierten medizinischen, rechtlichen oder finanziellen Kontexten beinhalten. Diese Situationen erfordern oft die Möglichkeit, KI-gesteuerte Prozesse zu dokumentieren, zu rekonstruieren oder zu wiederholen.

Interpretierbarkeit im Zeitalter generativer und agentischer KI

In der Vergangenheit wiesen KI-Systeme aus mehreren Gründen tendenziell einen hohen Grad an Interpretierbarkeit auf, darunter die folgenden:

• Die Systeme waren in der Regel weniger komplex aufgebaut, was es einfacher machte, ihre Funktionsweise nachzuvollziehen.
• Sie verarbeiteten weniger Daten, was bedeutete, dass bei der Interpretation des Verhaltens eines Modells weniger Parameter zu berücksichtigen waren.
• Ältere KI-Systeme waren oft domänenspezifisch. Sie wurden für einen bestimmten Anwendungsfall entwickelt, beispielsweise für Produktempfehlungen oder die Umwandlung von Sprache in Text. Dies erleichterte es den Entwicklern, die Interpretierbarkeit sicherzustellen, da die Modelle in einem engen Kontext arbeiteten.

Seit dem Aufkommen generativer und agentischer KI-Anwendungen hat sich viel verändert. Diese Systeme basieren auf extrem komplexen Modellen, die auf Billionen von Parametern trainiert wurden. Die Modelle sind oft universell einsetzbar oder generisch und darauf ausgelegt, jede Art von Information zu verarbeiten. Und selbst wenn ein KI-Tool einem engen Anwendungsfall dient, kann es auf einem generischen Modell basieren. So können beispielsweise dieselben großen Sprachmodelle, die hinter Softwareentwicklungs-Tools stehen, auch Anwendungen antreiben, die Finanzberichte und Marketinginhalte erstellen.

Agentische KI kombiniert Software-Tools mit KI-Modellen, um Aktionen zu automatisieren, was den Prozess der Interpretierbarkeit noch komplexer macht, da KI-Agenten miteinander oder mit mehreren Modellen interagieren können.

Dennoch spielen generative und agentische KI in Unternehmensumgebungen eine entscheidende Rolle. In Verbindung mit der behördlichen Kontrolle zur Gewährleistung von Fairness und Transparenz in KI-gestützten Prozessen bedeutet dies, dass Unternehmen ihre KI-Systeme so interpretierbar wie möglich gestalten müssen – auch wenn die zugrunde liegende Technologie dies nicht gerade erleichtert.

Strategien zur Gewährleistung der Interpretierbarkeit in ML-Modellen

Der beste Weg, Interpretierbarkeit in KI-Systemen zu erreichen, hängt weitgehend davon ab, ob ein Unternehmen seine KI-Modelle von Grund auf selbst entwickelt oder auf Modelle von Drittanbietern zurückgreift.

Interpretierbarkeit in Modelle integrieren, die das Unternehmen selbst kontrolliert

Bei der Entwicklung eines neuen Modells von Grund auf lässt sich Interpretierbarkeit am einfachsten durch die Verwendung eines Algorithmus gewährleisten, der auf einfache und vorhersehbare Weise funktioniert. Im Folgenden sind einige gängige Beispiele für solche Algorithmen aufgeführt:

• Lineare Regression. Eine Art von Algorithmus, der Entscheidungen trifft, indem er unbekannte Daten mit bekannten Daten vergleicht.
• Verallgemeinerte lineare Modellierung. Eine Methode, die sich auf Wahrscheinlichkeitsverteilungen bei nicht-normalen Datenverteilungen konzentriert.
• Entscheidungsbäume. Ein Ansatz, der anhand einer Reihe von Fragen zu einer Schlussfolgerung gelangt.

Modelle, die auf diesen Algorithmen basieren, bieten von Natur aus ein gewisses Maß an Interpretierbarkeit, da sich die Algorithmen auf verständliche Weise verhalten. Dieser Ansatz steht im Gegensatz zu Methoden wie Deep Learning, bei denen mehrere Verarbeitungsschichten zum Einsatz kommen. Vorherzusagen, wie ein Deep-Learning-Modell eine bestimmte Schicht verarbeitet – geschweige denn, wie es sich über mehrere Schichten hinweg verhält –, ist schwierig und führt zu geringer Interpretierbarkeit.

Interpretierbarkeit bei Modellen von Drittanbietern

Bei der Arbeit mit Modellen von Drittanbietern kann die Gewährleistung der Interpretierbarkeit eine Herausforderung darstellen, da es sich um Black Boxes handelt. Unternehmen haben in der Regel keinen Einfluss darauf, wie externe Modelle funktionieren oder Daten ausgeben. Daten zur Interpretierbarkeit stehen möglicherweise nur dem KI-Anbieter zur Verfügung, werden aber nicht an Kunden weitergegeben, die lediglich die Modellausgaben einsehen können.

Dennoch können die folgenden Taktiken dazu beitragen, ein gewisses Maß an Interpretierbarkeit zu erreichen, selbst bei der Arbeit mit Black-Box-Modellen:

• Wählen Sie KI-Tools und -Anbieter, die Interpretierbarkeitsfunktionen bieten, und bewerten Sie die Tiefe und Zuverlässigkeit dieser Funktionen.
• Entwickeln Sie bei der Interaktion mit KI-Systemen Prompts, die Anweisungen zur Erläuterung des Entscheidungsprozesses enthalten.
• Halten Sie Prompts und Anfragen einfach. Einfachere Anfragen mit weniger zu berücksichtigenden Variablen und Parametern sind in der Regel leichter zu interpretieren.
• Um das Verhalten von KI-Systemen zu analysieren, nutzen Sie Post-hoc-Interpretationsmethoden wie lokale, modellunabhängige Erklärungen, additive Shapley-Erklärungen oder Partial-Dependence-Plots. Diese Ansätze bilden die Eingabe-Ausgabe-Beziehungen des Modells ab, um Rückschlüsse auf Entscheidungsprozesse zu ziehen. Obwohl sie gewisse Einblicke bieten, ermöglichen diese Techniken keinen echten Einblick in die internen Abläufe eines Modells.

Die Zukunft der Interpretierbarkeit bei ML-Modellen

Die Verbesserung der Interpretierbarkeit von KI-Modellen erfordert technische und kulturelle Veränderungen.

Technisch gesehen müssen KI-Entwickler bessere Methoden entwickeln, um Einblick in die Entscheidungsfindung des Modells zu gewinnen, ohne dabei die Komplexität oder den Umfang des Modells zu beeinträchtigen. Es gibt keine eindeutigen Lösungen, doch Verbesserungen der Interpretierbarkeit bleiben ein aktives Forschungsgebiet der KI.

Kulturell gesehen erfordert ein Fortschritt bei der Interpretierbarkeit eine stärkere Priorisierung der Transparenz und Nachvollziehbarkeit von KI-Systemen. Das Compliance-Ökosystem bewegt sich in diese Richtung; KI-Vorschriften wie das EU-KI-Gesetz enthalten Anforderungen hinsichtlich der Erläuterung von Entscheidungsprozessen.

Allgemeiner betrachtet müssen KI-Anbieter und ihre Kunden zu der Erkenntnis gelangen, dass die Gewährleistung der Interpretierbarkeit mindestens ebenso wichtig ist wie Faktoren wie Geschwindigkeit, Genauigkeit und Effizienz von KI-Modellen. Bislang stand die Interpretierbarkeit nicht im Mittelpunkt der Aufmerksamkeit großer KI-Unternehmen, doch das könnte sich ändern, wenn KI-Käufer bessere Funktionen zur Interpretierbarkeit fordern.

Dieser Artikel ist im Original in englischer Sprache auf Search Enterprise AI erschienen.