Welche KPIs Unternehmen nutzen, um die KI-Leistung zu messen

Diese KI KPIs sollten Sie kennen

KI KPIs lassen sich in zwei Kategorien unterteilen: direkte und indirekte.

Direkte Kennzahlen

Der mittlere quadratische Fehler (Mean Squared Error, MSE) ist eine wichtige direkte Metrik in ML- und GenAI-Projekten. Er misst die Differenz zwischen der generierten Ausgabe und dem beabsichtigten Ergebnis. Der MSE unterstützt dabei, Fehler im Trainingsprozess zu quantifizieren. Je größer der durchschnittliche Fehler ist, desto weiter ist das Tool davon entfernt, sein Ziel zu erreichen.

Die Perplexität (Perplexity) ist ebenfalls eine gängige Metrik, insbesondere für GenAI-Modelle, die Text-Output erzeugen. Sie misst, wie gut ein Sprachmodell eine Stichprobe vorhersagt, indem sie erfasst, auf wie viele verschiedene Arten das Tool die Frage „Welches Wort kommt als Nächstes?“ beantworten kann. Wenn das Modell an jedem Bewertungspunkt nur eine geringe Anzahl potenzieller Kandidaten für das „nächste Wort“ hat, ergibt sich ein niedriger Perplexity-Wert. Dies deutet darauf hin, dass das Modell insgesamt mehr Vertrauen in sein Textverständnis hat, und dass der generierte Inhalt genauer ist. Eine niedrigere Perplexity lässt darauf schließen, dass ein Modell besser darin ist, menschenähnlichen Text zu erzeugen.

Für GenAI-Anwendungen, die Medien und Bilder erzeugen, kann die Fréchet Inception Distance (FID) eine hilfreiche Metrik sein. Die 2017 entwickelte Fréchet Inception Distance misst die Qualität von KI-generierten Bildern, indem er sie mit von Menschen erstellten Bildern vergleicht. Um einen FID-Wert zu erhalten, quantifizieren die Bewerter die Merkmale eines Referenzbildes, indem sie es durch ein separates KI-Tool leiten, das Informationen über die tatsächlichen Bildmerkmale wie Formen, Farbgebung und Texturen extrahiert. Das Tool extrahiert dann Informationen über das generierte Bild und vergleicht die Unterschiede zwischen den beiden Bildern in der Ausgabe. Je höher der FID-Wert, desto größer ist der Abstand zwischen der erwarteten und der tatsächlichen Verteilung der Bildmerkmale.

Eine weitere gängige Metrik für Bilder ist der Structural Similarity Index Measure (SSIM), der 2004 für die Filmindustrie entwickelt wurde und die wahrgenommene Qualität generierter Bilder im Vergleich zu den Originaldaten bewertet. Während die FID die Verteilung von Bildmerkmalen auf Makroebene, wie zum Beispiel Formen, bewertet, untersucht der SSIM Merkmale auf Pixelebene, wie zum Beispiel Kontrast und Luminanz. Die FID eignet sich am besten für Bildersätze, um festzustellen, ob das KI-Tool Bilder generiert, die im Allgemeinen auf hohem Niveau mit realen Bildern übereinstimmen, während der SSIM ein bestimmtes Bild mit einem anderen vergleicht, um deren Ähnlichkeiten zu ermitteln.

Allgemeinere KPIs für Unternehmen und die IT gelten auch für KI-Projekte, darunter die folgenden:

• First Contact Resolution Rate. Bei KI kann dieser KPI messen, wie viel Prozent der an das Tool übermittelten Prompts beim ersten Mal eine zufriedenstellende Antwort erhalten, ohne dass sie geändert und erneut übermittelt werden müssen. Er ergänzt die Relevanzbewertung von Inhalten.
• Relevanzbewertung von Inhalten. Bei textbasierten Modellen quantifiziert dieser KPI, wie gut KI-generierte Inhalte den geschäftlichen oder kreativen Anforderungen entsprechen.
• Eingesparte Kosten. Es ist wichtig, sowohl direkte als auch indirekte Einsparungen zu messen, die KI generieren kann. Direkte Einsparungen können beispielsweise daran gemessen werden, wie kosteneffizient ein KI-Einsatz eine Aufgabe entlang der Lieferkette im Vergleich zu einem menschlichen Manager ausführt. Indirekte Einsparungen durch KI in einer PR-Agentur können beispielsweise daran gemessen werden, wie gut sie die Zeit für die Erstellung einer Pressemitteilung im Vergleich zu einem menschlichen Mitarbeiter verkürzt.
• Erzielte Gewinne. Die Effektivität von KI lässt sich auch an der Rolle messen, die sie beim Aufbau von Einnahmequellen spielt, beispielsweise durch die Ermöglichung neuer Produktlinien, die Erweiterung des Kundenstamms oder die Steigerung des durchschnittlichen Umsatzvolumens.

Indirekte Kennzahlen

Indirekte Kennzahlen sind ebenso wichtig wie direkte, insbesondere für generative KI, wo subjektive Messgrößen wie Kreativität und Nutzerzufriedenheit entscheidend sind. Diese Kennzahlen konzentrieren sich auf übergeordnete Geschäftsbereiche, darunter die folgenden:

• Kundenzufriedenheit. Direkte, auf menschlichem Feedback basierende „Bewerten Sie diese Antwort“-Bewertungen, gepaart mit indirektem menschlichem Feedback wie der Häufigkeit, mit der ein Nutzer eine Frage wiederholt oder Frustration über die Antworten des Chatbots äußert, können dabei helfen zu bewerten, wie gut die KI ihren beabsichtigten Zweck erfüllt.
• Nutzer-Engagement-Raten. KPIs wie die Sitzungsdauer eines Nutzers oder die Häufigkeit der Rückkehr zu einer Anwendung sind aussagekräftige indirekte Kennzahlen für GenAI-Tools, die kreative Ergebnisse wie Kunst oder Musik generieren.
• Innovationswerte. Diese Kennzahl misst, wie häufig generative KI neuartige, nützliche Ideen oder kreative Ergebnisse hervorbringt, die spezifische Geschäftsziele erfüllen.
• Inhaltsvielfalt. Diese Kennzahl bewertet die Fähigkeit eines GenAI-Systems, vielfältige, qualitativ hochwertige Ergebnisse in verschiedenen Kontexten oder Bereichen zu produzieren.

Wie KPIs den Wert von KI messen

KI-bezogene direkte und indirekte KPIs quantifizieren die Effektivität und Effizienz von KI-Tools und erleichtern so die Berechnung des ROI. Effektive KPIs unterstützen dabei, die allgemeinen geschäftlichen Auswirkungen von KI zu verfolgen. Die Messung des GenAI-ROI berücksichtigt die Skalierbarkeit und quantifiziert, wie viele Ergebnisse ein Tool in einem bestimmten Zeitraum unter Beibehaltung der Qualität generieren kann.

Betrachten wir ein Unternehmen, das GenAI einsetzt, um das Kundenerlebnis zu verbessern. Wenn ein KPI eine 60-prozentige Reduzierung der Zeit zeigt, die benötigt wird, um personalisierte Antworten für Kunden in einem Echtzeit-Chat zu generieren, und ein anderer KPI einen parallelen Anstieg der Kundenzufriedenheit anzeigt, deuten die beiden Kennzahlen wahrscheinlich auf eine erfolgreiche KI-Initiative zur Verbesserung des Kundenerlebnisses hin. Und ein Vergleich der Kosten der KI-Initiative mit den Ausgaben für den Ausbau eines menschlichen Kontaktzentrums, um ähnliche Ergebnisse zu erzielen, ergibt wahrscheinlich einen positiven ROI für das KI-Projekt.

Dieser Artikel ist im Original in englischer Sprache auf Search Enterprise AI erschienen.