Data Profiling (Datenarchäologie, Datenprofilerstellung)
Was ist Data Profiling?
Data Profiling, auch Datenarchäologie oder Datenprofilerstellung, bezeichnet den Prozess der Untersuchung, Analyse, Überprüfung und Zusammenfassung von Datensätzen, um Einblicke in die Qualität der Daten zu gewinnen. Die Datenqualität ist ein Maß für den Zustand von Daten, basierend auf Faktoren wie Genauigkeit, Vollständigkeit, Konsistenz, Aktualität und Zugänglichkeit.
Data Profiling umfasst auch die Überprüfung der Quelldaten, um deren Struktur, Inhalt und Zusammenhänge zu verstehen. Dieser Überprüfungsprozess bietet dem Unternehmen zwei wichtige Vorteile:
- Er liefert einen Überblick über die Qualität der Datensätze.
- Er hilft dem Unternehmen, potenzielle Datenprojekte zu identifizieren.
Angesichts dieser Vorteile ist Data Profiling ein wichtiger Bestandteil von Datenaufbereitungsprogrammen. Da es Unternehmen dabei unterstützt, qualitativ hochwertige Daten zu identifizieren, ist sie eine wichtige Vorstufe für die Datenverarbeitung und Datenanalyse.
Darüber hinaus kann ein Unternehmen Data Profiling und die daraus gewonnenen Erkenntnisse nutzen, um seine Datenqualität kontinuierlich zu verbessern und die Ergebnisse dieser Bemühungen zu messen.
Data Profiling wird auch als Datenarchäologie, Datenbewertung, Datenermittlung oder Datenqualitätsanalyse bezeichnet.
Unternehmen nutzen Data Profiling zu Beginn eines Projekts, um festzustellen, ob genügend Daten gesammelt wurden, ob Daten wiederverwendet werden können oder ob das Projekt weiterverfolgt werden sollte. Der Prozess des Data Profilings selbst kann auf spezifischen Geschäftsregeln basieren, die aufzeigen, inwieweit der Datensatz mit den Geschäftsstandards und -zielen übereinstimmt.
Arten des Data Profilings
Es gibt drei Arten des Data Profilings:
- Strukturerkennung. Hier liegt der Schwerpunkt auf der Formatierung der Daten, um sicherzustellen, dass alles einheitlich und konsistent ist. Mit grundlegenden statistischen Analysen werden Informationen über die Gültigkeit der Daten zurückgegeben.
- Inhaltserkennung. Bei diesem Prozess wird die Qualität einzelner Datenelemente bewertet. Beispielsweise werden mehrdeutige, unvollständige und Nullwerte identifiziert.
- Beziehungserkennung. Hier werden Verbindungen, Ähnlichkeiten, Unterschiede und Assoziationen zwischen Datenquellen erkannt.
Techniken des Data Profilings
Die folgenden vier Methoden oder Techniken werden beim Data Profiling verwendet:
- Spaltenprofilerstellung. Dabei werden Tabellen bewertet und Einträge in jeder Spalte quantifiziert.
- Spaltenübergreifende Profilerstellung. Dies wird verwendet, um Beziehungen zwischen Spalten zu analysieren, indem eindeutige Werte (durch Schlüsselanalyse) identifiziert und Attributabhängigkeiten (durch Abhängigkeitsanalyse) ermittelt werden.
- Tabellenübergreifende Profilerstellung. Dabei werden mithilfe der Schlüsselanalyse abweichende Daten sowie semantische und syntaktische Diskrepanzen identifiziert.
- Datenregelvalidierung. Dabei werden Datensätze anhand festgelegter Regeln und Standards bewertet, um zu überprüfen, ob diese eingehalten werden.
- Metadatenermittlung. Sie hilft, Datenstrukturen und Beziehungen zwischen Systemen zu verstehen. Die Metadatenermittlung ist oft automatisiert und umfasst das Spalten-, spaltenübergreifende und tabellenübergreifende Profilerstellung.
Was sind die Schritte im Data-Profiling-Prozess?
Data Profiling unterstützt Unternehmen, Datenqualitätsprobleme zu identifizieren und zu beheben, bevor die Daten analysiert werden, sodass Datenfachleute bei der Verarbeitung von Daten für Entscheidungszwecke nicht mit Inkonsistenzen, Nullwerten oder inkohärenten Schema-Designs konfrontiert werden.
Beim Data Profiling werden Daten an ihrer Quelle und beim Laden statistisch untersucht und analysiert. Außerdem werden die Metadaten auf Genauigkeit und Vollständigkeit überprüft.
In der Regel umfasst dies entweder das Schreiben von Abfragen oder die Verwendung von Data Profiling Tools.
Der Prozess lässt sich grob wie folgt unterteilen:
- Der erste Schritt des Data Profilings besteht darin, eine oder mehrere Datenquellen und die zugehörigen Metadaten für die Analyse zu sammeln. Außerdem sollte ein zentrales Data Profiling Tool ausgewählt werden, das alle gesammelten Daten analysieren kann.
- Anschließend werden die Daten bereinigt, um die Struktur zu vereinheitlichen, Duplikate zu beseitigen, Zusammenhänge zu identifizieren und Anomalien zu finden. Dieser Schritt kann die Ermittlung von Strukturen, Inhalten und Beziehungen umfassen.
- Nach der Bereinigung der Daten liefern Data Profiling Tools verschiedene Statistiken zur Beschreibung des Datensatzes. Dazu können der Mittelwert, der Minimal-/Maximalwert, die Häufigkeit, wiederkehrende Muster, Abhängigkeiten oder Datenqualitätsrisiken gehören.
- Nachdem alles dokumentiert ist, sollte die Datenqualität kontinuierlich überwacht werden, um neue Probleme zu vermeiden. Die Datenqualität ist keine einmalige Aufgabe.
Durch die Untersuchung der Häufigkeitsverteilung verschiedener Werte für jede Spalte in einer Tabelle kann ein Datenanalyst beispielsweise Einblicke in den Typ und die Verwendung jeder Spalte gewinnen. Mit Hilfe der spaltenübergreifenden Analyse lassen sich eingebettete Wertabhängigkeiten aufdecken, während die tabellenübergreifende Analyse es dem Analysten ermöglicht, überlappende Wertemengen zu entdecken, die Fremdschlüsselbeziehungen zwischen Entitäten darstellen.
Vorteile des Data Profilings
Data Profiling liefert einen umfassenden Überblick über die Daten, der folgende Vorteile mit sich bringt:
- Bietet qualitativ hochwertigere und glaubwürdigere Daten. Datenduplikate und Ungenauigkeiten können die Arbeit mit Daten erschweren und einem Unternehmen Kosten verursachen. Data Profiling hilft dabei, viele dieser Probleme zu finden und zu beseitigen, um zuverlässigere Daten zu erstellen. Data Profiling ist nur eine von vielen Methoden, mit denen sich die Datenqualität verbessern lässt.
- Unterstützt Predictive Analytics und Entscheidungsfindung. Data Profiling hilft bei der Erstellung genauerer Predictive Analytics und Entscheidungsfindung. Zuverlässigere Daten verbessern die Genauigkeit von Machine-Learning-Modellen und Prognosen.
- Verständnis der Beziehungen zwischen verschiedenen Datensätzen und Quellen. Das Verständnis der Beziehungen zwischen Datensätzen unterstützt bei Prozessen wie der Optimierung von Datenbanken und der Integration von Daten.
- Zentralisierung und Organisation von Unternehmensinformationen. Data Profiling kann eine besser organisierte Datenumgebung schaffen und den Zugriff von Mitarbeitenden auf Daten optimieren.
- Beseitigung von Fehlern. Data Profiling kann Fehler wie fehlende Werte oder Ausreißer identifizieren und beseitigen, die datengesteuerte Projekte verteuern.
- Reduziert wiederkehrende Fehler. Data Profiling zeigt Bereiche innerhalb eines Systems auf, in denen die meisten Datenqualitätsprobleme auftreten, wie zum Beispiel Datenkorruption oder Eingabefehler durch Benutzer.
- Liefert Erkenntnisse zu Risiken, Chancen und Trends. Data Profiling kann Unternehmen dabei unterstützen, potenzielle Datenmuster zu erkennen, die auf Compliance-Risiken oder Marktchancen hinweisen können.
Herausforderungen des Data Profilings
Obwohl die Ziele des Data Profilings klar sind, birgt der Prozess dennoch einige Herausforderungen.
- Komplexität. Die eigentliche Arbeit im Rahmen des Data Profilings ist recht komplex, da von der Datenerfassung bis zur Speicherung in einem Data Warehouse mehrere Aufgaben anfallen. Diese Komplexität ist eine der Herausforderungen, denen Unternehmen bei der Implementierung und dem Betrieb eines erfolgreichen Data-Profiling-Programms gegenüberstehen.
- Datenvolumen. Die schiere Menge der Daten, die von einem typischen Unternehmen erfasst werden, ist eine weitere Herausforderung, ebenso wie die Vielzahl der Quellen, aus denen die Daten stammen – von Cloud-Systemen bis hin zu Endgeräten, die als Teil eines Internet-of-Things-Ökosystems eingesetzt werden.
- Geschwindigkeit. Die Geschwindigkeit, mit der Daten in ein Unternehmen gelangen, stellt weitere Herausforderungen für ein erfolgreiches Data-Profiling-Programm dar, da sie Hindernisse wie die Verarbeitung ständig wechselnder Daten in großen Mengen mit sich bringt.
- Herausforderungen bei der Datenaufbereitung. Die Herausforderungen bei der Datenaufbereitung sind in Unternehmen, die keine modernen Data Profiling Tools eingeführt haben und noch immer einen Großteil dieser Arbeit manuell erledigen, noch größer.
- Ressourcen. Unternehmen, denen es an geeigneten Ressourcen mangelt – darunter geschulte Datenexperten, Tools und die dafür erforderlichen finanziellen Mittel –, werden es schwerer haben, diese Herausforderungen zu bewältigen.
Genau diese Faktoren machen jedoch Data Profiling wichtiger denn je, um sicherzustellen, dass das Unternehmen über die hochwertigen Daten verfügt, die es für intelligente Systeme, die Personalisierung von Kundenerlebnissen, produktivitätssteigernde Automatisierungsprojekte und vieles mehr benötigt.
Beispiele für Data Profiling
Data Profiling kann in verschiedenen Anwendungsfällen implementiert werden, in denen Datenqualität wichtig ist.
Beispielsweise können Projekte im Bereich Data Warehousing oder Business Intelligence (BI) die Erfassung von Daten aus mehreren unterschiedlichen Systemen oder Datenbanken für einen Bericht oder eine Analyse erfordern. Die Anwendung von Data Profiling auf diese Projekte kann dabei unterstützen, potenzielle Probleme und Korrekturen zu identifizieren, die in ETL-Jobs (Extract, Transform, Load) und anderen Datenintegrationsprozessen vor dem Fortfahren vorgenommen werden müssen.
Darüber hinaus ist Data Profiling von entscheidender Bedeutung bei Datenkonvertierungen oder Datenmigrationen, bei denen Daten von einem System in ein anderes übertragen werden. Data Profiling kann dabei helfen, Datenqualitätsprobleme zu identifizieren, die bei der Übertragung verloren gehen können, oder Anpassungen, die vor der Migration am neuen System vorgenommen werden müssen.
Jedes Unternehmen, das mit großen Datenmengen zu tun hat, kann von Data Profiling profitieren. Ein Einzelhandelsgeschäft kann beispielsweise Data Profiling nutzen, um Daten aus seinen Kassensystemen zu sammeln und zu analysieren.
Tools für Data Profiling
Data Profiling Tools ersetzen einen Großteil, wenn nicht sogar den gesamten manuellen Aufwand dieser Funktion, indem sie Probleme aufdecken und untersuchen, die die Datenqualität beeinträchtigen, wie zum Beispiel Duplikate, Ungenauigkeiten, Inkonsistenzen und Unvollständigkeiten.
Diese Technologien analysieren Datenquellen und verknüpfen sie mit ihren Metadaten, um eine weitere Untersuchung von Fehlern zu ermöglichen.
Darüber hinaus bieten sie Datenfachleuten quantitative Informationen und Statistiken zur Datenqualität, in der Regel in Tabellen- und Grafikformaten.
Datenmanagementanwendungen können beispielsweise den Profiling-Prozess mithilfe von Tools verwalten, die Fehler beseitigen und die Konsistenz der aus mehreren Quellen extrahierten Daten gewährleisten, ohne dass eine manuelle Codierung erforderlich ist.
Solche Tools sind für viele, wenn nicht sogar für die meisten Unternehmen heute unverzichtbar, da das Volumen der Daten, die sie für ihre Geschäftsaktivitäten verwenden, selbst die Kapazitäten eines großen Teams, diese Aufgabe überwiegend manuell zu erledigen, bei weitem übersteigt.
Data Profiling Tools umfassen in der Regel auch Funktionen für die Datenaufbereitung, die Erkennung von Datenlücken und Metadaten sowie die Erkennung und Zusammenführung von Duplikaten, die Überprüfung von Datenähnlichkeiten und die Anpassung von Datenbewertungen.
Zu den bekanntesten Tools und Anbietern für Data Profiling zählen unter anderem:
