Data Fabric (Data-Fabric-Architektur)

Was ist ein Data Fabric (Data-Fabric-Architektur)?

Ein Data Fabric ist eine Architektur, die eine einheitliche Sammlung von Datenbeständen, Datenbanken und Datenbankarchitekturen innerhalb eines Unternehmens bietet. Er kann auf eine Anwendung beschränkt sein, die verteilte Daten sammelt, und sich auf alle Unternehmensdaten erstrecken. Ein Data Fabric ist die Umsetzung allgemeiner Prinzipien der Datenvirtualisierung.

In modernen Prozessautomatisierungsplattformen unterstützt ein Data Fabric dabei, Daten über unterschiedliche Systeme hinweg zu verbinden und eine einheitliche Ansicht zu erstellen. Da es sich um eine virtualisierte Datenschicht handelt, müssen die Daten nicht von ihrem bestehenden Speicherort, zum Beispiel aus einer Datenbank, einer CRM-Anwendung oder einem ERP-System, verschoben werden.

Ein Data Fabric kombiniert mehrere wesentliche Datenmanagementtechnologien, darunter Datenorchestrierung, Datenpipeline, Governance, Integration und Datenkatalog.

Data Fabric versus Datenvirtualisierung

Sowohl Data Fabric als auch Datenvirtualisierung sind Datenverwaltungsstrategien, die leicht unterschiedlichen Zwecken dienen. Zu den Hauptmerkmalen von Data Fabric und Datenvirtualisierung gehören die folgenden.

Data Fabric

• Data Fabric vereinfacht die Datenverwaltung, indem es über eine virtuelle Zugriffsebene Echtzeitzugriff auf alle Daten zur Verfügung stellt. Dies wird durch eine Plattform ermöglicht, auf der alle Technologien und Systeme im gesamten Unternehmen ausgeführt werden können.
• Data Fabric konzentriert sich auf die nahtlose Integration von Daten aus verschiedenen Datenquellen wie Cloud-, lokalen und Edge-Geräten.
• Die Architektur bietet Skalierung für die Verarbeitung großer Datenmengen über die gesamte Data Fabric hinweg.
• Es bietet Datendienste wie Datenmanagement, Sicherheit und Integration, die über die gesamte Fabric hinweg funktionieren.

Datenvirtualisierung

• Datenvirtualisierung ist ein Konzept der Datenintegration und die virtuelle Zugriffsebene, die Data Fabric für den Echtzeitzugriff auf das Datenmanagement verwendet. Sie abstrahiert Daten aus den zugrunde liegenden Quellen und präsentiert sie in einer virtuellen Ebene, um den Eindruck zu erwecken, dass sich alles an einem Ort befindet.
• Durch Datenvirtualisierung können Anwendungen Daten abrufen und bearbeiten, ohne dass technische Details zu den Daten, wie zum Beispiel Speicherort oder Format, erforderlich sind.
• Die Abstraktionsschicht, welche die Datenvirtualisierung bietet, beschleunigt die Datenintegration.
• Durch die Minimierung der Datenzugriffszeit und der Notwendigkeit, Daten zu duplizieren, ermöglicht Datenvirtualisierung einen effizienten Datenzugriff und eine effiziente Datenverarbeitung.

Was ist der Zweck einer Data-Fabric-Lösung?

Ein Data Fabric bietet einen umfassenden und integrierten Ansatz für das Datenmanagement. Die Hauptzwecke von Data Fabric sind:

• Einheitliche Daten. Herkömmliche Datenintegrationssysteme bieten oft keine Echtzeit-Konnektivität, Automatisierung und nahtlose Datentransformationsfunktionen, was zu Datensilos führen kann. Der Zweck der Data-Fabric-Lösung besteht darin, eine einheitliche Ansicht der zugehörigen Daten zu erstellen, um den Zugriff auf Informationen zu erleichtern, unabhängig vom Speicherort, der Datenbankzuordnung oder der Struktur der Daten. Eine einheitliche Ansicht von Kunden, Produkten und Daten verschafft Unternehmen einen Wettbewerbsvorteil.
• Business Intelligence. Eine Data-Fabric-Architektur wird auch zur Vereinfachung der Analyse eingesetzt, häufig mit künstlicher Intelligenz (KI) und maschinellem Lernen (ML). Daher werden entsprechende Datenstrukturen zu einem wichtigen Instrument bei der Umwandlung von Rohdaten in Business Intelligence (BI).
• Anwendungsentwicklung. Ein Data Fabric kann auch die Anwendungsentwicklung erleichtern, indem es ein gemeinsames Modell für den Zugriff auf Informationen schafft, was eine Abkehr von den bereits üblichen Anwendungs- und Datenbanksilos darstellt. Dieselbe Harmonisierung kann die betriebliche Effizienz verbessern. Auf Abteilungsebene kann es einen besseren Informationszugang ermöglichen. Auf IT-Ebene verbessern Data Fabrics die Effizienz, indem sie eine einzige Schicht schaffen, in der der Datenzugriff über alle Ressourcen hinweg verwaltet wird.
• Vereinfachung des Zugriffs. Ein Data Fabric ist eine neue Innovation im Bereich Datenmanagement und digitaler Transformation. Die allgemeinste Anwendung von Data Fabrics ist die Vereinfachung des Datenbankzugriffs, der durch die Vielzahl von Anwendungen, Datenmodellen, Formaten und verteilten Datenbeständen in einem typischen Unternehmen erschwert wird.
• Unterstützung mehrerer Plattformen. Eine Data-Fabric-Architektur ist darauf ausgelegt, eine umfassende Datenintegration, -verwaltung und -bereitstellung über mehrere Bereitstellungs- und Orchestrierungsplattformen und -prozesse hinweg zu erlauben und sowohl betriebliche als auch analytische Anwendungsfälle zu unterstützen.

Data-Fabric-Architektur

Eine Data-Fabric-Architektur ist das strukturelle Design und die Komponenten, die die Erstellung und Verwaltung einer einheitlichen und integrierten Datenumgebung über verteilte Systeme hinweg ermöglichen.

Zu den Hauptkomponenten und -schichten von Data Fabric gehören in der Regel die folgenden:

1. Datenintegration. Bei der Datenintegration werden Daten aus mehreren Quellen gesammelt, in ein einziges Format konvertiert und in einem zentralen Daten-Repository gespeichert. Um bestimmte Datenanforderungen und Betriebsszenarien zu erfüllen, werden bei der Datenintegration Techniken wie Stapelverarbeitung, Echtzeit-Streaming und Datenvirtualisierung eingesetzt.
2. Datenspeicherung. Eine Data-Fabric-Architektur umfasst ein zentrales Repository, in dem die integrierten Daten gespeichert werden, sodass Skalierbarkeit, Leistung und Zugänglichkeit unterstützt werden. Diese Ebene kann Data Warehouses, Data Lakes und andere Speicheroptionen umfassen, die eine Optimierung für verschiedene Datentypen ermöglichen.
3. Data Governance. Diese Ebene der Data-Fabric-Architektur verwendet Richtlinien, Zugriffskontrollen und Prüfverfahren, um die Datenintegrität, Sicherheit und Einhaltung gesetzlicher Vorschriften zu gewährleisten. Zu den Funktionen gehören Data Lineage, Metadatenverwaltung und Data Lifecycle Management (DLM).
4. Datenverarbeitung. Eine Data-Fabric-Architektur ermöglicht es Organisationen, Daten auf verteilte und skalierbare Weise zu verarbeiten, wobei Techniken wie Datenanalyse, Visualisierung und maschinelles Lernen eingesetzt werden, um Erkenntnisse und Werte aus integrierten Daten zu gewinnen. Die Verarbeitung kann zentral oder über verschiedene Umgebungen hinweg erfolgen und auf spezifische Bedürfnisse und Anwendungsfälle zugeschnitten werden.
5. Datenorchestrierung. Die Datenorchestrierung ist ein Schlüsselelement einer Data-Fabric-Architektur, da sie den reibungslosen Datenfluss über verschiedene Quellen, Systeme und Verarbeitungsumgebungen hinweg überwacht. Die Datenorchestrierung gewährleistet eine effiziente Datenerfassung, -transformation und -verarbeitung und ermöglicht es Organisationen, ihre Datenressourcen effektiv zu nutzen.
6. Datenzugriff. Diese Ebene erleichtert die Datennutzung und stellt teamspezifische Berechtigungen sicher, um die gesetzlichen Anforderungen zu erfüllen. Es verbessert auch die Datenzugänglichkeit durch Dashboards und andere Visualisierungs-Tools.

Vorteile von Data Fabric

Data Fabrics bieten sowohl betriebliche Vorteile als auch Vorteile für die IT-Organisation:

• Aufbrechen von Datensilos. Moderne Datenbanken sind in der Regel mit Anwendungen oder Gruppen von Anwendungen verknüpft. Datenbanken neigen auch dazu, zu wachsen, wenn Anwendungen zum Unternehmensbestand hinzugefügt werden. Dies führt häufig zu Datensilos mit unterschiedlichen Strukturen und Formaten. Datenstrukturen verbessern die Fähigkeit, Einblicke in das gesamte Spektrum der Unternehmensinformationen zu gewinnen und die gesammelten Daten zu nutzen, um die betriebliche Effizienz zu verbessern und die Mitarbeiter zu stärken.
• Vereinigt Datenbanken, die über einen großen Bereich verteilt sind. Datenstrukturen können sicherstellen, dass ihre unterschiedlichen Standorte kein Hindernis für den Zugriff darstellen. Sie vereinfachen die Anwendungsentwicklung, indem sie verschiedene Programmierschnittstellen (APIs) für den Datenzugriff harmonisieren. Sie können entweder zur Optimierung der Nutzung spezifischer Anwendungsdaten verwendet werden, ohne den Datenzugriff für andere Anwendungen zu erschweren, oder zur Vereinheitlichung von Daten, die bereits in Silos gespeichert sind.
• Bietet einen einzigen Weg, um auf Informationen sowohl in der Cloud als auch im Rechenzentrum zuzugreifen. Die Anzahl der Anwendungen, die in der Public Cloud oder teilweise in der Public Cloud gehostet werden, hat zugenommen. Data Fabrics können die Portabilität von Anwendungen und das Cloud Bursting oder die Sicherung von Cloud-Komponenten im Rechenzentrum verbessern.
• Bietet Datenagilität. Mit Data Fabric können Unternehmen eine größere Agilität im Datenmanagement erreichen, indem sie schnell auf Daten zugreifen und diese über verschiedene Plattformen und Umgebungen hinweg übertragen. Diese Fähigkeit ermöglicht es Unternehmen, sich schnell an sich ändernde Geschäftsanforderungen anzupassen. Sie erleichtert auch die proaktive Entscheidungsfindung und reduziert die mit Schatten-IT verbundenen Risiken.
• Unterstützt Analysen. Data Fabrics können eine Vielzahl von Analyseoptionen wie Business Intelligence, Datenexploration, natürliche Sprachverarbeitung und ML integrieren.

Herausforderungen bei der Bereitstellung von Data Fabrics

Wenn ein Data Fabric nicht effektiv eingesetzt wird, kann dies zu verschiedenen Herausforderungen führen, darunter die folgenden:

Datensilos

Die größte Herausforderung bei der Bereitstellung von Data-Fabric-Optionen ist die Vielzahl von Datenbanken, Datenmanagementrichtlinien und Speicherorten, die in den meisten Unternehmen zu finden sind. Mit dem Aufkommen von Big Data und innovativen Technologien wie KI, Hybrid Cloud, Edge Computing und dem Internet der Dinge ist die Unternehmensführung komplexer geworden. Eine Data-Fabric-Lösung sollte in der Lage sein, all diese Unterschiede zu harmonisieren. Wenn nicht, bleiben Anwendungs- und Datensilos bestehen, was die Summe der in der Data Fabric verfügbaren Informationen einschränkt.

Die Bewältigung dieser Herausforderung beginnt mit der Schaffung einer einheitlichen Plattform als Grundlage eines Datengefüges. Mehrere Plattformen können das Siloproblem verstärken und die Vorteile der betrieblichen Effizienz schmälern. Das bedeutet, dass die Data-Fabric-Technologie, wenn sie zunächst auf einen spezialisierten Datensatz, eine Betriebseinheit oder Tochtergesellschaft angewendet wird, auf das gesamte Unternehmen ausgedehnt werden muss, und diese Ausweitung sollte das Ziel sein.

Probleme mit der Skalierbarkeit

Wenn ein Data Fabric nicht skalierbar ist, kann dies zu Anpassungsproblemen beim Wachstum führen. Daher sollte ein Data Fabric horizontal und vertikal skalierbar sein, um wachsende Datenmengen bei optimaler Leistung zu bewältigen.

Risiken bei der Harmonisierung

Harmonisierung und Vereinheitlichung durch Virtualisierung bergen immer Risiken, und das gilt auch für Data Fabrics. So bedeutet beispielsweise Standortunabhängigkeit, dass Anwendungen, die über ein Data Fabric auf Informationen zugreifen, nicht wissen, wo sich die Daten befinden.

Dies kann schwerwiegende Auswirkungen auf die Leistung haben. Beim Cloud Computing kann es zu hohen Datenübertragungsgebühren kommen, wenn Daten regelmäßig über die Hybrid- oder Multi-Cloud-Grenze hinweg verschoben werden.

Herausforderungen bei der Datenintegration

Die Data-Fabric-Lösung sollte in der Lage sein, eine Reihe von Datenbereitstellungsmethoden wie Extrahieren, Transformieren und Laden (ETL), Streaming, Replikation, Messaging und Datenvirtualisierung oder Microservices zu unterstützen.

Sie sollte auch eine Vielzahl von Benutzeranforderungen erfüllen, zum Beispiel die von Geschäftsanwendern, die nach Self-Service-Tools für die Datenaufbereitung suchen, sowie von IT-Anwendern mit komplexen Integrationsanforderungen.

Unterschiedliche Zugriffs- und Abfragemechanismen

Unterschiedliche Zugriffsmechanismen in den verschiedenen Datenbanken und die Unterschiede bei den APIs und Abfragesprachen können bei der Datenstruktur zu Herausforderungen führen.

Eine gute Strukturstrategie sollte einen gemeinsamen Zugriffs- und Abfragemechanismus unterstützen. Gleichzeitig darf die Verwendung spezialisierter APIs oder Abfragesprachen nicht ausgeschlossen werden, da sonst aktuelle Anwendungen nicht ausgeführt werden könnten. Daher muss das Fabric-Konzept das Ziel erreichen, die Fabric-Zugriffs- und Abfragetechnologie zu harmonisieren, wenn Anwendungen hinzugefügt oder geändert werden.

Verwendung und Beispiele von Data Fabrics

Data Fabrics werden in verschiedenen Anwendungsfällen und Branchen eingesetzt und ermöglichen es Organisationen, Daten effektiv zu verwalten und ihre operativen Fähigkeiten zu verbessern.

Zu den gängigen Beispielen und Anwendungsfällen von Data Fabrics gehören die folgenden:

• Zentrale Unternehmensverwaltung. Die häufigste Verwendung eines Data Fabric ist die virtuelle oder logische Sammlung geografisch verteilter Datenbestände, um einen vollständigen Zugriff und eine vollständige Analyse zu ermöglichen. In dieser Anwendung wird das Data Fabric in der Regel für die zentrale Unternehmensverwaltung verwendet. Die verteilten Abteilungen und Betriebe, die die Daten regelmäßig sammeln und nutzen, werden weiterhin durch ihre traditionellen Anwendungen und Datenzugriffs- und Abfrageschnittstellen unterstützt. Dies ist besonders wertvoll für Organisationen, die ihre Aktivitäten regional oder national segmentiert haben, aber eine zentrale Verwaltung und Koordination benötigen.
• Einheitliches Datenmodell. Eine zweite häufige Anwendung ist die Erstellung eines einheitlichen Datenmodells für ein Unternehmen nach einer Fusion oder Übernahme. In diesen Situationen ist es fast sicher, dass die Datenbank- und Datenmanagementrichtlinien der zuvor unabhängigen Organisationen unterschiedlich sind, was die Erfassung von Informationen über Organisationsgrenzen hinweg erschwert. Eine Datenstruktur kann dieses Problem lösen, indem sie eine einheitliche Sicht auf die Daten schafft. Dies ermöglicht es der kombinierten Einheit, sich schrittweise auf ein einziges virtuelles Datenmodell zu einigen, falls gewünscht, jedoch im optimalen Tempo für die betriebliche Effizienz, während Gewinne und Umsätze erhalten bleiben.
• Modelle für maschinelles Lernen und KI. Durch die Verwendung semantischer Wissensgraphen und die umfassende Integration von Organisationsdaten können Datenstrukturen die Datenzufuhr und -vorbereitung für Machine-Learning-Modelle optimieren. Data Fabric beschleunigt auch die Erstellung von Machine-Learning-Modellen, indem es die Datenaufbereitung rationalisiert und die Wiederverwendbarkeit von Modelldaten auf verschiedenen Plattformen gewährleistet.
• Personalisierung in Echtzeit. Unternehmen können Data Fabric nutzen, um Daten von allen Interaktionspunkten des Kunden zusammenzuführen und eine ganzheitliche Kundensicht zu schaffen. Dies ermöglicht eine nahtlose Personalisierung und Anpassung von Kundeninitiativen in Echtzeit.
• Cloud-Migration. Ein Data Fabric unterstützt Cloud-Migrationsstrategien, indem es einen einheitlichen Rahmen bietet, der sowohl lokale als auch Cloud-Umgebungen umfasst. So unterstützt es beispielsweise skalierbare, flexible und kostengünstige Migrationen, einschließlich Echtzeit-Datenanalysen in der Telekommunikationsbranche. Dies wird durch eine elastische Datenverarbeitung erreicht, die sich auf die Fähigkeit bezieht, Rechenressourcen wie Verarbeitungsleistung und Speicherplatz dynamisch zuzuweisen, um unterschiedliche Arbeitslasten und Datenmengen effizient zu bewältigen.
• Nachverfolgung von Gesundheitsdaten. Gesundheitsorganisationen müssen große Datenmengen aus verschiedenen Quellen verarbeiten, zum Beispiel aus elektronischen Patientenakten, tragbaren Sensoren, medizinischen Geräten und Verwaltungssystemen. Data Fabric integriert diese unterschiedlichen Datenquellen in einer einheitlichen Ansicht, sodass der Zugriff auf umfassende Patienteninformationen und deren Analyse in Echtzeit erleichtert wird. Durch die Verwendung von Data Fabric zur systemübergreifenden Nachverfolgung aller Instanzen von Patientendaten können Gesundheitsorganisationen auch die Einhaltung von Vorschriften sowie die Datenqualität und -sicherheit sicherstellen.

Data-Fabric-Softwaremarkt

Laut einer Studie von Precedence Research wird der Data-Fabric-Markt bis 2034 auf 11,9 Milliarden US-Dollar anwachsen. Es muss jedoch angemerkt werden, dass die Grenzen des Data-Fabric-Marktes noch verschwommen sind und noch definiert werden müssen.

Precedence Research benennt folgenden Anbieter für Data-Fabric-Software:

• Hewlett Packard Enterprise
• IBM
• Informatica
• Oracle
• NetApp
• SAP
• Talend
• Tibco Software