ipopba - stock.adobe.com
Berge versetzen: Umgang mit der Datenflut, um Werte zu finden
Unternehmen stehen vor wachsenden Datenbergen aus KI- und Maschinendaten. Gefragt und wichtig sind Strategien, um Speicher, Sicherheit und Effizienz langfristig zu gewährleisten.
Jeder weiß, dass jede Minute eines jeden Tages eine enorme Menge an Daten erzeugt wird. Künstliche Intelligenz (KI)- und GenAI-generierte Inhalte und Bilder haben den Datenberg noch weiter anwachsen lassen. Im Gegensatz zu den digitalen Daten von heute ist eine der ältesten schriftlichen Aufzeichnungen eine Kundenbeschwerde über minderwertiges Kupfer, die in Ton graviert wurde. Mit einem Alter von rund 3.500 Jahren ist es faszinierend zu sehen, wie das tägliche Leben der Menschen vor Jahrtausenden aussah und wie gut der Ton erhalten ist. Werden zukünftige Generationen auf die Daten, die wir heute erstellen, zurückblicken und dasselbe empfinden?
Zurück zur heutigen Datenflut: Es müssen mehr Informationen denn je gespeichert werden. Teure, schwer zu verwaltende, leistungsschwache und energieineffiziente Speicheroptionen werden moderne Unternehmen nicht mehr unterstützen können. Die Frage ist, wie man mit den heute erzeugten Datenmengen umgehen und den Blick auf zukünftige Anforderungen richten kann.
Unterschiedlicher Wert von Daten, die von Menschen und Maschinen erzeugt werden
Ein immer größerer Teil der täglich erzeugten Daten wird nicht von Menschen, sondern von Maschinen generiert. Ein Beispiel ist die Datenmenge, die eine einzige hochauflösende Überwachungskamera generieren kann. Hinzukommen alle Daten, die von IT-Systemen aus Sicherheits-, Ausfallsicherheits- oder regulatorischen Gründen erstellt werden, und schon scheint es für Unternehmen unmöglich, diese Datenmassen zu bewältigen. Wenn man dann noch die KI-generierten Daten hinzunimmt, mit denen viele Unternehmen gerade erst beginnen, sich auseinanderzusetzen, wird klar, dass eine skalierbare und flexible Strategie nötig ist, um diese Datenflut zu bewältigen. Unternehmen wollen so viele Daten wie möglich aufbewahren, da es nur ein einziges Problem braucht, um sich zu wünschen, man hätte bestimmte Datensätze nicht gelöscht. Interessanterweise wächst die Erkenntnis, dass von Menschen erstellte Daten für das Training neuer KI-Modelle und zur Vermeidung des sogenannten Modellkollaps unerlässlich sind, sodass der Wert von menschengenerierten Daten definitiv höher ist.
Wachstum und Gravitation
Schätzungen zufolge wurden 90 Prozent der weltweit verfügbaren Daten in den letzten Jahren generiert. In der Praxis bedeutet dies, dass die Daten, die in den nächsten Jahren generiert werden, schnell die Gesamtmenge der Daten übersteigen werden, die bereits vorhanden ist. Dieses exponentielle Datenwachstum macht es unerlässlich, die richtigen Richtlinien in Bezug auf Speicherort, Schutz und Aufbewahrung festzulegen, da die damit verbundenen Probleme mit der Zeit nur noch größer werden. Datengravitation bedeutet, dass Datensätze nicht nur umso schwieriger zu verschieben sind, je größer sie werden, sondern auch kleinere Datensätze an denselben Ort ziehen, insbesondere da diese wahrscheinlich durch die Anwendung miteinander verknüpft sind. Dies verschärft das Problem, da mehrere Datensätze zusammen immer größer werden und Anwendungen, die auf die größeren Datensätze angewiesen sind, nicht mehr so einfach verschoben werden können.
Umgang mit der Datenflut
Hier sind einige Strategien, die Unternehmen in Betracht ziehen sollten, um diese Herausforderungen besser zu bewältigen
1. Hybride Platzierung und Mobilität: Die meisten großen Unternehmen verfolgen einen hybriden Ansatz für die Cloud, wobei einige Datensätze vor Ort und andere in der Public Cloud gespeichert sind. Bei der Datenplatzierung ist es wichtig, die verschiedenen Auswirkungen in Bezug auf Kosten, Sicherheit und Ausfallsicherheit zu verstehen und Veränderungen sofort zu reagieren, sobald ein Problem erkannt wird, da die Daten mit zunehmendem Umfang immer schwieriger zu verschieben sind. Man sollte sich immer fragen: Sind meine Entscheidungen noch gültig, wenn dieser Datensatz um das Zehnfache wächst?
Zehnmal so viel mag viel erscheinen, aber eine Wachstumsrate von 40 Prozent entspricht einem Zehnfachen in nur sieben Jahren. Wichtig ist auch, dass Daten, wenn sie verschoben werden müssen, so einfach wie möglich verschoben werden können, ohne dass die darüber liegenden Software- und Infrastrukturkomponenten neu geschrieben werden müssen.
2. On-Demand-Nutzung für neue Anforderungen: Die On-Demand-Nutzung von lokalen Speichersystemen kann nicht nur bei ungeplanten Anforderungen helfen, sondern auch dabei, den aktuellen Bedarf und das Wachstumsprofil neuer Anwendungen und der damit verbundenen Datensätze zu verstehen.
3. Sicherheit und der wachsende Bedarf an Datenresilienz: Die Zunahme von Ransomware-Angriffen sowie immer umfassendere regulatorische Anforderungen haben zu einer stärkeren Fokussierung auf Datenresilienz geführt. Dies kann zu einem größeren Datenwachstum führen, da mehr Resilienz in der Regel mehr Kopien von Daten und mehr Systeme zu deren Verfolgung und Verwaltung bedeutet. Sinnvoll sind Lösungen, die Cyberdatenresilienz mit geringem Speicheraufwand bieten, aber auch eine schnelle Wiederherstellung ermöglichen, da die Resilienzanforderungen immer niedrigere Recovery Time Objectives (RTO) erfordern, die in der Regel über das hinausgehen, was herkömmliche Backup-Lösungen bieten können.
„Ein immer größerer Teil der täglich erzeugten Daten wird nicht von Menschen, sondern von Maschinen generiert. Unternehmen müssen Strategien entwickeln, um mit der exponentiell wachsenden Datenmenge effizient und nachhaltig umzugehen.“
Markus Grau, Pure Storage
4. Nachhaltigkeit: Auch die Nachhaltigkeitskosten gilt es zu berücksichtigen. Dazu gehört die Betrachtung der Energieeffizienz von Datenspeichersystemen sowie ihrer CO2-Kosten. Die Energieeffizienz sollte als Funktion der Kapazität pro Watt und der Leistung pro Watt bewertet werden, während die CO2-Kosten den gesamten Lebenszyklus einschließlich Herstellung, Transport und Außerbetriebnahme umfassen sollten.
5. Langzeitarchivierung: Bei Archivierungs- und Langzeitspeicherlösungen (ob vor Ort oder in der Cloud) ist das Kostenprofil sehr unterschiedlich, je nachdem, ob auf die Daten (wenn auch nur selten) zugegriffen wird oder ob sie vollständig ungenutzt sind. Zu berücksichtigen sind die Gesamtkosten auf der Grundlage eines realistischen Verhältnisses der Daten, auf die zugegriffen wird. Dazu gehören die Kosten für den Abruf aus dem Cloud-Objektspeicher, aber auch die Gebühren für die externe Speicherung und den physischen Abruf sowie der Zeitaufwand für die Wiederherstellung von Medien wie Bändern.
6. Der Sonderfall Videodaten: Videos machen schätzungsweise 50 Prozent der weltweiten Daten aus, daher ist es sinnvoll, spezielle Strategien für deren Verarbeitung zu entwickeln. Fortschritte in den Bereichen Datenkomprimierung, Sampling und Optimierung im Allgemeinen haben dazu beigetragen, die Speicheranforderungen so gering wie möglich zu halten, jedoch haben sich auch die Anforderungen an den Datenzugriff geändert. Traditionell wurden viele Videodaten archiviert, aber Fortschritte im Bereich der KI-Bildverarbeitung haben dazu geführt, dass Menschen diese Daten analysieren und verstehen wollen. Das bedeutet, dass ein Großteil dieser Daten nun Speicherplatz benötigt, der für die Speicherung von Daten ausgelegt ist und gleichzeitig einen zunehmenden gleichzeitigen Datenzugriff ermöglicht. Flash-Speicher mit hoher Kapazität können sowohl kostengünstige Speicheranforderungen erfüllen als auch den Datenzugriff mit der erforderlichen Leistung ermöglichen.
Datenberge bewegen: Ideen, Absichten und Innovationen
Wenn es um Datenspeicherung geht, gibt es immer unterschiedliche Anforderungen und Optionen. Die Geschäftsanforderungen ändern sich, neue Projekte entstehen, Kapazitäten werden ausgeschöpft, Vorschriften eingeführt. Hinzu kommt ein ständiger Strom technologischer Innovationen sowohl im Bereich der Datengenerierung als auch der Datenspeicherung. Einige der Innovationen konzentrieren sich nun auf Keramikspeicher, da Keramik ihre Fähigkeit, Daten über lange Zeiträume hinweg zu schützen, selbst bei den alltäglichsten Kundenbeschwerden, eindeutig unter Beweis gestellt hat. Unternehmen sollten nach einer Datenplattform Ausschau halten, die Flexibilität bietet – sowohl hinsichtlich der Platzierungsoptionen und der Konsistenz über Clouds hinweg als auch hinsichtlich der Datenmobilität. Als zukunftssicher erweist sich eine Plattform, die nach Bedarf genutzt oder erworben werden kann und die neuen Anforderungen an Datenzugriff, Sicherheit und Ausfallsicherheit auf möglichst effiziente Weise erfüllt.
Die Autoren sind für den Inhalt und die Richtigkeit ihrer Beiträge selbst verantwortlich. Die dargelegten Meinungen geben die Ansichten der Autoren wieder.
