Gorodenkoff/stock.adobe.com
Eröffnet die KI-Technologie Object Storage neue Marktchancen?
Object Storage hat über die Jahre viele Innovationen erfahren. Mit integrierten KI-Funktionen wird Objektspeicher für neue Anwendungen und Workloads zur Storage-Alternative.
Die Notwendigkeit, die richtige Daten- und Speicherarchitektur für die moderne Ära von KI, fortschrittlichen Analysen und Data Lakes zu entwickeln, treibt Innovationen im Speicher-Ökosystem weiter voran. Auch im Jahr 2024 gab es eine große Anzahl von Ankündigungen im Bereich des Objektspeichers, da die Marktteilnehmer versuchen, davon zu profitieren.
Was treibt diesen Trend an, und was sagt er uns über die Zukunft der Objektspeicherung in Unternehmen? Objektspeicher ist nicht neu und ein hervorragendes Beispiel dafür, wie sich eine grundlegende Technologie im Laufe der Zeit weiterentwickeln und für verschiedene Zwecke und in neuen Märkten eingesetzt werden kann.
Die Anfänge des Object Storage
Objektspeicher wurden erstmals Anfang der 2000er Jahre nach dem Enron-Finanzskandal eingeführt, als strengere Finanzvorschriften wie das Sarbanes-Oxley-Gesetz von Unternehmen verlangten, digitale Informationen wie unter anderem E-Mails und Dokumente für bestimmte Zeiträume aufzubewahren. Die IT-Abteilung benötigte eine kosteneffiziente Möglichkeit, große Datenmengen zentral und in einem leicht abrufbaren Format zu speichern; ein auf die Einhaltung von Vorschriften ausgerichteter Speicher wie das Centera Content Addressable Storage-System (kurz CAS) von EMC wurde entwickelt, um diese Lücke zu schließen. Das System setzte zwar neue Standards, konnte sich aber auf lange Sicht nicht durchsetzen.
Anstatt Daten als Dateien zu speichern, die in einem Dateisystem organisiert werden müssen, wurden die Daten als Objekte in einer viel flacheren Hierarchie gespeichert, wodurch das System besser skalierbar wurde. Außerdem konnten die Benutzer die Daten unveränderlich und mit einem viel umfangreicheren Satz von Metadaten als in einem Dateisystem speichern. Regulierte Branchen, insbesondere der Finanzsektor, setzen solche Plattformen in großem Umfang ein.
Die nächste Innovationswelle war ausschlaggebend dafür, dass sich Object Storage von einer Nischenanwendung zur Grundlage der Cloud, wie wir sie heute kennen, entwickelte. Sie entstand aufgrund der explosionsartigen Zunahme digitaler Inhalte im Zuge der massenhaften Verbreitung von Smartphones, zusammen mit dem Aufkommen sozialer Medien und dem Public-Cloud-Modell – insbesondere AWS – Mitte bis Ende der 2000er Jahre.
Die Einführung von Amazon S3 war entscheidend, da es eine neue Möglichkeit bot, eine massiv skalierbare, verteilte und einfache Speicherarchitektur zu schaffen, die als Service genutzt wird und über eine umfangreiche API verfügt, mit der sich jeder verbinden kann. Es hat sich inzwischen zu einem De-facto-Standard entwickelt und öffnete das Tor zu einer Vielzahl neuer datenzentrierter, Cloud-basierter Anwendungen, die die Vorteile von S3 problemlos nutzen können.
In dieser Zeit entstanden auch mehrere Spezialisten für Objektspeichertechnologien. Content-lastige Unternehmen konnten ihre wachsenden Datenmengen kosteneffizient vor Ort verwalten, und andere Service Provider konnten S3-ähnliche Speicherdienste anbieten. Die meisten dieser Spezialisten wurden schließlich von den größeren Speicher- und Infrastrukturanbietern übernommen.
Innovationen und Potenzial
In den letzten Jahren hat sich Objektspeicher in zwei verschiedene Richtungen entwickelt. In der Public Cloud ist die Nutzung in die Höhe geschnellt, da S3 zur Grundlage einer neuen Art von Webanwendungen und Big Data Lakes wurde. Die Zahl der S3-Kunden geht in die Millionen, und es werden inzwischen rund 450 Billionen Objekte gespeichert. Dieses Wachstum dürfte sich fortsetzen, da Amazon weiterhin in Innovationen in diesem Bereich investiert.
Im Gegensatz dazu ist die Akzeptanz von Object-Storage-Plattformen vor Ort in Unternehmen eher bescheiden. Untersuchungen der Enterprise Strategy Group von Informa TechTarget haben ergeben, dass Object Storage in verschiedenen Formen von etwa einem Drittel der Unternehmen genutzt wird. Obwohl die Nutzung sicherlich zugenommen hat – vor allem bei denjenigen, die sehr große unstrukturierte Datenmengen haben oder die die Public Cloud nicht nutzen können oder wollen –, ist Objektspeicher in normalen Unternehmen immer noch die Ausnahme. Mainstream-Anwendungen, insbesondere solche, die ein hohes Maß an Speicherleistung erfordern, werden nach wie vor auf SAN, NAS oder Unified Storage ausgeführt.
Im Unternehmen ist Objektspeicher weitgehend auf die notwendige Rolle der Unterstützung kapazitätsorientierter Anwendungen beschränkt, bei denen Langlebigkeit und kosteneffiziente Skalierung Vorrang vor Leistung haben. Er kann als Repository für Backups, Archive, große Data Lakes und so weiter dienen. Da einige Unternehmen beginnen, künstliche Intelligenz (KI) in großem Umfang mit großen Mengen unstrukturierter Daten einzusetzen, wenden sie sich außerdem hochleistungsfähigem Dateispeicher zu, wie zum Beispiel parallelen Dateisystemen. Hier könnte Objektspeicher als eine niedrigere, kapazitätsorientierte Ebene eine Rolle spielen, aber bisher stand er nicht im Vordergrund.
Objektspeicher am eigenen Standort durchläuft jedoch eine neue Innovationsphase, in der sich dessen Rolle noch einmal ändern könnte. Befürworter sind der Meinung, dass Objektspeicher durch die Steigerung der Leistung eine viel größere Rolle im Unternehmen spielen wird, da sie eine skalierbarere, benutzerfreundlichere und kostengünstigere Alternative zu herkömmlichen Speicherlösungen darstellen. In diesem Zusammenhang könnten sie sogar hochleistungsfähige KI-Workloads direkt unterstützen und eine Alternative zu dateisystembasierten Ansätzen darstellen.
Verfügbare Object-Storage-Lösungen
Neben anderen Anbietern hat HPE seine erste selbst entwickelte Objektspeicherplattform vorgestellt. HPE hat seinen Alletra Storage MP X10000 auf einer disaggregierten All-Flash-Architektur aufgebaut. HPE zielt auf Hochgeschwindigkeits-Data-Lakes sowie auf traditionellere Anwendungen wie Backup und Archivierung ab und hebt die Leistung des Systems hervor.
Darüber hinaus arbeitet HPE mit Nvidia zusammen, um einen direkten Pfad für den direkten Speicherzugriff zwischen GPU-Speicher, System-Memory und dem X10000 zu ermöglichen. Diese Fähigkeit, die HPE für 2025 plant, würde die Bandbreite des Systems weiter erhöhen, die Latenzzeit verringern und die GPU-Auslastung verbessern, wodurch es sich besser als Speicherebene für leistungsstarke KI-Anwendungen eignet.
HPE ist mit diesem Vorhaben nicht allein. Der Objektspeicher-Spezialist Cloudian hat sein HyperStore-Produkt erstmals mit der Nvidia Magnum IO GPUDirect Storage-Technologie integriert, die eine direkte Kommunikation zwischen Nvidia-GPUs und Cloudian-Speicherknoten ermöglicht. Durch diese Umgehung der CPU kann Cloudian nach eigenen Angaben einen hohen parallelen Durchsatz und eine hohe Skalierbarkeit für KI-Workloads wie Training und Inferencing bieten, ohne dass die Komplexität eines Dateisystems entsteht oder Daten zwischen den Storage Tiers migriert werden müssen.
Ein weiterer Spezialist für Objektspeicher, Scality, hat eine leistungsfähigere Variante seiner Ring-Software vorgestellt, die für KI-Workloads wie beispielsweise Modelltraining optimiert ist und Reaktionszeiten von Mikrosekunden für kleine Objektdaten bietet. Das System läuft auf AMD Epyc-basierten All-Flash-NVMe-Speicherservern und kann neben regulärem Ring-Speicher konfiguriert werden, um ein End-to-End-Speichermanagement über die gesamte KI-Daten-Pipeline hinweg zu bieten.
Hitachi Vantaras aktuelles Objektspeicherprodukt, VSP One Object, zielt auf eine Vielzahl von Unternehmensanwendungen ab, die S3-native Analysen, Backups und sogar hochleistungsfähige KI/ML Data Lake Workloads umfassen.
Diese und andere Innovationen zeigen, dass dies für viele Unternehmen ein guter Zeitpunkt ist, um einen neuen Blick auf die Rolle von Objektspeicher zu werfen, insbesondere wenn sie ihre gesamte Daten- und Speicherarchitektur für ihre groß angelegten Data Lakes, Analysen oder KI-Initiativen modernisieren möchten.
Wie immer empfehlen wir IT-Entscheidern, eine Reihe von Produkten zu bewerten, die ihre eigenen spezifischen Anforderungen berücksichtigen. Da sich der Markt weiterentwickelt, ändert sich auch die Rolle von Objektspeicher und bietet Unternehmen neue Alternativen, die sie in Betracht ziehen können.
