Shevon - stock.adobe.com
Pure Storage FlashBlade//EXA: Neue Storage-Architektur für KI
Das FlashBlade//EXA von Pure Storage nutzt eine disaggregierte Architektur, um hoche Ska-lierung bei Kapazität und Leistung für HPC- und KI-Umgebungen gewährleisten zu können.
Pure Storage stellt mit FlashBlade//EXA eine neue Speicherarchitektur für KI- und HPC-Umgebungen vor. Die neue Lösung soll dabei Kapazitäten in Exabyte-Größe und Performance von bis zu mehr als 10 Terabyte pro Sekunde in einem einzigen Namensraum bieten. Dabei setzt der Hersteller nicht auf eine traditionelle parallele Architektur, sondern skaliert Metadaten und Daten unabhängig voneinander nach einem disagreggierten Konzept. Dafür stehen Metadaten- und Daten-Nodes zur Verfügung, die sich skalieren lassen.
Das FlashBlade//EXA soll somit das gesamte Potenzial der GPU-intensiven KI- und HPC-Workloads ausschöpfen. FlashBlade-Hardware und -Software dienen als Metadaten-Node, als Datenknoten kommen Standardserver zum Einsatz. Der Anbieter plant mit dieser Produktlinie, in Kürze eine 2-HE-Node mit 3,6 Petabyte auf den Markt zu bringen.
Die Herausforderungen herkömmlicher Speicherlösungen in KI- und HPC-Umgebungen
Herkömmliche Speichersysteme wurden nicht für moderne KI-Anforderungen entwickelt und stoßen bei KI- und HPC-Anwendungen oft an ihre Grenzen. Eine ineffiziente Infrastruktur behindert die multimodale Datenverarbeitung und schränkt die GPU-Nutzung sowie die Effizienz der Arbeitslast ein. Ältere Systeme sind aufgrund von Metadatenbeschränkungen mit Skalierungs- und Leistungsproblemen konfrontiert. Die wachsende Komplexität der Infrastruktur und Silos für Anwendungsfälle erhöht die operative Belastung und den Ressourcenbedarf. Ineffiziente Infrastrukturen lassen zudem die Gesamtkosten in die Höhe schnellen und schmälern den ROI. Das veranlasste Pure Storage, seine Storage-Systeme mit FlashBlade//EXA in diese Richtung zu erweitern
FlashBlade//EXA
Die Plattform basiert auf einer disaggregierten, massiv parallelen Architektur, die Flexibilität und Skalierbarkeit in großem Maßstab ermöglichen soll. Unternehmen können sich so an die sich weiterentwickelnden multimodalen Modelle anpassen, die Zuverlässigkeit optimieren und Leerlaufzeiten eliminieren, um das Training und die Inferenz von KI-Modellen zu beschleunigen und gleichzeitig die GPU-Auslastung zu verbessern. Darüber hinaus ermöglicht die Kombination aus der Metadaten-Engine von Pure Storage und dem Betriebssystem Purity mit kostengünstigen Standard-Data-Nodes Unternehmen ein gutes Preis-Leistungs-Verhältnis.
Zu den Kerneigenschaften und Vorteilen gehören laut Herstellerangaben die folgenden:
Hohe Leistung: FlashBlade//EXA nutzt die Metadatenfunktionen des Anbieters, um die Effizienz der KI-Pipeline zu maximieren und Verzögerungen bei Trainings- und Inferenz-Workflows zu minimieren. In ersten Szenarien soll FlashBlade//EXA voraussichtlich eine Leseleistung von mehr als 10 Terabyte pro Sekunde in einem einzigen Namespace liefern. Die Plattform bietet eine mehrdimensionale Leistung mit massiv paralleler Verarbeitung und skalierbaren Metadaten-IOPS zur Unterstützung von Hochgeschwindigkeits-KI-Anforderungen.
Nahezu unbegrenzter Skalierbarkeit: Unterstützung von Exabyte-Skala und Namensraum.
Reduzierte Komplexität: FlashBlade//EXA bietet eine hohe Metadatenleistung, -verfügbarkeit und -stabilität zur Verarbeitung großer KI-Datensätze ohne manuelle Abstimmung oder zusätzliche Konfiguration.
Beschleunigung von KI-Innovationen: Die hochgradig konfigurierbare und disaggregierte Architektur unterstützt die sich entwickelnde KI- und HPC-Landschaft mit branchenüblichen Protokollen.
Integration: FlashBlade//EXA kann Hochgeschwindigkeits-NVIDIA ConnectX-NICs, Spectrum-Switches, LinkX-Kabel und Accelerated Communications Libraries integrieren.
Hohe Datendichte: Die Plattform bietet eine Leistungsdichte von 3,4 TB/Sek. pro Rack.
Einfache Einführung: Pure Storage verspricht eine Verkürzung der Installationszeit um 50 Prozent im Vergleich zu anderen parallelen Dateisystemen.
FlashBlade//EXA verwendet NFSv4.1 über TCP (pNFS) für die Kontrolle und NFSv3 über RDMA für Datenübertragungen. Jeder Data Node ist ein Pure Storage Hyperscale-Datenknoten mit 24 DirectFlash-Modulen (75TB / 150TB) in einem 2-HE-Gehäuse, was 1,8PB beziehungsweise 3,6PB pro Einheit entspricht.
- FlashBlade//EXA fokussiert auf verschiedene Einsatzszenarien und Zielgruppen, darunter unter anderem:
- Hyperscaler: für AI-Trainings und groß angelegte Inferenz mit mehr als Zehntausenden von GPUs
- KI-Native-Unternehmen: für KI-Training / Groß angelegte Inferenz mit 1.000 bis zu 10.000 GPUs
- Spezialisierte Cloud-Anbieter
- HPC-Labore und Forschungszentren
- Große Unternehmen mit KI-Anwendungen: für RAG, Inferenz, Data Lakes, Machine Learning mit bis zu 1.000 GPUs
FlashBlade//EXA wird voraussichtlich im Sommer 2025 allgemein verfügbar sein, Preisangaben macht der Hersteller derzeit nicht, diese werden in den nächsten Monaten auf Anfrage verfügbar sein. Einige Unternehmen nutzen FlashBlade//EXA bereits in einer Betaversion.
Auf der Roadmap für das System hat Pure Storage zudem S3-Zugriff über RDMA, DFM-Datenknoten, NVIDIA-Zertifizierungen und die Integration mit Fusion, seinem Storage-as-a-Code-Service auf dem Plan.
