DamienArt - stock.adobe.com
Ist Hyperscale NAS die Storage-Zukunft für KI-Umgebungen?
Storage für KI-Workloads erfordert hohe Kapazität und Leistung. Anbieter adressieren das Problem mit innovativen NAS-Systemen, zum Beispiel mit Global-File-System-Technologie.
Das Potenzial der künstlichen Intelligenz (KI), einen grundlegenden Wandel herbeizuführen, hat die Welt begeistert, aber auch die Technologie, die KI unterstützt, muss sich weiterentwickeln, um das Versprechen, die Welt zu verändern, vollständig einzulösen. Dies erfordert, dass die IT-Abteilung einige schwierige, seit langem bestehende architektonische Herausforderungen überwindet, zum Beispiel im Bereich des Storage.
Die Entwicklung schneller Rechenleistung durch Grafikprozessoren (GPUs) hat die Tür zur KI-Revolution geöffnet, doch müssen GPUs im großen Maßstab schnell mit enormen Datenmengen gefüttert werden. Einige führende Unternehmen stellen bereits fest, dass herkömmliche Speicherarchitekturen einfach nicht schnell genug sind, um Schritt zu halten, und das bedeutet, dass teure Rechenleistung ungenutzt bleibt. Es gibt zwar Umgehungslösungen, aber diese sind oft teuer, komplex, in ihrer Funktionalität eingeschränkt und schwer zu skalieren.
Laut einer aktuellen Studie der Enterprise Strategy Group von TechTarget wird KI im Jahr 2024 die Nummer 1 unter den Workloads sein, die neue Speicherinfrastrukturinitiativen vorantreiben. Viele Unternehmen sind bestrebt, diese Herausforderungen zu lösen. Da das Potenzial von KI weiter erschlossen wird, werden sich in Zukunft noch viel mehr Unternehmen diesen Herausforderungen stellen.
Hammerspace versucht, Speicher für KI festzulegen
Hammerspace hat im Jahr 2023 einen alternativen Ansatz für die Herausforderung der Speicherleistung vorgestellt. Das in Kalifornien ansässige Startup-Unternehmen hat eine globale Dateisystemtechnologie (Global File System) entwickelt, die ursprünglich darauf abzielte, große und unterschiedliche Datenquellen in einer einzigen logischen Ebene zu vereinen. Der Hersteller hat die Lösung um eine Leistungsdimension erweitert, die nach eigenen Angaben die Rechen- und Speicheranforderungen der KI in großem Maßstab erfüllen kann. Das Produkt nennt sich Hyperscale NAS, was in diesem Beitrag detaillierter erläutert wird.
Hyperscale NAS ist ein reiner Software-Ansatz, der Standardprotokolle – vor allem NFS – verwendet, aber auf eine neue Art und Weise implementiert, die laut Hammerspace die Leistung steigert und die Skalierbarkeit erhöht. Der Anbieter behauptet, dass er es Unternehmen ermöglicht, auch ihre bestehende Speicherhardware-Infrastruktur zu nutzen.
Warum basiert der Ansatz auf einer bestehenden Technologie? Ist NFS nicht das genaue Gegenteil einer modernen Architektur? Ganz im Gegenteil, sagt Hammerspace.
Tatsächlich verweist der Anbieter auf die erheblichen Einschränkungen von Objektspeichern, die sich entwickelt haben, um große Mengen unstrukturierter Daten im Cloud-Maßstab zu speichern, aber kein Verständnis für das Betriebssystemhaben. Im Gegensatz dazu sind die Anforderungen moderner Ansätze wie KI und Container eine ideale Ergänzung für NFS, da es sich um ein POSIX-konformes Protokoll auf Anwendungsebene handelt. Darüber hinaus ist der Client über Linux überall präsent. Mit anderen Worten: Die Kunden müssen ihre Umgebungen nicht umgestalten, um es zu unterstützen.
Die Herausforderung für NFS bestand darin, die Leistungsengpässe zu überwinden, auf die Unternehmen im großen Maßstab stoßen. Neben Verbesserungen des NFS-Protokolls selbst, wie zum Beispiel die Unterstützung von Scale-Out-Speicherarchitekturen, hat Hammerspace diese Probleme in seiner Implementierung auf verschiedene Weise angegangen:
- Es trennt den NFS-Kontrollpfad vom Datenpfad, so dass die Metadaten des Dateisystems separat gespeichert, verwaltet und – was besonders wichtig ist – skaliert werden können. Dieses Merkmal ermöglicht auch seine globale Reichweite.
- Der Datenpfad wurde vereinfacht, indem die Anzahl der Sprünge vom Rechenzentrum zum Speicher von neun auf vier reduziert wurde.
Durch diese Kombination ist Hammerspace in der Lage, dem Unternehmen eine Supercomputer-ähnliche Speicherleistung zu bieten, so der Anbieter.
Hammerspace sagt, dass dies alles möglich ist, während gleichzeitig NAS-Datendienste in Unternehmensqualität, wie Snapshots, Klone und Replikation, erhalten bleiben. Dies unterscheidet es von anderen parallelen Dateisystemtechnologien, die typischerweise in High-Performance-Computing-Umgebungen (HPC) eingesetzt werden. Es kann auch vor bestehenden Speichersystemen beliebiger Anbieter eingesetzt werden, einschließlich Scale-Out-NAS, wo es Unterstützung für neue KI-freundliche Schnittstellen wie GPUDirect von Nvidia bieten kann.
Was ist am KI-Horizont zu erwarten?
Die Technologie steckt noch in den Kinderschuhen und nicht alle Unternehmen stehen heute vor solch extremen Speicherherausforderungen, aber der Markt entwickelt sich schnell weiter. Hammerspace ist nicht der einzige Anbieter in der Stadt: Unternehmen wie Vast Data und Weka sehen eine ähnliche Chance, wenn auch mit anderen Ansätzen.
Die IT steht erst am Anfang der KI-Ära. Da Maschinen immer mehr Daten erzeugen, werden die Datenmengen weiter explodieren. Da der Mensch zunehmend aus dem Spiel ist und die Grafikprozessoren immer schneller werden, könnten die derzeitigen Architekturen schnell überfordert sein. Vor diesem Hintergrund dürfte Hammerspace für eine Vielzahl von Unternehmen interessant sein, die das Potenzial von KI in großem Maßstab nutzen wollen.
Die Autoren sind für den Inhalt und die Richtigkeit ihrer Beiträge selbst verantwortlich. Die dargelegten Meinungen geben die Ansichten der Autoren wieder.
