NVMe-oF over IP: Eine vollständige SAN-Plattform aufbauen

Fibre Channel (FC) ist seit jeher die Technologie der Wahl für den Aufbau von SANs, einschließlich solcher, die das NVMe-oF-Protokoll unterstützen. Dieser Erfolg ist hauptsächlich auf die Fülle der FC-Fabric-Services zurückzuführen, die eine vereinfachte Bereitstellung und einen hohen Automatisierungsgrad bei der SAN-Einrichtung ermöglichen.

Im Einzelnen bieten FC Zone Server und FC Name Server Folgendes:

• Zugriffskontrolle. Der SAN-Administrator kann festlegen, welche Endpunkte (N_Ports) kommunizieren dürfen.
• Discovery. Er ermöglicht es N_Ports, automatisch die Adresse und die Eigenschaften der anderen N_Ports zu ermitteln, mit denen sie kommunizieren können.

Diese Dienste werden von der Fabric bereitgestellt, ohne dass auf einzelne Endpunkte zugegriffen oder diese bereitgestellt werden müssen.

Obwohl sich SAN-Anwender auf das Vorhandensein dieser Dienste verlassen, ist die Bereitstellung von Fibre Channel teurer, was ein Faktor sein könnte, der eine breitere Akzeptanz der FC-SAN-Technologie verhindert.

Viele in der Speicherbranche glauben, dass ein SAN-Transport mit einer flexibleren Kostenstruktur eine breitere Nutzung von SANs ermöglichen würde. Ethernet ist mit seinem umfassenden Ökosystem von Entwicklern und Herstellern und seinen viel höheren Stückzahlen eine Netzwerktechnologie mit einer wesentlich besseren Kostenstruktur.

Mit Ethernet gibt es zwei Plattformen für den Transport von NVMe-oF:

• NVMe/RDMA over Converged Ethernet (RoCE), das verlustfreies Bridging verwendet, um einen verlustfreien Remote Direct Memory Access-Transport zu gewährleisten.
• NVMe/TCP, das das allgegenwärtige TCP verwendet.

RoCE erfordert traditionell den Einsatz eines verlustfreien Ethernet-Netzwerks in großem Maßstab. Wie schon bei Fibre Channel over Ethernet war dies nur schwer zu erreichen. Infolgedessen war die Verwendung von NVMe/RoCE auf kleinere High-End-Implementierungen oder große, anspruchsvolle Cloud-Service-Anbieter beschränkt, für die eine möglichst geringe Latenz wichtig ist.

NVMe/TCP hingegen kann in jeder Größenordnung eingesetzt werden, auch außerhalb des Rechenzentrums, zum Beispiel für Edge-Implementierungen, mit wenigen oder gar keinen Änderungen an der Netzwerkkonfiguration. Die Flexibilität von TCP macht NVMe/TCP zum Transportmittel der Wahl für eine breite Einführung und Nutzung von NVMe-oF.

Bis vor kurzem fehlte es sowohl bei NVMe/RoCE als auch bei NVMe/TCP an Discovery- oder Provisioning-Automatisierungsdiensten, die den Fibre Channel Fabric Services entsprechen. Dies belastet die Host- und Speicheradministratoren durch die Anzahl der Endpunktkonfigurationsschritte und schränkt die Skalierbarkeit von NVMe-oF-Fabrics, die auf diesen Transporten basieren, erheblich ein.

Um den Mangel an Automatisierung mit Ethernet zu beheben, hat die Untergruppe „Fabrics and Multi-Domain Subsystem“ des NVMe-Express-Gremiums kürzlich die technischen Vorschläge 8009 und TP 8010 fertiggestellt. Diese Ergänzungen zur NVMe-Architektur definieren eine neue NVMe-Einheit, den Centralized Discovery Controller (CDC), sowie einen Mechanismus zu dessen automatischer Erkennung (Discovery).

Der CDC ist über eine oder mehrere IP-Adressen von allen NVMe-Hosts und Subsystem-Speicherschnittstellen einer IP-basierten NVMe-oF-Fabric zugänglich. Jeder Host und jedes Subsystem kann die IP-Adressen der CDC über Multicast-DNS ermitteln und eine langfristige TCP-Verbindung mit ihr aufbauen, wie in der folgenden Abbildung dargestellt.

Diese TCP-Verbindung wird von Hosts und Subsystemen verwendet, um Erkennungsinformationen mit dem CDC zu registrieren, und von den Hosts, um ihre zugänglichen Subsysteme zu erkennen. Hosts können Subsysteme durch Abfrage des CDC ermitteln, ähnlich wie Hosts dies heute bei der Verwendung von Fibre-Channel-Fabrics tun. Darüber hinaus definiert TP 8010 ein umfassendes Zoning-Modell für den CDC, das es einem SAN-Administrator ermöglicht, Fabric-Zugriffskontrollregeln festzulegen. Mit anderen Worten: Der CDC implementiert zentralisierte Dienste, die den Fibre-Channel-Fabric-Diensten entsprechen. Damit wird eine der größten Lücken in der NVMe-oF-Architektur geschlossen.

Ein Administrator kann einen CDC als zentralisierten Prozess oder als verteilte Funktion über die Switches einer Ethernet-Fabric implementieren, wobei beide Implementierungen über mehrere Redundanzoptionen verfügen. Da der CDC über seine IP-Adresse zugänglich ist, kann er in einem einzigen Subnetz oder in mehreren Netzwerken eingesetzt werden. Theoretisch könnte sich der CDC überall im Internet befinden.

Die NVMe-Architektur wurde kürzlich auch im Bereich der Sicherheit verbessert. Dazu gehören die Definition des Diffie-Hellman-Hash-basierten Message Authentication Code-Challenge-Handshake Authentication Protocol (DH-HMAC-CHAP) (TP 8006) und die Spezifikation des sicheren Kanals (TP 8011), die die Verwendung von Transport Layer Security (TLS) 1.3 zur Sicherung von NVMe/TCP-Verbindungen beschreiben. Die Sicherheitsarchitektur unterstützt auch die Verkettung des Aufbaus einer TLS-Sitzung mit dem Abschluss einer DH-HMAC-CHAP-Transaktion, wobei der DH-HMAC-CHAP-Sitzungsschlüssel als Pre-Shared Key für den Aufbau der TLS-Sitzung verwendet wird. Auf diese Weise kann NVMe-oF das geheime Provisioning-Schema des Authentifizierungsprotokolls auch für die Einrichtung sicherer TLS-Kanäle verwenden, so dass eine separate Sicherheitsbereitstellung für TLS nicht erforderlich ist.

Fibre Channel bietet ähnliche Sicherheitsfunktionen im FC-SP-2-Standard (FC Security Protocols 2), allerdings unterscheidet sich der Sicherheitsansatz von Fibre Channel deutlich von NVMe über ein IP-basiertes Netzwerk. Fibre-Channel-Fabrics werden als isolierte, Air-Gap-Netzwerke eingesetzt, und diese Isolierung vermittelt den Kunden ein Gefühl der Sicherheit, auch wenn Angriffe über das Verwaltungsnetzwerk weiterhin möglich sind. Daher sind die in FC-SP-2 definierten Sicherheitsprotokolle nicht weit verbreitet und werden nur selten eingesetzt.

Anders verhält es sich bei NVMe über ein IP-basiertes Netzwerk (NVMe over IP). Hier sind Sicherheitsprotokolle kein Luxus, sondern werden von den Kunden erwartet und vorausgesetzt. Dies bedeutet zwar, dass diese Protokolle implementiert und verwaltet werden müssen, aber die Ergebnisse sind vom Standpunkt der Sicherheit aus gesehen viel besser.

Angesichts des leistungsoptimierten Charakters von NVMe-oF stellt sich die Frage, wie sich diese neuen Erweiterungen auf die Leistung auswirken würden. Die zentralisierte Erkennung ist ein Kontrollprotokoll und hat daher keine Auswirkungen auf die Datenübertragungsrate oder die Latenzzeit. Die DH-HMAC-CHAP-Authentifizierung ist ebenfalls ein Kontrollprotokoll und hat vernachlässigbare Auswirkungen auf den Durchsatz und die Latenzzeit. Dasselbe gilt für die Ausführung von Speicherverkehr über einen sicheren TLS-Kanal. Der Grund dafür ist, dass jedes TCP-Segment - und damit jede Speicherübertragung - ver- oder entschlüsselt werden muss, und diese Sicherheitsoperationen erfordern eine erhebliche Menge an Verarbeitungsleistung. Die gute Nachricht ist, dass der Umfang der Verarbeitung, die eine Plattform zur Unterstützung von TLS durchführen muss, von der verfügbaren Hardwareunterstützung abhängt.

Heutzutage sind mehrere Plattformen mit unterschiedlichen Leistungsniveaus zu verschiedenen Kostenpunkten verfügbar:

• Im Einstiegsbereich können reine NVMe/TCP-Softwareplattformen durch die Nutzung der auf einer Plattform verfügbaren Ethernet-Schnittstellen praktisch ohne Kosten volle Unterstützung für ein NVMe/TCP-SAN bieten.
• Die Hardware-Beschleunigung für die Sicherheitsverarbeitung auf der Netzwerkschnittstellenkarte (NIC) ermöglicht es, die Leistungsauswirkungen von TLS zu moderaten Kosten zu absorbieren.
• Im High-End-Segment können intelligente Netzwerkschnittstellenkarten (SmartNICs) oder Datenverarbeitungseinheiten (Data Processing Units) die NVMe-oF-Verarbeitung vollständig von einer Plattform auslagern, einschließlich TCP-Terminierung und TLS-Unterstützung. Eine SmartNIC-basierte Plattform kann die volle Leitungsgeschwindigkeit bieten und sogar den gesamten vernetzten Speicher als lokal angeschlossenen Speicher für ein System darstellen. Diese Option ist natürlich mit den höchsten Kosten verbunden.

All diese Funktionen zeigen, dass NVMe/TCP als SAN-Technologie eine flexible Kostenstruktur bietet und alle Einsatzbereiche von kostensensibel bis hin zu maximaler Leistung unterstützen kann. Diese flexible Kostenstruktur, kombiniert mit umfassender Sicherheitsunterstützung sowie den zentralisierten Discovery- und Zoning-Services des CDC, macht NVMe/TCP zu einer kompletten SAN-Plattform. Für latenzkritische Implementierungen ist NVMe/RoCE eine zusätzliche Option. Alles in allem ist NVMe-oF über IP-Netzwerke jetzt eine überzeugende Alternative zu herkömmlichen Fibre-Channel-Fabrics.

Über den Autor:
Dr. Claudio DeSanti ist Mitglied des Networking Storage Forum der Storage Networking Industry Assocation (SNIA) und ein angesehener Ingenieur bei der CTIO-Gruppe für integrierte Lösungen und Ökosysteme von Dell Technologies mit Schwerpunkt auf NVMe-oF- und Edge-Computing-Konfigurationen. Das SNIA Networking Storage Forum fördert die breite Akzeptanz und den Bekanntheitsgrad von Speichernetzwerkplattformen.

SNIA ist eine gemeinnützige globale Organisation, die sich aus Mitgliedsunternehmen aus dem gesamten Speichermarkt zusammensetzt. Als anerkannte und vertrauenswürdige Autorität für Speicherführung, Standards und technologisches Fachwissen weltweit hat SNIA die Aufgabe, die Speicherindustrie bei der Entwicklung und Förderung von herstellerneutralen Architekturen, Standards und Bildungsdienstleistungen anzuführen, die die effiziente Verwaltung, Bewegung und Sicherheit von Informationen erleichtern.