NVMe over TCP: Optionen, Vorteile und Herausforderungen

Was ist NVMe over TCP?

NVMe over TCP (NVMe/TCP) ermöglicht es Unternehmen, NVMe-Verbindungen über ihre vorhandenen TCP/IP-Netzwerke zu betreiben. Als NVMe 2011 eingeführt wurde, war das Protokoll auf direkt angeschlossene SSDs (Direct-Attached Storage, DAS) über PCI Express (PCIe) beschränkt.

Mit der Veröffentlichung von NVMe over Fabrics (NVMe-oF) im Jahr 2016 wurde NVMe erstmals auf Netzwerk-Fabrics ausgeweitet. Die anfängliche NVMe-oF-Implementierung unterstützte nur Fibre Channel und Remote Direct Memory Access (RDMA)-Fabrics wie InfiniBand, RoCE (RDMA over Converged Ethernet) und iWARP (Internet Wide Area RDMA Protocol). Diese Technologien bieten zwar hohe Leistung, erfordern aber meist spezielle Hardware, komplexe Konfigurationen und dedizierte Fachkenntnisse.

Im Oktober 2019 wurde mit NVMe-oF 1.1 das TCP-Transport-Binding eingeführt. Damit lässt sich NVMe über jedes Ethernet-Netzwerk und sogar über das Internet einsetzen.

Seitdem wurden die NVMe-oF-Spezifikationen mit der NVMe Base Specification zusammengeführt. Einzelne Transportvarianten (PCIe, RDMA, TCP) werden in eigenen Dokumenten fortgeführt. NVMe/TCP hat sich inzwischen in Rechenzentren, Cloud-Umgebungen und bei Hyperscalern etabliert.

Wichtige Merkmale von NVMe/TCP

Die Funktionsvielfalt ist nur ein Grund, warum beispielsweise Hyperscaler sich für den Einsatz von NVMe/TCP entscheiden. Zu den wichtigsten Leistungsmerkmalen gehören unter anderem die folgenden:

• Verwendung von Standard-Ethernet-Netzwerken: NVMe/TCP nutzt vorhandene Infrastruktur, spezielle Switches, Router oder NICs sind nicht erforderlich.
• Direkte Kapselung: NVMe-Befehle werden direkt in TCP-Pakete eingebettet, wodurch End-to-End-Kommunikation über jedes TCP/IP-Netz möglich ist.
• Optionale Sicherheit: NVMe/TCP unterstützt Transport Layer Security (TLS 1.3). Frühere TLS-Versionen werden nicht mehr empfohlen.
• Software- oder Hardware-Implementierung: Die Spezifikation erlaubt sowohl softwarebasierte als auch hardwarebeschleunigte Ansätze.
• Skalierbarkeit: Die paketvermittelnde und Routing-fähige Architektur von TCP/IP macht es hochskalierbar und somit geeignet für verteilte, mehrschichtige Netzwerke.

NVMe/TCP bietet damit ein modernes Speicherprotokoll, das die Leistungsfähigkeit aktueller SSDs voll ausschöpft im Gegensatz zu älteren Protokollen wie iSCSI.

Es unterstützt anspruchsvolle Workloads mit hohem Durchsatz- und Latenzbedarf, etwa in den Bereichen künstliche Intelligenz (KI), Machine Learning (ML) und Echtzeitanalytik.

Wie funktioniert NVMe over TCP?

Die NVMe/TCP-Spezifikation beschreibt, wie Daten zwischen einem Host und einem nicht-flüchtigen Speichersubsystem gekapselt und über TCP übertragen werden.

Dabei definiert sie, wie Queues, Kapseln (Capsules) und Daten in Protocol Data Units (PDUs) abgebildet werden.

Kommunikationsablauf

1. Verbindungsaufbau: Der Host initiiert eine TCP-Verbindung zum Controller.

2. Optionale TLS-Absicherung: Wird TLS 1.3 eingesetzt, folgt nach dem TCP-Handshake ein TLS-Handshake, bevor der Datenaustausch beginnt.

3. Initialisierung: Der Host sendet eine PDU mit einer Verbindungsanfrage; der Controller antwortet mit seiner eigenen PDU und teilt Konfigurationsparameter mit.

4. Datenübertragung: Nach der Initialisierung tauschen Host und Controller PDUs mit Daten, Steuer- und Statusinformationen aus.

Jede Verbindung nutzt ein Queue-Paar aus einer Eingabe- (Submission-) und einer Completion-Queue.

NVMe/TCP verwendet ein Messaging- und Queuing-Modell, das sicherstellt, dass Befehle effizient verarbeitet und Rückmeldungen korrekt zugeordnet werden.

Was ist TCP?

Das Transmission Control Protocol (TCP) ist ein global anerkannter Standard, der regelt, wie Netzwerkverbindungen aufgebaut und aufrechterhalten werden, wenn Anwendungen Daten über ein Netzwerk austauschen.

TCP zerlegt Nachrichten in kleinere Pakete, sorgt für deren Reihenfolge und prüft die Integrität über Checksummen. Es arbeitet eng mit dem Internet Protocol (IP) zusammen; beide bilden das Rückgrat der TCP/IP-Protokollfamilie, die für Kommunikation im Internet und in privaten Netzwerken eingesetzt wird.

Die TCP/IP-Architektur besteht aus vier Schichten:

1. Anwendungsschicht

2. Transportschicht (TCP)

3. Netzwerkschicht (IP)

4. Physikalische Schicht (zum Beispiel Ethernet)

Vorteile von NVMe over TCP

NVMe über TCP bietet eine Reihe wichtiger Vorteile, die es für viele Unternehmen interessant machen:

• Breite Akzeptanz: TCP ist global etabliert, gut verstanden und kontinuierlich weiterentwickelt.
• Einfache Einführung: NVMe/TCP funktioniert mit bestehender Netzwerkinfrastruktur und Standardhardware.
• Kosteneffizienz: Keine teure Fibre-Channel- oder RDMA-Hardware nötig; einfache Implementierung senkt Ausfallzeiten und Kosten.
• Skalierbarkeit und Reichweite: TCP bietet eine Routing-Architektur und unterstützt große, geografisch verteilte Umgebungen mit hoher Performance.
• Cloud-Integration: Kompatibel mit Cloud-nativen und softwaredefinierten Speicherlösungen; unterstützt Automatisierung und Orchestrierung.
• Offene Architektur: Durch Standardisierung auf TCP/IP entfällt ein Vendor Lock-in.
• Gutes Kosten-/Leistungsverhältnis: Deutlich bessere Performance als iSCSI bei weit geringeren Infrastrukturkosten als RDMA-basierten Varianten.

Damit eignet sich NVMe/TCP sowohl für große Rechenzentren mit hohen Skalierungsanforderungen als auch für mittelständische Unternehmen, die moderne Speicherdienste ohne spezialisierte Hardware realisieren möchten.

Herausforderungen bei der Nutzung von NVMe/TCP

Trotz der Vorteile bringt NVMe/TCP einige technische Herausforderungen mit sich:

• Höhere CPU-Last: TCP-Verarbeitung (zum Beispiel Checksummenberechnung) belastet die Prozessoren stärker als RDMA.
• Zusätzliche Latenz: Durch Datenkopien im TCP-Stack kann die Latenz steigen, was kritisch bei extrem latenzempfindlichen Anwendungen ist.
• Netzwerk-Tuning: Um optimale Leistung zu erzielen, sind Feineinstellungen (Buffer-Größen, MTU, Offload-Funktionen) erforderlich.
• Geringerer Reifegrad: Während Technologien wie Fibre Channel und RDMA seit Jahren etabliert und erprobt sind, befindet sich NVMe/TCP noch in der Phase der Marktreifung und Verbreitung.
• Bestehende Investitionen: Viele Organisationen nutzen bereits spezialisierte Speicher-Fabrics; ein Umstieg ist nicht immer wirtschaftlich sinnvoll.

Trotzdem gilt NVMe/TCP als attraktive Alternative zu iSCSI und als Brückentechnologie zwischen klassischem Ethernet-Storage und modernen NVMe-basierten Architekturen.

NVMe over TCP im Vergleich zu iSCSI

Wie iSCSI ist auch NVMe/TCP ein blockbasiertes Speicherprotokoll über TCP/IP-Netzwerke. Während iSCSI ursprünglich für SCSI-basierte Speichergeräte (vor allem Festplatten) entwickelt wurde, ist NVMe von Grund auf für Flash-Speicher optimiert.

Unterschiede in der Praxis:

NVMe/TCP nutzt einen vereinfachten, auf Flash optimierten Befehlssatz mit geringerem Protokoll-Overhead.  Die Befehle werden effizienter gequeued und verarbeitet, was höheren Durchsatz und niedrigere Latenz ermöglicht. Demgegenüber kann iSCSI zwar mit SSDs betrieben werden, schöpft deren Potenzial aber nicht vollständig aus.

Dell Technologies veröffentlichte dazu im Jahr 2023 einige Leistungsdaten, die den Performance-Unterschied verdeutlichen sollen:

• bis zu 75 Prozent höhere Lese-IOPS und 51 Prozent höhere Schreib-IOPS im Vergleich zu iSCSI
• bei gemischten Workloads (50 Prozent Lesen/50 Prozent Schreiben) ebenfalls bis zu 75 Prozent mehr IOPS
• gleichzeitig um bis zu 40 Prozent höhere CPU-Auslastung durch intensiveres TCP-Processing

Diese Werte stammen aus internen Tests und können je nach Hardware, Treiberversion und Netzwerk-Setup variieren.

NVMe/TCP in der Praxis

Immer mehr Hersteller integrieren NVMe/TCP in ihre Lösungen. Hier sind einige Beispiele für Unternehmen, die diese Technologie in ihren Produkten anbieten:

• Lightbits Labs: Offeriert eine hyperskalierbare softwaredefinierte Speicherplattform mit NVMe/TCP-Unterstützung und disaggregiertem Block Storage.
• Dell Technologies: Unterstützt NVMe/TCP in PowerFlex- und PowerStore-Plattformen.
• Pure Storage: Integriert NVMe/TCP in Purity//FA-Software.
• VMware, Linux (5.0 und höher) sowie Windows Server 2022/2025 unterstützen NVMe/TCP nativ.

Angesichts der breiten Nutzung von TCP im Internet und in Unternehmensnetzwerken ist es wenig überraschend, dass NVMe over TCP rasant an Bedeutung gewinnt.

Unternehmen können vorhandene TCP-basierte Netzwerkinfrastrukturen und moderne SSDs kombinieren, um den Übergang von älteren Speichersystemen zu modernen, skalierbaren Architekturen zu erleichtern, optimiert für heutige dynamische Workloads und große Datenmengen.

Zwar bringt NVMe/TCP im Vergleich zu RDMA- oder Fibre-Channel-basierten Fabrics eine etwas höhere Latenz mit sich, doch die einfache Implementierung, Standardisierung und Kosteneffizienz machen es zu einer äußerst attraktiven Option.