Performance-Einfluss durch Deduplizierung und Kompression

Datenkompression und -deduplizierung wurden am Anfang als optionale Add-ons von Unternehmen verwendet, die in Sachen Kapazität immer wieder an ihre Grenzen stießen du nicht immer nur Hardware hinzufügen wollten. Mittlerweile sind sie ein Muss für fast alle Speichersysteme. Die Reduktionsfunktionen haben dazu beigetragen, die Ära der leistungsstarken Flash-Speicher einzuläuten, die zumindest augenscheinlich ein interessantes Preis-Leistungsverhältnis bieten. Ohne sie ist es unwahrscheinlich, dass die Flash-Revolution sich so rasant und flächendeckend verbreitet hätte.

Diese Technologien sind jedoch manchmal umstritten, wenn es um ihre Auswirkungen geht. Die Effekte von Komprimierung und Deduplizierung auf die Kapazität hängen stark von den zu verwaltenden Daten ab. Was manchmal übersehen wird, ist die Tatsache, dass sie sowohl einen positiven als auch einen negativen Einfluss auf die Speicherleistung haben können.

Auf der negativen Seite können sowohl Kompression als auch Deduplizierung erhebliche CPU-Ressourcen erfordern, um wirklich effizient zu sein. Für die Deduplizierung, wenn Datenblöcke in das Speichersystem eingespeist werden, erhält jeder Block einen eigenen „Fingerabdruck“, der mit einer Master-Fingerabdrucktabelle, einer sogenannten Hash-Tabelle, verglichen wird. Wenn bereits ein Fingerabdruck vorhanden ist, sprich, der Datenblock ist bereits auf dem Speichersystem vorhanden, so werden die Daten nicht erneut aufgezeichnet. Wenn der Fingerabdruck nicht vorhanden ist, werden die Daten wie gewohnt geschrieben.

Dieser Fingerabdruck-Prüfprozess für die Speicher-Schreiboperationen eine erhöhte Latenzzeit bedeuten – obwohl dies bei Fortschritten in modernen Speichersystemen praktisch vernachlässigbar ist. Die Deduplizierungs-Engine selbst benötigt CPU-Zyklen, um das Lookup zu verarbeiten, so dass dies einige Auswirkungen auf andere Speicheroperationen haben kann. Allerdings sind moderne CPUs Multicore-Varianten, die genügend Zyklen zur Verfügung stellen. In der Vergangenheit mag dies mehr eine Überlegung gewesen sein als heute. Ältere Prozessoren waren weitaus weniger effizient, als die heute verwendeten.

Ab hier wird es etwas schwammig beziehungsweise unklar, ob die Deduplizierung aus Performance-Sicht positiv oder negativ und von den Daten selbst abhängig ist. Wenn es viele Duplikate in den Daten gibt, kann die Deduplizierung ein Netto-Positiv sein, da Sie grundsätzlich mehr Schreiboperationen umgehen können. Schreiboperationen sind in der Regel die langsamste Variante, so dass je weniger ausgeführt werden, desto weniger Performance-Beeinträchtigung gibt es. Bei regelmäßigen Workloads müssen Sie nur eine Entscheidung treffen: Werden die geringfügigen Auswirkungen auf die Leistung durch die Kapazitätseinsparungen aufgehoben?

Bei der Komprimierung gestaltet es sich ebenso. Die benötigte Speicherkapazität lässt sich dank der Reduktionsmethode verringern, allerdings auch hier auf Kosten einiger CPU-Zyklen. In diesem Fall spielen die zugrunde liegenden Datentypen eine große Rolle. Wenn Sie versuchen, bereits komprimierte Daten wie bestimmte Video- und Fotoformate zu speichern, bringt die Komprimierung keine wirklichen Einsparungen, so dass Sie nur CPU-Zyklen verschwenden, ohne die gewünschten Effekte zu erzielen. Bei kompressiblen Daten müssen Sie jedoch ähnlich Überlegungen anstellen wie bei der Deduplizierung: Lohnt sich der Kapazitätsgewinn bei der absehbaren CPU-Belastung?

Die beste Methode, um festzustellen, ob Komprimierung und Deduplizierung für Sie geeignet sind, ist, sie zu testen und zu sehen, welche Auswirkungen sie auf Kosten und Leistung haben.

Folgen Sie SearchStorage.de auch auf Twitter, Google+, Xing und Facebook!