Datendeduplizierung: Speicherbedarf senken
Kurze Antwort
Datendeduplizierung ist ein Verfahren, das redundante Datenkopien erkennt und entfernt, sodass nur eine eindeutige Instanz gespeichert wird. Dadurch sinkt der Speicherbedarf, ohne dass Daten verloren gehen. Sie eignet sich besonders für Backups, Dateiserver und virtuelle Desktops.
Das Wichtigste
- Redundante Datenblöcke oder ganze Dateien werden durch Verweise ersetzt.
- Blockbasierte und dateibasierte Verfahren unterscheiden sich im Detailgrad.
- Backups, allgemeine Dateiserver und VDI-Umgebungen profitieren besonders.
- Windows Server nutzt ein nachgelagertes Optimierungsmodell.
- Deduplizierung unterscheidet sich von Kompression, weil sie große identische Abschnitte teilt.
Was ist Datendeduplizierung?
Das Ziel ist, den Speicherbedarf zu senken und die Verwaltung von Daten zu vereinfachen. Dabei bleiben die logische Korrektheit und der Dateninhalt erhalten.
Bei der Speicherung werden doppelte Abschnitte nicht erneut abgelegt. Stattdessen verweist das System auf die bereits vorhandene Kopie. Das Verfahren kann auf ganze Dateien oder auf Datenblöcke angewendet werden.
Wie funktioniert das Verfahren?
Im Kern arbeitet Datendeduplizierung automatisiert. Das System analysiert Datenblöcke, bestimmt eindeutige Blöcke und entfernt Wiederholungen. An der Stelle der entfernten Wiederholung steht ein Verweis auf den ursprünglichen Block. Dadurch sinkt die Menge der physisch gespeicherten Daten.
- Eindeutige Datenblöcke werden erhalten.
- Wiederholte Blöcke werden durch Verweise ersetzt.
- Die logische Sicht auf Dateien bleibt unverändert.
Organisationen können das Verfahren nutzen, damit im Speichersystem nur eine eindeutige Dateninstanz verbleibt. Redundante Kopien entfallen, und Nutzer greifen auf diese Instanz zu.
Blockbasierte und dateibasierte Verfahren
Blockbasierte Datendeduplizierung arbeitet mit Datenblöcken. Sie kann kleine Änderungen in großen Dateien berücksichtigen, weil nur geänderte Blöcke neu gespeichert werden. Dateibasierte Datendeduplizierung vergleicht ganze Dateien und entfernt zusätzliche Kopien einer identischen Datei.
Single-Instance-Speicherung ist ein verwandtes Verfahren auf Dateiebene: Mehrere Kopien desselben Inhalts werden durch eine gemeinsame Kopie ersetzt. Dieses Verfahren lässt sich mit anderen Formen der Datenkompression und Deduplizierung kombinieren, bleibt aber ein eigener Ansatz.
| Verfahren | Arbeitsweise | Typischer Nutzen |
|---|---|---|
| Blockbasiert | analysiert Datenblöcke und ersetzt Wiederholungen durch Verweise | feine Redundanz in großen Dateien |
| Dateibasiert | vergleicht ganze Dateien und entfernt zusätzliche Kopien | identische Dateien auf Dateiservern |
| Single-Instance | speichert eine gemeinsame Kopie für mehrere identische Dateien | einfache Dateifreigaben |
Wo lohnt sich Datendeduplizierung?
Das Verfahren lohnt sich dort, wo viele Kopien ähnlicher oder identischer Daten auf einem Speichermedium liegen. Allgemeine Dateiserver sind ein typischer Fall, weil mehrere Benutzer oft viele Kopien oder Versionen derselben Datei besitzen. Softwareentwicklungs-Freigaben profitieren, weil viele Binärdateien von Build zu Build im Wesentlichen unverändert bleiben.
Backup-Ziele sind ebenfalls geeignet, weil zwischen Backup-Snapshots erhebliche Überschneidungen bestehen. Dateiserver können als NAS oder SAN betrieben werden; der Unterschied zwischen NAS und SAN hilft bei der Einordnung. Speichermedien wie SSD oder HDD unterscheiden sich in Tempo und Einsatz; die SSD oder HDD Unterschiede sind bei der Planung relevant.
Das Verfahren passt gut zu VDI-Bereitstellungen, weil die virtuellen Festplatten hinter den Remote-Desktops gleich aufgebaut sind. Azure Virtual Desktop und Windows VDI sind Beispiele für Produkte in diesem Umfeld. Diese Produkte erstellen virtuelle Maschinen im Rahmen der Servervirtualisierung; diese Maschinen bilden die Grundlage der VDI-Technologie.
Datendeduplizierung und Kompression
Datendeduplizierung unterscheidet sich von Datenkompression. Kompressionsverfahren wie LZ77 und LZ78 finden redundante Daten innerhalb einzelner Dateien und stellen sie kompakter dar. Datendeduplizierung prüft dagegen größere Datenbestände und ersetzt umfangreiche identische Abschnitte – etwa ganze Dateien oder große Teile davon – durch eine gemeinsame Kopie.
Beide Verfahren können kombiniert werden, bleiben aber unterschiedliche Ansätze. Die Wahl des Speichermediums beeinflusst die Effizienz; ein Vergleich von Objektspeicher vs Blockspeicher vs Dateispeicher erklärt die Unterschiede.
Windows Server und nachgelagerte Optimierung
Windows Server verwendet für Datendeduplizierung ein nachgelagertes Optimierungsmodell. Daten werden zunächst unoptimiert auf den Datenträger geschrieben und später optimiert. Ein weiteres Prinzip ist, dass die Optimierung die Zugriffssemantik nicht verändern soll.
Für Windows Server 2016 und Windows Server 2019 wird empfohlen, das Update KB4025334 zu installieren, weil es Fehlerbehebungen für Datendeduplizierung enthält, darunter wichtige Zuverlässigkeitskorrekturen. Für Ausfallsicherheit werden oft RAID oder Erasure Coding eingesetzt; Erasure Coding vs RAID vergleicht beide Verfahren.
Netzwerkübertragung und Speichermedien
Das Verfahren kann auch auf Netzwerkdatentransfers angewendet werden, um die Anzahl der zu sendenden Bytes zu verringern. Das ist nützlich, wenn große Datenmengen zwischen Systemen übertragen werden. Im Speicherbereich reduziert das Verfahren die benötigte Speichermenge für einen gegebenen Satz von Dateien.
Es ist besonders wirksam, wenn viele Kopien sehr ähnlicher oder identischer Daten auf einem einzelnen Datenträger liegen. Die Speicherkapazität steigt effektiv, weil weniger Daten den verfügbaren Platz belegen.
Backup-Systeme und Redundanz
Backup-Systeme sichern regelmäßig Daten, um Datenverlust vorzubeugen. In einem bestimmten Backup bleiben die meisten Daten gegenüber dem vorherigen Backup unverändert. Übliche Backup-Systeme nutzen dies, indem sie unveränderte Dateien auslassen oder über Hardlinks verknüpfen oder Unterschiede zwischen Dateien speichern.
Diese Ansätze erfassen jedoch nicht jede Redundanz. Hardlinks helfen nicht bei großen Dateien, die nur in kleinen Teilen geändert wurden, etwa E-Mail-Datenbanken. Differenzverfahren finden Redundanzen nur in benachbarten Versionen einer einzelnen Datei, zum Beispiel wenn ein Abschnitt gelöscht und später wieder eingefügt wird oder ein Logo in vielen Dokumenten vorkommt.
Primärspeicher und Overhead
Das Verfahren wurde in einigen Fällen erfolgreich mit Primärspeicher eingesetzt, wenn das Systemdesign keinen erheblichen Mehraufwand erfordert und die Leistung nicht beeinträchtigt. Das ist ein wichtiger Unterschied zu Backup-Zielen, bei denen Redundanz besonders hoch ist. Bei Primärspeicher muss der Overhead sorgfältig bewertet werden.
Alternative: Azure File Sync
Wenn es nur darum geht, Speicherplatz auf einem Volume freizugeben, kann Azure File Sync mit aktivierter Cloud-Tiering-Funktion eine Alternative sein. Häufig genutzte Dateien werden lokal zwischengespeichert, während selten genutzte Dateien in die Cloud ausgelagert werden. Dadurch wird lokaler Speicherplatz gespart, während die Leistung erhalten bleibt.
Diese Funktion ist ein anderer Ansatz zur Speicheroptimierung. Microsoft Data Protection Manager ist ein Beispiel für eine Backup-Anwendung, die von Datendeduplizierung profitieren kann, weil zwischen Backup-Snapshots erhebliche Duplikation besteht.
Weitere häufige Fragen
Was ist der Unterschied zwischen Datendeduplizierung und Kompression?
Kompression sucht redundante Daten innerhalb einzelner Dateien und kodiert sie effizienter. Datendeduplizierung betrachtet große Datenmengen und ersetzt große identische Abschnitte durch eine gemeinsame Kopie.
Für welche Systeme eignet sich Datendeduplizierung besonders?
Allgemeine Dateiserver, Backup-Ziele und VDI-Umgebungen sind typische Einsatzfelder, weil dort viele ähnliche oder identische Daten vorkommen.
Ändert Datendeduplizierung die Art, wie Benutzer auf Dateien zugreifen?
Ein Grundprinzip ist, dass die Optimierung die Zugriffssemantik nicht verändern soll. Benutzer und Anwendungen greifen weiterhin auf die Daten zu, während das System intern Verweise nutzt.
Was ist Single-Instance-Speicherung?
Single-Instance-Speicherung ist ein verwandtes Verfahren auf Dateiebene. Mehrere Kopien desselben Inhalts werden durch eine gemeinsame Kopie ersetzt.
Kann Datendeduplizierung Netzwerkübertragungen reduzieren?
Ja, das Verfahren kann auf Netzwerkdatentransfers angewendet werden, um die Anzahl der zu sendenden Bytes zu verringern.
Verwandte Seiten
- Cloud Speicherklassen: Was ist Cloud-Speicher?
Cloud-Speicher hält Daten auf entfernten Systemen bereit und macht sie über Netzwerkzugriff nutzbar. Speicherklassen sind Metadaten, die pro Objekt festlegen, wie Daten gespeichert, abgerufen und berechnet werden. Die passende Klasse hängt von Zugriffshäufigkeit, Latenzbedarf, Redundanz und Kosten ab.
- Erasure Coding vs RAID: Was ist Erasure Coding?
Erasure Coding rekonstruiert verlorene Datenblöcke aus den überlebenden Daten- und Paritätsblöcken. Im Vergleich zu RAID bietet es oft mehr nutzbare Kapazität und bessere Skalierbarkeit, während RAID als spezielle Form von Erasure Coding gelten kann.
- NVMe vs SATA: Unterschiede und Einsatz
NVMe und SATA sind Speicherprotokolle mit unterschiedlichen Bussen, Geschwindigkeiten und Einsatzgebieten. SATA bleibt für HDDs und günstige SSDs sinnvoll, NVMe nutzt PCIe für höhere Durchsätze und niedrigere Latenz bei SSDs.
- Objektspeicher vs Blockspeicher vs Dateispeicher erklärt
Objektspeicher, Blockspeicher und Dateispeicher sind drei Modelle für die Ablage von Daten in lokalen Systemen und in der Cloud. Sie unterscheiden sich vor allem in der Datenstruktur, im Zugriffsmuster und in der Skalierung. Die passende Wahl hängt vom Workload ab, nicht von einem allgemein besten Speichertyp.
- Unterschied zwischen NAS und SAN: Was ist NAS?
NAS ist ein eigenständiges Speichergerät, das Dateien über ein normales Netzwerk bereitstellt. SAN stellt Servern Speicher in Blöcken über ein eigenes schnelles Netz bereit; sie nutzen ihn wie ein lokales Laufwerk. Der Unterschied zwischen NAS und SAN liegt vor allem in Zugriffsart, Netzwerk, Leistung und Verwaltungsaufwand.
- SSD oder HDD Unterschiede: Technik, Tempo und Einsatz
SSDs arbeiten mit Flash-Speicher ohne bewegliche Teile, HDDs mit rotierenden magnetischen Platten. SSDs sind schneller und robuster, HDDs bieten oft mehr Speicher fürs Geld. Die passende Wahl hängt von Leistung, Budget und Speicherbedarf ab.
Wie diese Seite entstanden ist
Vor dem Schreiben wurde das Thema in den unten genannten Quellen recherchiert. Danach hat die Seite automatische Qualitätsprüfungen bestanden.