Déduplication de données : principe et usages
Réponse courte
La déduplication de données élimine les copies redondantes en conservant une instance unique et des références vers elle. Elle réduit le volume stocké et soutient les sauvegardes, sans changer l'accès logique aux données.
L’essentiel
- Élimine les copies redondantes en conservant une instance unique et des références.
- Peut fonctionner au niveau bloc ou au niveau fichier.
- Réduit le stockage et soutient les sauvegardes et la reprise après sinistre.
- Se distingue de la compression, qui agit à l'intérieur d'un fichier.
- Les bons candidats incluent les serveurs de fichiers, les cibles de sauvegarde et le VDI.
Déduplication de données : définition et objectif
La déduplication de données supprime les copies redondantes d'une même information dans un système de stockage. Elle conserve une seule instance unique et fait pointer les autres occurrences vers cette instance. Le volume stocké diminue, sans changer la logique d'accès pour les utilisateurs et les applications.
On l'appelle souvent « dedupe ». Elle peut aussi s'appliquer aux transferts réseau, pour diminuer le nombre d'octets à envoyer. Selon les implémentations, elle ne se limite pas à des fichiers entiers : elle peut travailler sur des blocs ou sur des segments de fichiers.
Comment fonctionne la déduplication
Repérage des blocs identiques
Au plus simple, la déduplication repère automatiquement les blocs de données dupliqués, puis les supprime. Les blocs uniques restent ; quand un bloc identique réapparaît, il est retiré et remplacé par une référence vers le bloc d'origine. Ce mécanisme permet d'examiner des morceaux de données et de décider lesquels conserver.
Post-traitement et accès aux données
La déduplication de données dans Windows Server repose sur deux principes. L'optimisation ne doit pas gêner les écritures sur disque : les données sont d'abord écrites sans optimisation, puis optimisées plus tard. L'optimisation ne doit pas changer la sémantique d'accès : utilisateurs et applications accèdent aux données comme avant.
Avec Windows Server 2016 et 2019, KB4025334 rassemble des correctifs pour la déduplication, dont des correctifs de fiabilité importants ; son installation est fortement recommandée.
Niveau bloc et niveau fichier
La déduplication au niveau bloc examine des morceaux de données et conserve les blocs uniques. La déduplication au niveau fichier, dite aussi stockage à instance unique, compare des fichiers entiers dans le système de fichiers, et non des morceaux de données. Dans les deux cas, le fichier original est conservé et les copies supplémentaires sont supprimées.
| Approche | Granularité | Ce qui est comparé | Effet typique |
|---|---|---|---|
| Déduplication bloc | Bloc ou segment | Morceaux de données | Supprime les doublons même dans des fichiers modifiés |
| Instance unique fichier | Fichier entier | Copies complètes | Remplace plusieurs copies identiques par une seule |
Pour situer ces approches par rapport aux types de stockage, voir la comparaison entre stockage objet, bloc et fichier.
Différence avec la compression
La déduplication se distingue de la compression. Des algorithmes comme LZ77 et LZ78 repèrent la redondance à l'intérieur d'un fichier et la codent plus efficacement. La déduplication inspecte de grands volumes et repère de grandes sections identiques, comme des fichiers entiers ou de grandes parties de fichiers, puis les remplace par une copie partagée. Les deux techniques peuvent se combiner, mais leur rôle diffère.
Le stockage à instance unique au niveau fichier est une technique voisine : il remplace plusieurs copies identiques d'un fichier par une seule copie partagée. Il se distingue des approches plus récentes de déduplication, qui peuvent opérer au niveau du segment ou du sous-bloc.
Avantages pour le stockage et la sauvegarde
Le gain le plus visible est la réduction du volume total de données à stocker et à gérer. Moins de données occupent l'espace de stockage, ce qui augmente la capacité disponible. Elle soutient aussi les plans de sauvegarde et la reprise après sinistre.
- Réduction du coût de stockage par élimination des copies redondantes.
- Meilleure utilisation de la capacité existante.
- Appui aux sauvegardes, où la plupart des données restent inchangées d'une sauvegarde à l'autre.
- Intérêt pour les environnements VDI, car les disques virtuels derrière les bureaux à distance fonctionnent de la même façon.
Cas d'usage courants
Serveurs de fichiers généralistes
Les serveurs de fichiers généralistes sont de bons candidats, car plusieurs utilisateurs gardent souvent de nombreuses copies ou versions d'un même fichier. Les partages de développement logiciel profitent aussi de la déduplication, car de nombreux binaires changent peu d'une compilation à l'autre. Les partages concernés incluent les partages d'équipe, les dossiers personnels, les dossiers de travail et les partages de développement.
Cibles de sauvegarde
Les cibles de sauvegarde, notamment les applications de sauvegarde virtualisées, conviennent très bien. Microsoft Data Protection Manager (DPM) en illustre le cas. La duplication importante entre les instantanés de sauvegarde l'explique. Les systèmes de sauvegarde courants exploitent déjà le fait que la plupart des données d'une sauvegarde restent inchangées par rapport à la précédente, en omettant ou en créant des liens physiques pour les fichiers non modifiés, ou en stockant les différences entre fichiers.
Aucune de ces approches ne capture toutes les redondances. Les liens physiques n'aident pas pour les gros fichiers légèrement modifiés, comme une base de données de courrier électronique. Les différences ne repèrent les redondances que dans des versions adjacentes d'un même fichier, par exemple une section supprimée puis rajoutée, ou une image de logo présente dans de nombreux documents.
Infrastructure de bureaux virtuels
La déduplication fonctionne bien avec les déploiements d'infrastructure de bureaux virtuels (VDI), car les disques durs virtuels derrière les bureaux à distance fonctionnent de manière identique. Parmi les produits populaires de bureau en tant que service figurent Azure Virtual Desktop, de Microsoft, avec son VDI Windows. Ces produits créent des machines virtuelles lors de la virtualisation des serveurs ; ces machines virtuelles alimentent ensuite la technologie VDI.
Limites et points de vigilance
La déduplication consomme des ressources. Elle ajoute du traitement et peut affecter les performances si la conception du système impose une surcharge importante. Elle a toutefois été déployée avec succès sur du stockage primaire dans certains cas où la conception du système n'impose pas de surcharge importante ni n'affecte les performances.
- Les liens physiques ne résolvent pas le cas des gros fichiers légèrement modifiés.
- Les différences entre versions ne retrouvent pas toutes les redondances dans des documents distincts.
- Le stockage à instance unique au niveau fichier ne détecte pas les redondances à l'intérieur d'un fichier.
- La durée de vie des supports de stockage HDD et SSD reste un facteur indépendant ; voir la durée de vie des supports de stockage HDD et SSD.
Alternatives et compléments
Si l'objectif est simplement de libérer de l'espace sur un volume, Azure File Sync avec la hiérarchisation cloud activée peut convenir : les fichiers les plus consultés restent en cache local, tandis que les moins consultés sont placés dans le cloud. Cela économise de l'espace de stockage local tout en maintenant les performances.
Pour la protection des données, la déduplication doit être distinguée des mécanismes de tolérance aux pannes comme le RAID ou le codage d'effacement ; elle réduit le volume, elle ne remplace pas la protection. Voir la comparaison entre codage d'effacement et RAID. Les classes de stockage cloud aident aussi à aligner le coût sur la fréquence d'accès.
Autres questions fréquentes
La déduplication modifie-t-elle les fichiers originaux ?
Non. Le système conserve une instance unique et remplace les doublons par des références ; l'accès logique reste le même pour les utilisateurs et les applications.
Quelle différence entre déduplication et compression ?
La compression réduit la redondance à l'intérieur d'un fichier individuel ; la déduplication repère de grandes sections identiques dans de grands volumes et les remplace par une copie partagée.
Quels environnements sont de bons candidats ?
Les serveurs de fichiers généralistes, les cibles de sauvegarde comme DPM, et les déploiements VDI sont souvent cités comme de bons candidats.
La déduplication fonctionne-t-elle au niveau fichier ou bloc ?
Les deux existent : le niveau bloc analyse des morceaux de données, tandis que le niveau fichier compare des copies complètes.
Faut-il installer KB4025334 ?
Pour Windows Server 2016 et Windows Server 2019, ce correctif cumulatif regroupe des corrections pour la déduplication, dont des correctifs de fiabilité importants ; son installation est fortement recommandée.
Pages liées
- Classes de stockage cloud : définition et fonctionnement
Le stockage cloud conserve des données sur des serveurs distants accessibles par Internet. Les classes de stockage cloud sont des métadonnées qui modifient le coût, la disponibilité et le comportement d'accès d'un objet ou d'un bucket. Choisir la bonne classe dépend de la fréquence d'accès, de la durée de conservation et des exigences de performance.
- Codage d'effacement vs RAID : comparaison
Le codage d'effacement protège les données en calculant des blocs de parité à partir de blocs de données, puis en reconstruisant les blocs perdus à partir des blocs survivants. Le RAID peut être vu comme une forme particulière de codage d'effacement, mais il s'applique souvent à un seul hôte, tandis que le codage d'effacement s'étend plus facilement à plusieurs serveurs. Le choix dépend de la capacité utile recherchée, du nombre de pannes tolérées et de la complexité d'exploitation.
- NVMe vs SATA : différences et usages
NVMe et SATA sont deux protocoles de liaison pour les disques de stockage. NVMe exploite le bus PCIe et vise les SSD, tandis que SATA reste compatible avec les SSD et les disques durs. Le choix dépend de la vitesse recherchée, du budget et de la compatibilité de la machine.
- Stockage objet vs bloc vs fichier : comparaison
Stockage objet vs bloc vs fichier désigne trois méthodes cloud pour conserver et partager des données à distance. Elles diffèrent par la structure des données, le mode d'accès et la latence. Le bon choix dépend de la charge de travail plutôt que d'une supériorité générale.
- Durée de vie des supports de stockage : HDD et SSD
La durée de vie des supports de stockage dépend surtout de l'usage, de la chaleur et du type de mémoire. Un SSD grand public dure souvent de cinq à dix ans en usage quotidien normal, tandis qu'un disque dur mécanique s'use par ses pièces mobiles et par les chocs. Dans les deux cas, la sauvegarde reste indispensable, car aucune durée annoncée ne garantit l'absence de panne.
- Différence entre NAS et SAN : stockage centralisé
Un NAS partage des fichiers sur le réseau standard, tandis qu'un SAN fournit du stockage par blocs sur un réseau dédié. Le choix dépend du niveau de performance, de la latence et du budget.
Comment cette page a été préparée
Avant la rédaction, le sujet a été étudié dans les sources ci-dessous. La page a ensuite passé des contrôles de qualité automatiques.