Wesloo
Tutti i temiTemi

Archiviazione dei dati

Deduplicazione dei dati: cos'è e come funziona

Risposta breve

La deduplicazione dei dati è una tecnica che elimina copie ridondanti di informazioni identiche o molto simili, conservando un'unica istanza e sostituendo le altre con riferimenti. Riduce lo spazio occupato, i costi di archiviazione e il traffico di rete, mantenendo inalterata la fedeltà dei dati.

Punti chiave

  • Elimina copie ridondanti a livello di file o di blocco.
  • Riduce spazio occupato, costi e traffico di rete.
  • Si differenzia dalla compressione, che lavora dentro un singolo file.
  • È utile per backup, file server generali e infrastrutture VDI.
  • Può essere eseguita in post-elaborazione, senza cambiare la semantica di accesso.

Cos'è la deduplicazione dei dati

La deduplicazione dei dati, in ambito informatico, consiste nell'eliminare copie duplicate di informazioni ripetute. Un'implementazione efficace migliora l'uso dello storage, può abbassare la spesa per i supporti necessari a soddisfare la capacità richiesta e può ridurre i byte trasmessi in rete.

Una tecnica affine è la memorizzazione a istanza singola: sostituisce più copie di un contenuto, a livello di file completo, con una sola copia condivisa. Può essere combinata con altre forme di compressione e deduplicazione, ma differisce dagli approcci più recenti, che possono lavorare a livello di segmento o di sottoblocco.

La deduplicazione differisce dagli algoritmi di compressione dei dati, come LZ77 e LZ78. Questi ultimi individuano ridondanze all'interno di un singolo file e le codificano in modo più efficiente; la deduplicazione, invece, esamina grandi volumi di dati per trovare sezioni estese, come file interi o grandi porzioni di file, identiche e sostituirle con una copia condivisa.

Come funziona la deduplicazione dei dati

Nella forma più semplice, la deduplicazione dei dati usa funzioni automatizzate per individuare duplicazioni nei blocchi di dati e rimuoverle. Operando a livello di blocco, i frammenti di dati univoci vengono analizzati e marcati come da conservare; quando il software trova la ripetizione di un blocco, elimina quella ripetizione e inserisce al suo posto un riferimento all'istanza originale.

Un metodo alternativo lavora a livello di file. La memorizzazione a istanza singola confronta copie complete dei dati nel file system, non frammenti o blocchi. Come il metodo a blocchi, la deduplicazione a livello di file richiede di conservare il file originale e rimuovere le copie aggiuntive.

In alcuni sistemi, ad esempio Data Deduplication in Windows Server, l'ottimizzazione avviene in post-elaborazione: i dati vengono prima scritti sul disco in forma non ottimizzata e ottimizzati in seguito. Questo modello non ostacola le scritture sul disco e non cambia la semantica di accesso, quindi utenti e applicazioni continuano a usare i dati come prima.

LivelloCosa confrontaQuando è utile
Filefile interi identiciarchivi con molte copie esatte
Bloccoframmenti o chunk di datibackup e file modificati in parte
Istanza singolacopie complete a livello di filefile server con duplicati esatti

Benefici per storage, backup e rete

La deduplicazione basata su storage riduce lo spazio necessario per un dato insieme di file. È più efficace quando molte copie di dati molto simili o identici risiedono su un singolo disco. Nei backup, eseguiti regolarmente per proteggere dalla perdita di dati, la maggior parte delle informazioni resta invariata rispetto al backup precedente.

I sistemi di backup comuni cercano di sfruttare questa stabilità omettendo i file non modificati, collegandoli tramite hard link oppure memorizzando le differenze tra i file. Nessuno di questi approcci cattura tutte le ridondanze: l'hard link non aiuta con file di grandi dimensioni modificati solo in parte, come un database di posta elettronica, mentre le differenze individuano ridondanze solo tra versioni adiacenti di un singolo file.

La deduplicazione è utile anche quando una sezione viene eliminata e poi reinserita, oppure quando la stessa immagine, come un logo, è inclusa in molti documenti. In questi casi i metodi basati solo su file non modificati o su differenze tra versioni adiacenti non catturano tutte le ridondanze.

Oltre a ridurre i costi di archiviazione, la deduplicazione supporta i piani di backup e le misure di emergenza per il ripristino dopo un disastro. Un altro vantaggio riguarda le infrastrutture VDI: i dischi virtuali alla base dei desktop remoti operano in modo identico, perché le macchine virtuali create durante la virtualizzazione dei server alimentano la tecnologia VDI. Tra i prodotti Desktop as a Service diffusi c'è Azure Virtual Desktop di Microsoft, con il suo VDI Windows.

La deduplicazione può essere applicata anche ai trasferimenti di rete per ridurre i byte da inviare. In alcuni casi è stata usata con successo sullo storage primario, quando il progetto del sistema non richiede un overhead significativo e non influisce sulle prestazioni.

Casi d'uso tipici

  • File server generali: condivisioni di team, cartelle home degli utenti, work folders e condivisioni per lo sviluppo software. Più utenti tendono ad avere molte copie o versioni dello stesso file; le condivisioni di sviluppo beneficiano della deduplicazione perché molti binari restano essenzialmente invariati da una build all'altra.
  • Destinazioni di backup: applicazioni di backup virtualizzate, come Microsoft Data Protection Manager, sono candidate eccellenti per la deduplicazione a causa della duplicazione significativa tra snapshot di backup.
  • VDI e desktop virtuali: i dischi virtuali identici rendono la deduplicazione particolarmente efficace.

Per scegliere dove conservare i dati ottimizzati, è utile confrontare le classi di storage nel cloud e le differenze tra NVMe e SATA.

Deduplicazione e altre tecniche di archiviazione

La deduplicazione riduce copie logiche dei dati, ma non protegge da guasti hardware. Per la disponibilità e la tolleranza ai guasti vanno considerate strategie di ridondanza o backup, come la codifica a cancellazione rispetto a RAID. Anche la durata dei supporti conta: SSD e hard disk hanno caratteristiche diverse, descritte nella pagina sulla durata dei supporti di memoria.

Per capire come i dati vengono organizzati prima dell'ottimizzazione, può essere utile la distinzione tra archivio a oggetti, blocchi e file. La deduplicazione opera su copie ridondanti, mentre la compressione lavora all'interno di un singolo file; le due tecniche possono essere combinate.

Implementazione e attenzioni operative

Data Deduplication in Windows Server si basa su due principi: l'ottimizzazione non deve ostacolare le scritture sul disco e non deve cambiare la semantica di accesso. Quando è abilitata, ottimizza lo spazio libero di un volume cercando porzioni duplicate nei dati del volume; le porzioni duplicate del dataset vengono memorizzate una sola volta e possono essere compresse per risparmiare altro spazio. L'ottimizzazione non compromette fedeltà o integrità dei dati.

KB4025334 raccoglie correzioni per Data Deduplication, incluse correzioni importanti per l'affidabilità, ed è fortemente consigliato installarlo quando si usa Data Deduplication con Windows Server 2016 e Windows Server 2019.

Se l'obiettivo è solo liberare spazio su un volume, vale la pena considerare Azure File Sync con cloud tiering abilitato. Questa soluzione mantiene nella cache locale i file usati più spesso e sposta nel cloud quelli usati meno spesso, risparmiando spazio di archiviazione locale senza perdere prestazioni.

Prima di abilitare la deduplicazione, conviene valutare il carico di lavoro, le finestre di ottimizzazione e l'impatto sulle operazioni di input e output. La scelta tra livello file e livello blocco dipende dal tipo di dati e dalla frequenza con cui vengono modificati.

Altre domande frequenti

La deduplicazione dei dati è uguale alla compressione?

No. La compressione riduce la ridondanza all'interno di un singolo file, mentre la deduplicazione individua sezioni identiche tra grandi volumi di dati e le sostituisce con una copia condivisa.

Su quali livelli può operare?

Può operare a livello di file intero, a livello di blocco o chunk, oppure come memorizzazione a istanza singola. La scelta dipende dal tipo di dati e dalla frequenza delle modifiche.

Quali carichi di lavoro sono candidati ideali?

File server generali, destinazioni di backup e infrastrutture VDI sono casi tipici, perché contengono molte copie identiche o molto simili.

La deduplicazione cambia l'accesso ai dati?

In modelli come quello di Windows Server, l'ottimizzazione avviene in post-elaborazione e non modifica la semantica di accesso per utenti e applicazioni.

Cosa fare se si vuole solo liberare spazio su un volume?

Si può considerare Azure File Sync con cloud tiering abilitato, che mantiene in cache locale i file usati più spesso e sposta nel cloud quelli usati meno.

Pagine correlate

  • Classi di storage nel cloud: cos'è il cloud storage

    Il cloud storage conserva dati su infrastruttura remota accessibile via rete, organizzandoli in bucket e oggetti. Le classi di storage sono metadati che associano a ogni oggetto un profilo di costo, disponibilità e prestazioni; si possono cambiare con riscrittura o regole di ciclo di vita.

  • Codifica a cancellazione vs RAID: differenze e usi

    La codifica a cancellazione divide i dati in blocchi e aggiunge blocchi di parità calcolati con matematica, così il sistema ricostruisce i dati persi dopo un guasto. RAID usa schemi più semplici, spesso su un array collegato a un solo host, mentre la codifica a cancellazione si adatta meglio a cluster con molti nodi. La scelta dipende da capacità utile, numero di guasti tollerati e complessità operativa.

  • NVMe and SATA difference: cos'è NVMe

    NVMe è un protocollo recente per SSD e memoria flash; SATA è un'interfaccia legacy usata anche da HDD. La differenza principale riguarda velocità, latenza e parallelismo, non solo il connettore.

  • Che cosa è un archivio: oggetti, blocchi e file

    Che cosa è un archivio? È un sistema che conserva dati e li rende disponibili a utenti o applicazioni. I tre modelli principali sono a oggetti, a blocchi e a file: differiscono per struttura, accesso, prestazioni e casi d'uso. La scelta dipende dal carico di lavoro, non da una superiorità generale di un modello.

  • Durata dei supporti di memoria: SSD e hard disk

    In uso normale, un SSD tipico dura tra cinque e dieci anni, mentre un hard disk meccanico non ha una scadenza fissa e dipende da usura, urti e temperatura. La durata dei supporti di memoria va valutata con TBW, età fisica, capacità e monitoraggio dello stato del drive.

  • Differenza tra NAS e SAN: cos'è il NAS

    Il NAS è un dispositivo di archiviazione collegato alla rete che condivide file tramite protocolli standard. Il SAN è una rete dedicata ad alta velocità che fornisce storage a blocchi ai server. Cambiano livello di accesso, architettura, prestazioni, scalabilità e costo.

Come è stata preparata questa pagina

Prima della stesura, l’argomento è stato studiato sulle fonti qui sotto. La pagina ha poi superato controlli di qualità automatici.

Segnala un errore in questa pagina