データ重複排除とは?仕組みと効果
要点
データ重複排除は、同じ内容のデータが複数ある場合に余分なコピーを除き、1つの実体への参照に置き換える技術です。ストレージ使用量を減らし、バックアップやファイルサーバー、VDIなどで効果が出やすいです。圧縮とは異なり、大きな同一部分を共有コピーで置き換えます。
ポイント
- 重複ブロックや重複ファイルを1つの実体にまとめ、余分なコピーを参照に置き換える
- ブロック単位とファイル単位があり、見つけられる重複の範囲が異なる
- 圧縮はファイル内の冗長表現を効率化し、重複排除はデータ間の同一部分を共有する
- ファイルサーバー、バックアップ、VDIで効果が出やすい
- Windows ServerではKB4025334の適用が推奨される
データ重複排除は、同じ内容のデータが複数存在する場合に余分なコピーを除き、1つの実体への参照に置き換える技術です。ストレージ使用量を減らし、必要な容量を抑える効果があります。重複を減らしても、データの正確さや整合性は損なわれません。ネットワーク転送にも適用でき、送信するバイト数を減らせます。
データ重複排除の仕組み
基本的な動作は、データブロックの重複を自動で見つけ、重複したブロックを削除して元のブロックへの参照に置き換えることです。ブロック単位で処理するため、同一部分だけを共有し、異なる部分はそのまま残せます。Windows Serverの実装では、書き込みの邪魔にならないよう、データはまず未最適化のままディスクに書き込まれ、後で最適化されます。最適化後も、利用者やアプリケーションのアクセス方法は変わりません。
- 重複ブロックを見つけ、1つの実体だけを残す
- 余分なコピーを参照に置き換える
- 必要に応じて圧縮を併用する
ブロック単位とファイル単位の違い
処理単位によって、見つけられる重複の範囲が変わります。ブロック単位は細かい変更に強く、ファイル単位は同一ファイルの余分なコピーに効果的です。
| 方式 | 比較対象 | 特徴 |
|---|---|---|
| ブロック単位 | データの塊 | 重複した塊だけを共有し、小さな変更に強い |
| ファイル単位 | ファイル全体 | 同一ファイルの余分なコピーを1つの実体にまとめる |
単一インスタンスストレージは、ファイル全体を単位として複数のコピーを1つの共有コピーに置き換える関連技術です。新しい重複排除手法では、セグメントやサブブロック単位で処理する場合があります。
圧縮との違い
圧縮は、1つのファイル内の冗長なデータをより効率的な形に変える技術です。重複排除は、大量のデータを調べ、ファイル全体やファイルの大きな部分が同一である箇所を見つけ、共有コピーに置き換えます。LZ77やLZ78は圧縮アルゴリズムの例です。両者は目的が異なり、併用できる場合があります。
効果が出やすい環境
同じ内容のコピーが多い環境ほど、効果が出やすいです。一般用途のファイルサーバーには、チーム共有、ユーザーのホームフォルダー、ワークフォルダー、ソフトウェア開発用共有が含まれることがあります。複数の利用者が同じファイルのコピーを多く持つため、重複排除の候補になります。ソフトウェア開発用共有では、ビルド間でほとんど変わらないバイナリが多いため、効果が出やすいです。
バックアップ対象も候補です。仮想化されたバックアップでは、バックアップ間でデータの多くが変わらないため、重複が大きくなります。Microsoft Data Protection Managerのようなバックアップアプリケーションは、スナップショット間の重複が大きいため、重複排除の候補です。
VDI環境でも有効です。リモートデスクトップの背後にある仮想ハードディスクが同じ構成で動くため、重複が生じます。Azure Virtual DesktopやWindows VDIのような製品がこの分野で使われます。プライマリストレージでも、設計上の負荷や性能への影響が小さい場合には適用例があります。
ファイルサーバーの構成を比較するなら、NASとSANの違いも参照できます。クラウド側の保存先を選ぶ場合はクラウドストレージのストレージクラスが役立ちます。
バックアップで重複が残る理由
バックアップでは、前回から変更されていないデータが多く残ります。一般的なバックアップシステムは、変更のないファイルを省略したりハードリンクしたり、ファイル間の差分を保存したりします。しかし、これらの方法ではすべての重複を捉えません。ハードリンクは、小さな変更だけが入った大きなファイルには効果が乏しく、差分保存は隣接する版の重複しか見つけにくい例があります。メールデータベースのような大きなファイルや、多くの文書に含まれるロゴ画像のような共通部分が、この限界を示します。
Windows Serverでの注意点
Windows Serverのデータ重複排除では、KB4025334にデータ重複排除の修正がまとまっており、信頼性に関する修正も含まれます。Windows Server 2016や2019で使う場合は、この更新プログラムを入れることを強く勧めます。容量確保だけが目的なら、Azure File Syncのクラウド階層化も検討できます。よく使うファイルはローカルに残し、あまり使わないファイルはクラウドへ移してローカル容量を節約します。
導入前の確認
導入判断では、重複の多さ、I/O負荷、バックアップ方式、復旧要件を確認します。ストレージ種別の違いはブロック・オブジェクト・ファイルストレージの違いで整理できます。
- 同一または類似データのコピーが多いか確認する
- 書き込み性能への影響を許容できるか確認する
- 復旧時に参照構造を扱える運用があるか確認する
- 圧縮、階層化、アーカイブとの比較を行う
よくある質問
データ重複排除と圧縮の違いは何ですか?
圧縮はファイル内の冗長表現を効率化し、重複排除は複数データ間の同一部分を共有コピーに置き換えます。
どの環境で効果が出やすいですか?
同じファイルや類似データのコピーが多いファイルサーバー、バックアップ、VDIで効果が出やすいです。
Windows Serverで使うときの注意点は?
KB4025334の適用が推奨され、書き込みは未最適化で行われ後から最適化されます。
ファイル単位とブロック単位はどう違いますか?
ファイル単位はファイル全体を比較し、ブロック単位はデータの塊を比較して重複部分だけを共有します。
関連ページ
- クラウドストレージ ストレージクラスとは?
クラウドストレージ ストレージクラスは、オブジェクトに付与されるメタデータで、保存コストやアクセス特性、冗長性の扱いに影響する。Google Cloud Storageでは、既にレガシークラスを使っていない限りStandard storageを基準にし、I/O負荷の高いAI、機械学習、データ分析にはRapid storageを選ぶ。移行はオブジェクトの書き換えやライフサイクル管理で行え、Autoclassで自動化できる。
- NVMe SATA 違い:SSD選びの基準
NVMeはSSD向けに設計された新しいプロトコルで、SATAより高速で低遅延です。SATAはHDDとSSDの両方で使える互換性の高い旧来の接続方式です。用途と予算に応じて、どちらが適切かが変わります。
- ブロック オブジェクト ファイル ストレージの違い
ブロック、オブジェクト、ファイルの3種類は、データを保存しネットワーク経由で利用する方式です。ブロックは低遅延の読み書き、ファイルは階層的な共有、オブジェクトは大規模な非構造化データに向きます。選択はワークロードのアクセスパターンと規模で決まります。
- ストレージメディアの寿命:HDDとSSDの違い
家庭で普通に使うSSDは、5年から10年ほど持つことが多い。HDDは可動部品があるため衝撃や熱の影響を受けやすい。どちらも突然故障する可能性があるため、重要なファイルは別媒体に保存する。
- NASとSANの違い:保存方式と選び方
NASは標準ネットワーク上でファイルを共有する保存装置で、SANは専用高速ネットワークでブロック単位の保存を提供する。NASは導入と管理が容易で、SANは高性能と拡張性を重視する環境に向く。両者は目的が似ていても、接続方式とサーバーから見た見え方が異なる。
- RAIDレベルの選び方と比較
RAIDは複数のディスクを束ねて性能や耐障害性を高める技術である。レベルごとにストライピング、ミラーリング、パリティの組み合わせが異なり、容量効率と障害耐性も変わる。用途と予算に合わせて選び、RAIDだけに頼らず別途バックアップを用意する。
このページの作成方法
執筆の前に、下記の情報源でテーマを調査しました。その後、自動の品質チェックを通過しています。