Data deduplication 데이터 중복 제거

중복 데이터의 여러 사본을 하나의 공유 사본에 대한 참조로 대체하는 기술.

데이터 중복 제거는 같은 내용이 반복 저장될 때 중복된 부분을 공통으로 참조하도록 정리하는 방식입니다. 비교 단위와 처리 시점은 구현에 따라 다릅니다.

같은 자료 조각을 여러 번 두는 대신 실제 내용은 공통으로 보관하고 각각의 연결 정보를 유지하는 방식으로 이해할 수 있습니다.

백업 저장소와 일부 파일시스템 또는 NAS의 공간 절감 기능을 설명할 때 사용합니다.

파일 이름이 같다는 것과 내용이 같은 것은 다릅니다. 압축이나 암호화된 자료는 절감 효과가 다를 수 있고 계산 자원과 관리 정보도 필요합니다.

중복이 적은 데이터에서 같은 절감률을 기대하지 않는다.

인라인 중복 제거는 데이터의 저장 경로에서 중복을 판별하고 반영하는 방식입니다. 저장한 뒤 별도 작업으로 정리하는 후처리와 처리 시점이 다르며 계산 자원의 요구도 구현에 따라 다릅니다.

후처리 중복 제거는 데이터를 일단 저장한 뒤 나중에 중복 부분을 정리하는 방식입니다. 처리 전 데이터를 담을 공간과 추가 I/O가 필요할 수 있으며 절감 결과가 기록 직후에 바로 나타나는 것은 아닙니다.