Deduplikacija yra procesas, naudojamas pertekliniams duomenims pašalinti. Proceso metu kompiuterio standusis diskas yra nuskaitomas, kad būtų ieškoma didelių duomenų sekų palyginimo languose. Nuskaitant pasikartojančius duomenis, paprastai išrenkamos aštuonių kilobaitų ar daugiau sekos. Jei seka randama kitur saugojimo sistemoje, į pasikartojantį failą daroma nuoroda, o ne išsaugoma dar kartą.
Sėkmingas dubliavimo panaikinimas gali pašalinti kelis kilobaitus kompiuteryje esančių duomenų, o tai duoda akivaizdžių pranašumų. Duomenų dubliavimas sistemoje užima nereikalingą vietą, o pašalinus pašalinius duomenis vartotojui lieka daugiau vietos kompiuteryje. Tai leis sistemai veikti greičiau ir efektyviau, nes ji neapsunkina papildomų duomenų. Be to, pralaidumo pagerėjimas visada labiau pastebimas, kai kompiuteryje yra daugiau laisvos vietos.
Dubliavimo panaikinimas apima didelio duomenų kiekio nukreipimą į pirmąją vietą ir papildomų duomenų kopijų ištrynimą, kurios vis dėlto indeksuojamos, jei prireiktų. Dažnai tie patys tikslūs duomenys gali būti saugomi net 100 skirtingų kietojo disko vietų. Jei kiekvienas užima vieną megabaitą vietos, dubliavimo panaikinimas sumažins šią vietą standžiajame diske nuo 100 megabaitų iki vieno. Procesas vyksta archyvuojant duomenis, o gaunama papildoma vieta yra labai naudinga kompiuterio standžiajam diskui.
Papildomi dubliavimo pranašumai apima atsarginės vietos, reikalingos net 90 proc., sumažinimą, energijos, vietos ir aušinimo poreikių sumažinimą, aukštesnio aptarnavimo lygio atkūrimą, daugelio skirtingų klaidų pašalinimą ir duomenų atkūrimą keliais būdais. skirtingus taškus. Dubliavimo panaikinimo trūkumas yra tas, kad jis identifikuoja pasikartojančius duomenis naudodamas kriptografines maišos funkcijas, kurios gali būti nepatikimos, o dėl susidūrimo ar kitokio tipo klaidos būtų prarasti duomenys. Be to, jei asmuo, įgaliotas atlikti procedūrą, nežino apie susijusį atleidimo mažinimą, kompiuterio patikimumas gali būti neigiamai paveiktas.
Duomenų dubliavimo panaikinimas veikia pirmiausia segmentuojant kiekvieną apdorojamą duomenų dalį. Kiekvienas segmentas identifikuojamas ir lyginamas su duomenimis, kurie jau yra sistemoje. Jei duomenys yra unikalūs, jie saugomi diske. Jei tai pasikartojantys duomenys, vietoj jo sukuriama nuoroda. Dubliavimo panaikinimas gali būti įgyvendintas naudojant programinę įrangą, vadinamą Data Domain, kuri veikia su duomenų ir saugojimo sistemomis, kad būtų galima filtruoti duomenis, nurodyti, pašalinti arba saugoti kiekvieną baitą, jei reikia.