Dubbele bestanden zoeken

Over het hulpmiddel voor dubbele bestanden

Duplicaten stapelen zich stilletjes op. Je kopieert een fotomap "voor de zekerheid", een download loopt twee keer en laat factuur (1).pdf achter, een back-up wordt op de verkeerde plek teruggezet — en jaren later staat een schijf vol met bestanden die je al had. Dit hulpmiddel vindt ze: kies een map en het meldt elke verzameling identieke bestanden, hoeveel kopieën er zijn en hoeveel ruimte je zou terugkrijgen.

Identiek betekent byte voor byte, niet "lijkt op elkaar". Twee foto's van hetzelfde moment zijn twee verschillende bestanden en worden nooit als duplicaat gemeld. Twee kopieën van hetzelfde bestand wel, hoe ze ook heten en in welke submap ze ook staan.

De map wordt binnen je browser gelezen. Er wordt niets geüpload, en het hulpmiddel heeft alleen-lezen toegang — het kan niets verwijderen, en juist daarom krijg je een lijst om te controleren in plaats van bestanden die stilletjes verdwijnen.

Hoe het bepaalt dat twee bestanden gelijk zijn

Elk bestand met alle andere vergelijken zou bij een grote map eindeloos duren, dus werkt het in drie rondes en gooit het in elke ronde werk weg.

• Eerst de grootte. Twee bestanden van verschillende lengte kunnen onmogelijk identiek zijn. Alleen dit sluit de overgrote meerderheid van een gewone map uit en kost niets — de groottes zijn al bekend
• Dan de eerste 64 KB. Bestanden van dezelfde grootte die tóch verschillen, doen dat meestal al vooraan: camera-JPEG's, opgevulde archieven, documenten uit een sjabloon. Alleen het begin hashen scheidt ze zonder de rest te lezen
• Dan het hele bestand. Alleen voor de enkele die dan nog overeenkomen, zodat het dure lezen echte kandidaten treft en verder niets

De hash is SHA-256, berekend door de ingebouwde cryptografie van je browser. Twee verschillende bestanden zouden een 256-bits vingerafdruk moeten delen om als duplicaat gemeld te worden, en dat gebeurt in de praktijk niet.

Zo gebruik je het

• Klik op Kies een map en selecteer de map die je wilt controleren. Je browser vraagt toestemming om hem te lezen
• Wacht tot de rondes klaar zijn — de voortgangsbalk hoort bij het hashen, het trage deel
• Lees de groepen. Elke groep toont de gevonden kopieën, met de te behouden kopie gemarkeerd
• Kies welke kopie blijft — nieuwste, oudste, kortste pad, of dichtst bij de hoofdmap
• Neem het resultaat mee — kopieer de lijst, download een CSV, of haal een verwijderscript op

Kiezen welke kopie blijft

Het hulpmiddel beslist nooit voor jou welk bestand ertoe doet; het markeert alleen één kopie per groep, zodat de rest duidelijk gelabeld is.

• Nieuwste — de laatst gewijzigde kopie houden. De gebruikelijke keuze als je op één plek hebt gewerkt
• Oudste — het origineel houden. Handig als kopieën zijn gemaakt door software die de datums heeft gereset
• Kortste pad — de minst diep genestelde kopie houden, meestal de "echte" plek en niet een back-upmap
• Dichtst bij de hoofdmap — houden wat het dichtst bij de gekozen map staat

Dit omzetten labelt de groepen alleen opnieuw. Er wordt niets opnieuw gescand, dus je kunt meteen wisselen.

De zoektocht inperken

• Bestanden negeren onder (KB) — kleine bestanden overslaan. Een map met broncode of miniaturen bevat honderden minuscule identieke bestanden die alleen ruis zijn; zet 100 om alleen te zien wat de moeite waard is
• Alleen deze types — jpg, png voor foto's, mp4, mov voor video, pdf voor documenten. Punten optioneel, hoofdletters maken niet uit

Bestanden van nul bytes worden altijd overgeslagen. Elk leeg bestand is byte-voor-byte identiek aan elk ander leeg bestand, dus ze melden zou de echte resultaten bedelven.

Het verwijderscript

Verwijderen is hier het enige werkelijk onomkeerbare, dus het script komt met elke verwijderregel als commentaar. Je opent het, leest de lijst, haalt de REM (Windows) of # (Mac en Linux) weg bij de regels die je echt wilt, en voert het zelf uit. Daarvoor gebeurt er niets.

Dat is bewust. Een webpagina die bestanden op je pc kan verwijderen zodra je op een knop klikt, is geen goed idee hoe zorgvuldig de code ook is — deze kan het niet, en de laatste stap is aan jou.

Waar mensen het voor gebruiken

• Ruimte terugwinnen op een fotoschijf die jarenlang tussen computers is gekopieerd
• Een map Downloads opruimen vol bestand (1).pdf, bestand (2).pdf
• Dubbele muziek vinden na meerdere imports van dezelfde bibliotheek
• Nagaan of een back-upmap een tweede kopie bewaart van dingen die je nooit hebt verwijderd
• Uitzoeken wat er werkelijk ruimte inneemt voordat je een grotere schijf koopt

Twee manieren waarop je browser een map leest

Chrome, Edge en Opera hebben een echte mapkiezer. Het hulpmiddel doorloopt de map zelf en leest de bytes van elk bestand rechtstreeks: de snelste route, en de enige die lege submappen ziet.

Firefox en Safari gebruiken het oudere mapupload-element. De browser levert alle bestanden in de boom in één keer aan. De detectie werkt precies hetzelfde — elk bestand wordt nog steeds in de pagina gelezen en gehasht — maar de hele boom wordt eerst geladen, dus een heel grote map heeft meer tijd nodig om te starten.

Goed om te weten

• Er wordt niets geüpload. Zowel het lezen als het hashen gebeurt in de pagina — je mag het tabblad Netwerk gerust volgen
• Het hulpmiddel heeft alleen-lezen toegang. Het kan geen enkel bestand aanmaken, hernoemen, verplaatsen of verwijderen
• Het hashen leest elk kandidaat-bestand, dus een map met veel grote bestanden van dezelfde grootte kost tijd. De rondes op grootte en begin bestaan juist om dat zeldzaam te houden
• Heel grote mappen worden begrensd op 200.000 items zodat de pagina niet vastloopt
• Bestanden die je browser niet kan openen (vergrendeld, in gebruik, of in een beveiligde systeemmap) worden overgeslagen in plaats van verkeerd gemeld
• De CSV bevat een byte-ordemarkering, zodat namen met accenten of niet-Latijnse tekens goed openen in Excel

Verwante hulpmiddelen

• Mappen- en bestandslijst — alles in een map opsommen en kopiëren
• Twee mappen vergelijken — zien wat er tussen twee mappen verschilt
• Bestanden in bulk hernoemen — een hele map in één keer hernoemen
• Hash-generator — controlegetal van een tekst of bestand