Doppelte Dateien finden

Über den Duplikatfinder

Duplikate sammeln sich unbemerkt an. Sie kopieren einen Fotoordner „sicherheitshalber", ein Download läuft zweimal und hinterlässt Rechnung (1).pdf, ein Backup wird an der falschen Stelle wiederhergestellt — und Jahre später ist eine Festplatte voll mit Dateien, die Sie längst haben. Dieses Werkzeug findet sie: wählen Sie einen Ordner, und es meldet jede Gruppe identischer Dateien, wie viele Kopien es gibt und wie viel Platz Sie zurückbekämen.

Identisch heißt Byte für Byte, nicht „sieht ähnlich aus". Zwei Fotos desselben Moments sind zwei verschiedene Dateien und werden nie als Duplikate gemeldet. Zwei Kopien derselben Datei schon — egal, wie sie heißen oder in welchem Unterordner sie liegen.

Der Ordner wird in Ihrem Browser gelesen. Nichts wird hochgeladen, und das Werkzeug hat ausschließlich Lesezugriff — es kann nichts löschen. Genau deshalb bekommen Sie eine Liste zum Prüfen statt einer stillen Aufräumaktion.

Wie zwei Dateien als gleich erkannt werden

Jede Datei mit jeder anderen zu vergleichen würde bei einem großen Ordner ewig dauern. Deshalb arbeitet das Werkzeug in drei Durchgängen und wirft bei jedem Arbeit weg.

• Zuerst die Größe. Zwei Dateien unterschiedlicher Länge können unmöglich identisch sein. Allein das schließt die überwiegende Mehrheit eines typischen Ordners aus und kostet nichts — die Größen sind ohnehin bekannt
• Dann die ersten 64 KB. Dateien gleicher Größe, die sich unterscheiden, tun das meist schon am Anfang — Kamera-JPEGs, aufgefüllte Archive, Dokumente aus einer Vorlage. Nur den Anfang zu hashen trennt sie, ohne den Rest zu lesen
• Dann die ganze Datei. Nur für die wenigen, die immer noch übereinstimmen, damit der teure Lesevorgang echte Kandidaten trifft und sonst nichts

Gehasht wird mit SHA-256 durch die eingebaute Kryptografie Ihres Browsers. Damit zwei verschiedene Dateien als Duplikate gemeldet würden, müssten sie sich einen 256-Bit-Fingerabdruck teilen — das kommt in der Praxis nicht vor.

So funktioniert es

• Klicken Sie auf Ordner wählen und suchen Sie den zu prüfenden Ordner aus. Ihr Browser fragt um Erlaubnis, ihn zu lesen
• Warten Sie die Durchgänge ab — der Fortschrittsbalken zeigt das Hashen, den langsamen Teil
• Lesen Sie die Gruppen. Jede zeigt die gefundenen Kopien, eine davon als zu behalten markiert
• Wählen Sie, welche Kopie bleibt — neueste, älteste, kürzester Pfad oder am nächsten am obersten Ordner
• Nehmen Sie das Ergebnis mit — Liste kopieren, CSV herunterladen oder ein Löschskript holen

Welche Kopie bleiben soll

Das Werkzeug entscheidet nie für Sie, welche Datei wichtig ist; es markiert nur eine pro Gruppe als Behalter, damit der Rest klar beschriftet ist.

• Neueste — die zuletzt geänderte Kopie behalten. Die übliche Wahl, wenn Sie an einer Stelle gearbeitet haben
• Älteste — das Original behalten. Nützlich, wenn Kopien von Software mit zurückgesetzten Zeitstempeln angelegt wurden
• Kürzester Pfad — die am wenigsten tief verschachtelte Kopie behalten, meist das „echte" Zuhause statt eines Backup-Ordners
• Am nächsten am obersten Ordner — behalten, was dem gewählten Ordner am nächsten liegt

Das Umschalten beschriftet die Gruppen nur neu. Es wird nicht neu gescannt, Sie können also sofort hin- und herwechseln.

Die Suche eingrenzen

• Dateien ignorieren unter (KB) — kleine Dateien überspringen. Ein Ordner mit Quellcode oder Vorschaubildern enthält Hunderte winziger identischer Dateien, die nur stören; stellen Sie 100 ein, um nur Lohnendes zu sehen
• Nur diese Typen — jpg, png für Fotos, mp4, mov für Video, pdf für Dokumente. Punkte optional, Groß- und Kleinschreibung egal

Dateien mit null Byte werden immer übersprungen. Jede leere Datei ist bytegleich mit jeder anderen leeren Datei — sie zu melden würde die echten Ergebnisse begraben.

Das Löschskript

Löschen ist das einzige wirklich Unumkehrbare hier, deshalb kommt das Skript mit jedem Löschbefehl auskommentiert. Sie öffnen es, lesen die Liste, entfernen bei den gewünschten Zeilen das REM (Windows) oder # (Mac und Linux) und führen es selbst aus. Vorher passiert nichts.

Das ist Absicht. Eine Webseite, die Dateien auf Ihrem PC löschen könnte, sobald Sie eine Schaltfläche anklicken, wäre keine gute Idee — egal wie sorgfältig der Code wäre. Diese hier kann es nicht, und der letzte Schritt gehört Ihnen.

Wofür man das braucht

• Platz auf einer Fotofestplatte zurückholen, die jahrelang zwischen Rechnern kopiert wurde
• Einen Download-Ordner voller datei (1).pdf, datei (2).pdf aufräumen
• Doppelte Musik aus mehreren Importen derselben Bibliothek finden
• Prüfen, ob ein Backup-Ordner eine zweite Kopie von etwas hält, das Sie nie gelöscht haben
• Herausfinden, was wirklich Platz belegt, bevor Sie eine größere Festplatte kaufen

Zwei Wege, wie Ihr Browser einen Ordner liest

Chrome, Edge und Opera haben eine echte Ordnerauswahl. Das Werkzeug durchläuft den Ordner selbst und liest die Bytes jeder Datei direkt über den Handle — der schnellste Weg und der einzige, der leere Unterordner sieht.

Firefox und Safari nutzen das ältere Ordner-Upload-Steuerelement. Der Browser übergibt alle Dateien des Baums auf einmal. Die Duplikaterkennung arbeitet genauso — jede Datei wird weiterhin in der Seite gelesen und gehasht — aber der gesamte Baum wird vorab geladen, sodass ein sehr großer Ordner länger braucht, bis es losgeht.

Gut zu wissen

• Nichts wird hochgeladen. Lesen und Hashen passieren beide in der Seite — Sie können den Netzwerk-Tab gern beobachten
• Das Werkzeug hat ausschließlich Lesezugriff. Es kann keine Datei anlegen, umbenennen, verschieben oder löschen
• Das Hashen liest jede Kandidatendatei, ein Ordner mit vielen großen gleich großen Dateien dauert also. Die Größen- und Anfangs-Durchgänge gibt es genau dafür, dass das selten bleibt
• Sehr große Ordner sind auf 200.000 Einträge begrenzt, damit die Seite nicht einfriert
• Dateien, die Ihr Browser nicht öffnen kann (gesperrt, in Benutzung oder in einem geschützten Systemordner), werden übersprungen statt falsch gemeldet
• Die CSV-Datei enthält eine Byte-Reihenfolge-Markierung, damit Umlaute und nichtlateinische Dateinamen in Excel korrekt erscheinen

Verwandte Werkzeuge

• Ordner- & Dateiliste — alles in einem Ordner auflisten und kopieren
• Zwei Ordner vergleichen — sehen, was sich zwischen zwei Ordnern unterscheidet
• Dateien stapelweise umbenennen — einen ganzen Ordner auf einmal umbenennen
• Hash-Generator — Prüfsumme für einen einzelnen Text oder eine Datei