Recherche de fichiers en double

À propos de la recherche de doublons

Les doublons s'accumulent en silence. Vous copiez un dossier photos « au cas où », un téléchargement se lance deux fois et laisse facture (1).pdf, une sauvegarde est restaurée au mauvais endroit — et des années plus tard, un disque est plein de fichiers que vous possédez déjà. Cet outil les trouve : choisissez un dossier, et il signale chaque ensemble de fichiers identiques, combien de copies existent, et l'espace que vous récupéreriez.

Identique veut dire octet pour octet, pas « se ressemble ». Deux photos du même instant sont deux fichiers différents et ne seront jamais signalées comme doublons. Deux copies du même fichier le seront, quels que soient leurs noms et le sous-dossier où elles se trouvent.

Le dossier est lu dans votre navigateur. Rien n'est envoyé, et l'outil dispose d'un accès en lecture seule — il ne peut rien supprimer, et c'est précisément pour cela qu'il vous remet une liste à vérifier plutôt que de faire disparaître des fichiers en silence.

Comment il décide que deux fichiers sont identiques

Comparer chaque fichier à tous les autres prendrait un temps infini sur un gros dossier. L'outil procède donc en trois passes et jette du travail à chacune.

• La taille d'abord. Deux fichiers de longueurs différentes ne peuvent pas être identiques. À elle seule, cette passe élimine l'immense majorité d'un dossier ordinaire et ne coûte rien — les tailles sont déjà connues
• Puis les 64 premiers Ko. Les fichiers de même taille mais différents le sont généralement dès le début : JPEG d'appareil photo, archives complétées, documents issus d'un modèle. Hacher seulement le début les sépare sans lire le reste
• Puis le fichier entier. Uniquement pour les quelques-uns qui correspondent encore, si bien que la lecture coûteuse ne touche que de vrais candidats

L'empreinte est un SHA-256 calculé par la cryptographie intégrée à votre navigateur. Pour que deux fichiers différents soient signalés comme doublons, il faudrait qu'ils partagent une empreinte de 256 bits — cela n'arrive pas en pratique.

Comment l'utiliser

• Cliquez sur Choisir un dossier et sélectionnez celui à vérifier. Votre navigateur demandera l'autorisation de le lire
• Laissez les passes se terminer — la barre de progression couvre le hachage, la partie lente
• Lisez les groupes. Chacun montre les copies trouvées, avec celle à conserver signalée
• Choisissez la copie à garder — la plus récente, la plus ancienne, le chemin le plus court, ou la plus proche du dossier principal
• Repartez avec le résultat — copiez la liste, téléchargez un CSV, ou prenez un script de suppression

Choisir la copie à conserver

L'outil ne décide jamais à votre place quel fichier compte ; il marque simplement un exemplaire par groupe pour que les autres soient clairement étiquetés.

• La plus récente — garder la copie modifiée en dernier. Le choix habituel quand vous avez travaillé à un seul endroit
• La plus ancienne — garder l'original. Utile quand les copies ont été faites par un logiciel qui a réinitialisé les dates
• Chemin le plus court — garder celle dont le chemin est le moins profond, en général le « vrai » emplacement plutôt qu'un dossier de sauvegarde
• La plus proche du dossier principal — garder celle qui se trouve au plus près du dossier choisi

Changer ce réglage ne fait que réétiqueter les groupes. Aucune analyse n'est refaite : vous pouvez basculer instantanément.

Restreindre la recherche

• Ignorer les fichiers de moins de (Ko) — sauter les petits fichiers. Un dossier de code source ou de vignettes contient des centaines de minuscules fichiers identiques sans intérêt ; mettez 100 pour ne voir que ce qui vaut la peine
• Uniquement ces types — jpg, png pour les photos, mp4, mov pour la vidéo, pdf pour les documents. Points facultatifs, casse ignorée

Les fichiers de zéro octet sont toujours ignorés. Tout fichier vide est identique à tout autre fichier vide : les signaler noierait les vrais résultats.

Le script de suppression

La suppression est la seule action vraiment irréversible ici, aussi le script arrive avec chaque suppression mise en commentaire. Vous l'ouvrez, vous lisez la liste, vous retirez le REM (Windows) ou le # (Mac et Linux) devant les lignes que vous voulez vraiment, puis vous l'exécutez. Rien ne se passe avant.

C'est délibéré. Une page web capable de supprimer des fichiers sur votre PC dès que vous cliquez serait une mauvaise idée, si soigneux que soit le code. Celle-ci ne le peut pas, et le dernier geste vous appartient.

À quoi cela sert

• Récupérer de l'espace sur un disque de photos copié d'ordinateur en ordinateur pendant des années
• Nettoyer un dossier Téléchargements rempli de fichier (1).pdf, fichier (2).pdf
• Retrouver la musique dupliquée par plusieurs imports de la même bibliothèque
• Vérifier qu'un dossier de sauvegarde ne garde pas un second exemplaire de choses que vous n'avez jamais supprimées
• Comprendre ce qui prend réellement de la place avant d'acheter un disque plus grand

Deux façons pour un navigateur de lire un dossier

Chrome, Edge et Opera proposent un vrai sélecteur de dossier. L'outil parcourt lui-même le dossier et lit les octets de chaque fichier directement : c'est la voie la plus rapide, et la seule qui voie les sous-dossiers vides.

Firefox et Safari utilisent l'ancien contrôle d'envoi de dossier. Le navigateur livre tous les fichiers de l'arborescence d'un coup. La détection fonctionne exactement pareil — chaque fichier est toujours lu et haché dans la page — mais toute l'arborescence est chargée d'abord, si bien qu'un très gros dossier met plus longtemps à démarrer.

Bon à savoir

• Rien n'est envoyé. La lecture et le hachage se font tous deux dans la page — surveillez l'onglet réseau si vous le souhaitez
• L'outil dispose d'un accès en lecture seule. Il ne peut créer, renommer, déplacer ni supprimer le moindre fichier
• Le hachage lit chaque fichier candidat : un dossier comportant beaucoup de gros fichiers de même taille prend du temps. Les passes taille et début existent précisément pour que ce cas reste rare
• Les très gros dossiers sont plafonnés à 200 000 éléments pour que la page ne se fige pas
• Les fichiers que votre navigateur ne peut pas ouvrir (verrouillés, en cours d'utilisation, ou dans un dossier système protégé) sont ignorés plutôt que mal signalés
• Le CSV comporte une marque d'ordre des octets, pour que les noms accentués ou non latins s'ouvrent correctement dans Excel

Outils associés

• Liste de dossiers et fichiers — lister tout un dossier et le copier
• Comparer deux dossiers — voir ce qui diffère entre deux dossiers
• Renommer des fichiers en masse — renommer un dossier entier d'un coup
• Générateur de hash — somme de contrôle d'un texte ou d'un fichier