重複ファイル検索ツールについて

重複は静かに積み上がります。念のためと写真フォルダをコピーし、ダウンロードが二重に走って請求書 (1).pdf が残り、バックアップを間違った場所に復元する。数年後、ドライブはすでに持っているファイルでいっぱいです。このツールはそれを見つけます。フォルダを選ぶだけで、同一のファイルの組をすべて報告し、いくつコピーがあるか、どれだけ容量が戻るかを示します。

同一とはバイト単位で同じという意味で、「似ている」ではありません。同じ瞬間を写した2枚の写真は別のファイルであり、重複として報告されることはありません。同じファイルのコピーは、名前が何であれ、どのサブフォルダにあれ、必ず報告されます。

フォルダはブラウザ内で読み取ります。アップロードはなく、ツールは読み取り専用です。削除できないからこそ、黙って消すのではなく確認用の一覧をお渡しします。

同一と判定する仕組み

すべてのファイルを総当たりで比較すると大きなフォルダでは終わりません。そこで3段階で進め、各段階で作業を捨てていきます。

まずサイズ。 長さの違うファイルが同一であることはあり得ません。これだけで一般的なフォルダの大半が除外され、しかも費用はゼロです（サイズはすでに分かっています）
次に先頭64KB。 サイズが同じでも中身が違うファイルは、たいてい先頭付近から異なります（カメラのJPEG、詰め物のあるアーカイブ、テンプレートから作った文書）。先頭だけをハッシュすれば、残りを読まずに切り分けられます
最後にファイル全体。 それでも一致する少数だけが対象なので、重い読み込みは本当の候補にしか発生しません

ハッシュはブラウザ内蔵の暗号機能による SHA-256 です。異なるファイルが重複と報告されるには256ビットのダイジェストが一致する必要があり、現実には起こりません。

使い方

［フォルダを選ぶ］を押して調べたいフォルダを指定します。ブラウザが読み取りの許可を尋ねます
処理の完了を待ちます — 進捗バーは時間のかかるハッシュ計算を表しています
グループを確認します。 それぞれに見つかったコピーと、残す1件が示されます
どのコピーを残すか選びます — 最新、最古、パスが短いもの、最上位フォルダに近いもの
結果を持ち出します — 一覧をコピー、CSVをダウンロード、または削除スクリプトを取得

どのコピーを残すか

どのファイルが大切かをツールが決めることはありません。ほかを分かりやすくするため、グループごとに1件を「残す」と印を付けるだけです。

最新のもの — 最後に更新されたコピーを残します。ひとつの場所で作業してきた場合の定番
最も古いもの — 元のファイルを残します。タイムスタンプを書き換えるソフトでコピーが作られた場合に有効
パスが短いもの — 階層の浅いコピーを残します。多くの場合、バックアップ用ではなく本来の置き場所です
最上位フォルダに近いもの — 選んだフォルダにいちばん近いものを残します

切り替えても表示の印が変わるだけで、再スキャンは行いません。いつでも即座に比べられます。

対象を絞り込む

この大きさ未満は無視（KB） — 小さなファイルを飛ばします。ソースコードやサムネイルのフォルダには意味のない同一の小ファイルが何百とあります。100 を指定すれば回収する価値のあるものだけを見られます
この形式だけ — 写真なら jpg, png、動画なら mp4, mov、書類なら pdf。ドットは省略可、大文字小文字は問いません

0バイトのファイルは常に除外されます。空のファイルはどれも互いにバイト単位で同一なので、報告すると本当の結果が埋もれてしまいます。

削除スクリプト

削除はここで唯一の取り返しのつかない操作なので、スクリプトはすべての削除行がコメントアウトされた状態で届きます。開いて一覧を読み、実行したい行から REM（Windows）または #（Mac・Linux）を外し、ご自身で実行してください。それまでは何も起こりません。

これは意図したものです。ボタンを押した瞬間にパソコンのファイルを削除できるウェブページは、コードがどれほど慎重でも良い考えではありません。だからこのページにはその機能がなく、最後の一歩はあなたのものです。

こんなときに

何年もパソコン間でコピーされてきた写真ドライブの容量を取り戻す
file (1).pdf、file (2).pdf だらけのダウンロードフォルダを整理する
同じライブラリを何度も取り込んで重複した音楽を見つける
消したはずのものの二重コピーをバックアップフォルダが抱えていないか確認する
大きなドライブを買う前に、実際に何が容量を食っているのか把握する

ブラウザがフォルダを読む2つの方法

Chrome・Edge・Opera には本来のフォルダ選択機能があります。ツール自身がフォルダを辿り、ハンドル経由で各ファイルのバイトを直接読みます。最も速く、空のサブフォルダを認識できる唯一の方法です。

Firefox・Safari では従来のフォルダアップロード機能を使います。ブラウザがツリー内の全ファイルを一度に渡します。重複判定の動作は同じで、各ファイルはページ内で読み取られハッシュされますが、ツリー全体を先に読み込むため、非常に大きなフォルダでは開始までに時間がかかります。

知っておきたいこと

アップロードは一切ありません。読み取りもハッシュ計算もページ内で完結します — ネットワークタブでご確認いただけます
ツールは読み取り専用です。作成も、名前変更も、移動も、削除も一切できません
ハッシュは候補ファイルをすべて読むため、同じサイズの大きなファイルが多いフォルダでは時間がかかります。サイズと先頭ハッシュの段階は、まさにそれを稀にするためにあります
非常に大きなフォルダはページが固まらないよう 200,000 件で打ち切ります
ブラウザが開けないファイル（ロック中、使用中、保護されたシステムフォルダ内）は、誤って報告せず除外します
CSVにはバイト順マークが付くので、日本語を含むファイル名も Excel で正しく開けます

重複ファイル検索