重複レコードを削除

重複行の削除について

この作業のテキスト版は行全体を比較します。メールアドレスの一覧であれば、それがまさに正解です。しかし表計算には別のものが必要です。

実際の表では、重複が行全体で決まることはほとんどありません。同じ注文を2回書き出したものは、片方のタイムスタンプが新しくても同じ注文です。同じ顧客の2件のレコードは、その間に住所が整理されていても同じ顧客です。行を重複たらしめるのは1つか2つの列であって、すべての列ではありません。

そのためここではキーとなる列が、隠れた設定ではなく最初の操作項目になっています。「同じ」の意味を決める列にチェックを入れれば、それ以外はすべて異なっていてかまいません。

重要な選択

• どの列か — 最初はすべてが対象です。タイムスタンプや備考欄など、変動してよい列のチェックを外します
• 最初と最後のどちらを残すか — 他の列が異なる場合にどちらの版が残るかを決めます。追記のみのエクスポートでは、最新の行が修正済みのものなので、通常は最後を残すのが適切です
• 余分な空白を無視 — 既定でオンです。" Acme株式会社" と "Acme 株式会社" は、文字列比較を除く誰にとっても同じ会社です
• 大文字と小文字を区別 — 既定でオフなので、ACME と Acme は同一として扱われます

代わりに削除された行を表示にチェックを入れると、何が取り除かれるのかを正確に確認できます。黙って捨てられるものはありません。件数は常に画面に表示され、削除された行はクリック1回で見られます。

使い方

• 行を貼り付けるか、表計算ファイルをアップロードします
• 重複同士で異なっていてよい列のチェックを外します
• 最初と最後のどちらの版を残すかを選びます
• 件数を確認し、数が意外であれば削除された行に目を通します
• CSVまたはExcelでダウンロードするか、そのままコピーして戻します

重複に見えない重複

消えるはずだと思っていた行が残ってしまうのは、たいてい照合の不具合ではありません。画面上は同一に見えて、内部では同一でない2つの文字列があるのです。

犯人はいつも目に見えません。ウェブページからコピーした文字列には、通常の空白の代わりにノーブレークスペースが紛れていることがよくあります。幅は同じでも別の文字です。古いシステムから出たCSVでは、ある列の値すべての末尾に空白が付いていることがあります。またExcelで先頭にアポストロフィを付けて入力した数値は数値ではなく文字列なので、1000 と 1000 が本当に違うということが起こります。

余分な空白を無視は、このうちよくある半分を引き受けます。前後を切り詰め、連続する空白をまとめ、ノーブレークスペースを空白として扱います。あえてしないのは、句読点を取り除くことやアクセント記号をならすことです。Muller と Müller が別人であることは十分に多く、推測するより判断をお任せするほうが安全だからです。

それでも2つの行が一致しない場合は、両方をプレーンテキストのエディターに貼り付けて、値の末尾を見てください。違いはほぼ必ずそこにあります。

こんな場面で使われています

• 複数のエクスポートから作った配信リストを整理する
• 二重に取り込んだあとの、重複した注文や取引を取り除く
• 同じ取引先が2回登録された顧客表をまとめる
• 同じ人が複数回回答したアンケートの書き出しを整える
• 何かを決める前に、重複が実際にいくつあるのかを把握する
• レポート用に本当の一意件数を得る

知っておくと便利なこと

• Windows・macOS・Linux・ChromeOS、スマートフォンやタブレットでも動きます。 受け取るのは貼り付けたテキストかファイルで、フォルダーではありません
• アップロードは行いません。読み取りも重複除去もページ内で完結します
• 行の並び順は保たれます。残った行は並べ替えられず、届いた順のまま返ります
• すべての列のチェックを外すと行全体での比較に戻ります。これが「列が選ばれていない」場合の安全な解釈です
• 数値は書かれたとおりに比較されます。一方のシートが 1000、もう一方が文字列の 1,000 であれば別物です。その違いを追いたい場合は2つのExcelファイルを比較をお使いください
• プレビューには最初の200行が表示されますが、ダウンロードには常にすべての行が含まれます

関連ツール

• 重複行を削除 — ただのテキスト一覧に対する同じ作業
• 2つのExcelファイルを比較 — 取り除くのではなく、違いを確かめる
• グループごとに集計 — 重複を削除せず合計してまとめる
• 2つのリストを比較 — 一方のリストにあって他方にないもの