Doppelte Datensätze entfernen

Über das Entfernen doppelter Zeilen

Die Textvariante dieser Aufgabe vergleicht ganze Zeilen, und für eine Liste von E-Mail-Adressen ist das genau richtig. Eine Tabelle braucht etwas anderes.

In einer echten Tabelle werden Duplikate fast nie durch die ganze Zeile bestimmt. Zwei Exporte derselben Bestellung sind dieselbe Bestellung, auch wenn einer einen späteren Zeitstempel trägt; zwei Datensätze zum selben Kunden sind derselbe Kunde, auch wenn zwischendurch die Adresse bereinigt wurde. Was eine Zeile zum Duplikat macht, sind ein oder zwei Spalten, nicht alle.

Deshalb sind die Schlüsselspalten hier das erste Bedienelement und keine versteckte Einstellung. Wählen Sie die aus, die bestimmen, was „gleich" bedeutet — alles andere darf sich unterscheiden.

Die Entscheidungen, auf die es ankommt

• Welche Spalten — zu Beginn alle. Wählen Sie die ab, die schwanken dürfen, etwa ein Zeitstempel oder ein Notizfeld
• Erste oder letzte behalten — das entscheidet, welche Fassung überlebt, wenn die übrigen Spalten abweichen. Bei einem rein anhängenden Export ist meist die letzte richtig, weil die neueste Zeile die korrigierte ist
• Zusätzliche Leerzeichen ignorieren — standardmäßig an. " Acme GmbH" und "Acme GmbH" sind für jeden dieselbe Firma, außer für einen Zeichenkettenvergleich
• Groß-/Kleinschreibung beachten — standardmäßig aus, ACME und Acme gelten also als eines

Mit Stattdessen die entfernten Zeilen anzeigen sehen Sie genau, was wegfallen würde. Nichts verschwindet stillschweigend: Die Anzahl steht immer auf dem Bildschirm, und die entfernten Zeilen sind einen Klick entfernt.

So wird es benutzt

• Zeilen einfügen oder eine Tabelle hochladen
• Jede Spalte abwählen, die sich zwischen Duplikaten unterscheiden darf
• Wählen, ob die erste oder die letzte Fassung überlebt
• Die Anzahl prüfen und einen Blick auf die entfernten Zeilen werfen, falls die Zahl überrascht
• Als CSV oder Excel herunterladen oder direkt zurückkopieren

Duplikate, die nicht wie Duplikate aussehen

Zeilen, die eine Bereinigung überstehen, obwohl Sie sie erwartungsgemäß loswerden wollten, sind meist kein Fehler im Vergleich. Es sind zwei Zeichenketten, die auf dem Bildschirm identisch aussehen und es im Speicher nicht sind.

Die üblichen Verursacher sind unsichtbar. Aus einer Webseite kopierter Text enthält oft ein geschütztes Leerzeichen statt eines gewöhnlichen — gleiche Breite, anderes Zeichen. Eine CSV aus einem älteren System kann in einer Spalte hinter jedem Wert ein Leerzeichen stehen haben. Und eine in Excel mit führendem Apostroph eingegebene Zahl ist Text und keine Zahl, 1000 und 1000 können sich also tatsächlich unterscheiden.

Zusätzliche Leerzeichen ignorieren deckt die häufigere Hälfte davon ab: Es schneidet die Enden ab, fasst Folgen von Leerraum zusammen und behandelt ein geschütztes Leerzeichen wie ein normales. Was es bewusst nicht tut, ist Satzzeichen zu entfernen oder Akzente zu vereinheitlichen, denn Muller und Müller sind oft genug verschiedene Personen, sodass Raten schlimmer wäre, als es Ihnen zu überlassen.

Wenn zwei Zeilen sich weiterhin nicht treffen, fügen Sie beide in einen einfachen Texteditor ein und sehen Sie sich die Enden der Werte an. Dort steckt der Unterschied fast immer.

Wofür es genutzt wird

• Einen Verteiler bereinigen, der aus mehreren Exporten zusammengestellt wurde
• Wiederholte Bestellungen oder Buchungen nach einem doppelten Import entfernen
• Eine Kundentabelle zusammenführen, in der dasselbe Konto zweimal angelegt wurde
• Einen Umfrage-Export aufräumen, bei dem Personen mehrfach geantwortet haben
• Herausfinden, wie viele Duplikate es überhaupt gibt, bevor irgendetwas entschieden wird
• Eine echte eindeutige Anzahl für einen Bericht bekommen

Gut zu wissen

• Läuft unter Windows, macOS, Linux und ChromeOS sowie auf Handys und Tablets — es nimmt eingefügten Text oder eine Datei entgegen, keinen Ordner
• Nichts wird hochgeladen. Lesen und Bereinigen geschehen beide auf der Seite
• Die Zeilenreihenfolge bleibt erhalten. Die verbleibenden Zeilen kommen in der Reihenfolge zurück, in der sie kamen, nicht sortiert
• Wählen Sie alle Spalten ab, wird wieder die ganze Zeile verglichen — die sichere Auslegung von „keine Spalte gewählt"
• Zahlen werden so verglichen, wie sie geschrieben sind. Steht in einer Tabelle 1000 und in der anderen 1.000 als Text, sind sie verschieden — nutzen Sie dafür Zwei Excel-Dateien vergleichen
• Die Vorschau zeigt die ersten 200 Zeilen; der Download enthält immer alle

Verwandte Werkzeuge

• Doppelte Zeilen entfernen — dieselbe Aufgabe für eine einfache Textliste
• Zwei Excel-Dateien vergleichen — sehen, was sich unterscheidet, statt es zu entfernen
• Gruppieren und summieren — Duplikate stattdessen durch Summieren zusammenfassen
• Zwei Listen vergleichen — was in der einen Liste steht und in der anderen nicht