Dubbele rijen verwijderen

Over het verwijderen van dubbele rijen

De tekstversie van dit karwei vergelijkt hele regels, en voor een lijst e-mailadressen is dat precies goed. Een spreadsheet vraagt om iets anders.

In een echte tabel worden duplicaten bijna nooit door de hele rij bepaald. Twee exports van dezelfde bestelling zijn dezelfde bestelling, ook al draagt de een een later tijdstempel; twee records van dezelfde klant zijn dezelfde klant, ook al is het adres er tussendoor opgeschoond. Wat een rij tot duplicaat maakt zijn één of twee kolommen, niet alle.

Daarom zijn de sleutelkolommen hier de eerste knop en geen verstopte instelling. Vink aan welke bepalen wat "hetzelfde" betekent, en al het andere mag verschillen.

De keuzes die ertoe doen

• Welke kolommen — om te beginnen alle. Vink de kolommen uit die mogen variëren, zoals een tijdstempel of een notitieveld
• De eerste of de laatste houden — dit bepaalt welke versie overleeft als de andere kolommen verschillen. De laatste houden klopt meestal bij een export die alleen aanvult, waar de nieuwste rij de gecorrigeerde is
• Extra spaties negeren — standaard aan. " Acme BV" en "Acme BV" zijn voor iedereen hetzelfde bedrijf, behalve voor een tekstvergelijking
• Hoofdlettergevoelig — standaard uit, dus ACME en Acme gelden als één

Vink Toon in plaats daarvan de verwijderde rijen aan om precies te zien wat eruit zou gaan. Er verdwijnt niets stilletjes: het aantal staat altijd in beeld en de verwijderde rijen zijn één klik weg.

Zo gebruik je het

• Plak je rijen of upload een spreadsheet
• Vink elke kolom uit die tussen duplicaten mag verschillen
• Kies of de eerste of de laatste kopie overleeft
• Controleer het aantal, en werp een blik op de verwijderde rijen als het getal je verrast
• Download als CSV of Excel, of kopieer het meteen terug

Duplicaten die er niet uitzien als duplicaten

Rijen die een ontdubbeling overleven terwijl je verwachtte dat ze zouden verdwijnen, zijn meestal geen fout in de vergelijking. Het zijn twee tekenreeksen die op het scherm identiek zijn en in het geheugen niet.

De gebruikelijke schuldigen zijn onzichtbaar. Tekst die van een webpagina is gekopieerd draagt vaak een harde spatie in plaats van een gewone — zelfde breedte, ander teken. Een CSV uit een ouder systeem kan in een kolom achter elke waarde een spatie hebben staan. En een getal dat in Excel met een apostrof ervoor is getypt is tekst en geen getal, dus 1000 en 1000 kunnen echt verschillen.

Extra spaties negeren dekt de veelvoorkomende helft hiervan: het snoeit de uiteinden, trekt reeksen witruimte samen en behandelt een harde spatie als een spatie. Wat het bewust niet doet is leestekens weghalen of accenten gelijktrekken, want Muller en Müller zijn vaak genoeg verschillende mensen dat gokken slechter zou zijn dan het aan jou laten.

Als twee rijen elkaar nog steeds niet vinden, plak ze dan allebei in een kale teksteditor en kijk naar het eind van de waarden. Daar zit het verschil bijna altijd.

Waar mensen het voor gebruiken

• Een mailinglijst opschonen die uit meerdere exports is opgebouwd
• Herhaalde bestellingen of transacties weghalen na een dubbele import
• Een klantentabel samenvoegen waarin hetzelfde account tweemaal is ingevoerd
• Een enquête-export opruimen waarin mensen meer dan eens hebben ingestuurd
• Uitzoeken hoeveel duplicaten er werkelijk zijn voordat je iets besluit
• Een echte telling van unieke waarden voor een rapport krijgen

Goed om te weten

• Werkt op Windows, macOS, Linux, ChromeOS en op telefoons en tablets — het neemt geplakte tekst of een bestand aan, geen map
• Er wordt niets geüpload. Lezen en ontdubbelen gebeuren allebei in de pagina
• De rijvolgorde blijft behouden. De overlevende rijen komen terug in de volgorde waarin ze binnenkwamen, niet gesorteerd
• Vink je alle kolommen uit, dan valt het terug op de hele rij vergelijken, de veilige lezing van "geen kolom gekozen"
• Getallen worden vergeleken zoals ze geschreven zijn. Heeft het ene blad 1000 en het andere 1.000 als tekst, dan verschillen ze — gebruik Twee Excel-bestanden vergelijken als het je juist om dat onderscheid gaat
• De voorbeeldweergave toont de eerste 200 rijen; de download bevat er altijd alle

Gerelateerde hulpmiddelen

• Dubbele regels verwijderen — hetzelfde karwei voor een gewone tekstlijst
• Twee Excel-bestanden vergelijken — zien wat verschilt in plaats van het te verwijderen
• Groeperen en optellen — duplicaten samenvatten door ze op te tellen
• Twee lijsten vergelijken — wat in de ene lijst staat en niet in de andere