Rimuovere record duplicati

Informazioni su questo strumento

La versione testuale di questo lavoro confronta righe intere, e per un elenco di indirizzi email è esattamente ciò che serve. Un foglio di calcolo ha bisogno di altro.

In una tabella vera i duplicati non sono quasi mai definiti dall'intera riga. Due export dello stesso ordine sono lo stesso ordine anche se uno porta un orario più recente; due schede dello stesso cliente sono lo stesso cliente anche se nel frattempo l'indirizzo è stato sistemato. Ciò che rende una riga un duplicato sono una o due colonne, non tutte.

Per questo le colonne chiave sono qui il primo comando e non un'impostazione nascosta. Spunta quelle che decidono che cosa significa «uguale», e tutto il resto può differire.

Le scelte che contano

• Quali colonne — all'inizio tutte. Togli la spunta a quelle che possono variare, come un orario o un campo note
• Tenere la prima o l'ultima — decide quale versione sopravvive quando le altre colonne differiscono. Tenere l'ultima è di solito giusto per un export a sola aggiunta, dove la riga più recente è quella corretta
• Ignorare gli spazi in più — attivo per impostazione predefinita. " Acme Srl" e "Acme Srl" sono la stessa azienda per chiunque tranne che per un confronto tra stringhe
• Distinguere maiuscole e minuscole — disattivo per impostazione predefinita, quindi ACME e Acme contano come uno solo

Spunta Mostrare invece le righe rimosse per vedere esattamente che cosa verrebbe scartato. Niente viene buttato in silenzio: il conteggio è sempre sullo schermo e le righe rimosse sono a un clic di distanza.

Come si usa

• Incolla le tue righe oppure carica un foglio di calcolo
• Togli la spunta a ogni colonna che può differire tra duplicati
• Scegli se sopravvive la prima o l'ultima copia
• Controlla il conteggio e dai un'occhiata alle righe rimosse se il numero ti sorprende
• Scarica in CSV o Excel, oppure ricopialo direttamente

Duplicati che non sembrano duplicati

Le righe che sopravvivono a una deduplicazione quando ti aspettavi che sparissero di solito non sono un difetto del confronto. Sono due stringhe identiche sullo schermo e diverse in memoria.

I colpevoli soliti sono invisibili. Il testo copiato da una pagina web porta spesso uno spazio unificatore al posto di uno normale — stessa larghezza, carattere diverso. Un CSV uscito da un sistema datato può avere uno spazio finale dopo ogni valore di una colonna. E un numero digitato in Excel con un apostrofo iniziale è testo e non numero, quindi 1000 e 1000 possono davvero differire.

Ignorare gli spazi in più copre la metà più comune del problema: taglia le estremità, riduce le sequenze di spazi e tratta uno spazio unificatore come uno spazio. Ciò che deliberatamente non fa è togliere la punteggiatura o normalizzare gli accenti, perché Muller e Müller sono persone diverse abbastanza spesso da rendere l'indovinare peggiore che lasciarlo a te.

Se due righe continuano a non combaciare, incollale entrambe in un editor di testo semplice e guarda la fine dei valori. La differenza è quasi sempre lì.

A cosa serve

• Ripulire una lista di distribuzione costruita da più export
• Togliere ordini o transazioni ripetuti dopo un doppio import
• Unificare una tabella clienti in cui lo stesso conto è stato inserito due volte
• Sistemare un export di sondaggio in cui qualcuno ha risposto più di una volta
• Scoprire quanti duplicati ci sono davvero prima di decidere qualsiasi cosa
• Ottenere un vero conteggio di valori unici per un rapporto

Buono a sapersi

• Funziona su Windows, macOS, Linux, ChromeOS e su telefoni e tablet — accetta testo incollato o un file, non una cartella
• Niente viene caricato. Lettura e deduplicazione avvengono entrambe nella pagina
• L'ordine delle righe è preservato. Le righe superstiti tornano nell'ordine in cui sono arrivate, non ordinate
• Togli la spunta a ogni colonna e si torna a confrontare l'intera riga, l'interpretazione prudente di «nessuna colonna scelta»
• I numeri vengono confrontati così come sono scritti. Se un foglio ha 1000 e l'altro 1.000 come testo, sono diversi — usa Confronta due file Excel se è questa la distinzione che cerchi
• L'anteprima mostra le prime 200 righe; il download le contiene sempre tutte

Strumenti correlati

• Rimuovere righe duplicate — lo stesso lavoro per un semplice elenco di testo
• Confronta due file Excel — vedere che cosa differisce invece di rimuoverlo
• Raggruppare e sommare — raggruppare i duplicati sommandoli
• Confronta due elenchi — che cosa c'è in un elenco e non nell'altro