Remover registos duplicados

Sobre remover linhas duplicadas

A versão em texto deste trabalho compara linhas inteiras e, para uma lista de endereços de email, é exatamente o correto. Uma folha de cálculo precisa de outra coisa.

Numa tabela a sério, os duplicados quase nunca são definidos pela linha inteira. Duas exportações da mesma encomenda são a mesma encomenda ainda que uma tenha uma data posterior; dois registos do mesmo cliente são o mesmo cliente ainda que a morada tenha sido corrigida pelo meio. O que torna uma linha duplicada são uma ou duas colunas, não todas.

Por isso as colunas-chave são aqui o primeiro controlo, e não uma definição escondida. Marque as que decidem o que significa «igual», e tudo o resto pode diferir.

As escolhas que contam

• Que colunas — todas para começar. Desmarque as que podem variar, como uma data/hora ou um campo de notas
• Manter a primeira ou a última — isto decide que versão sobrevive quando as outras colunas diferem. Manter a última costuma ser o correto numa exportação que só acrescenta, em que a linha mais recente é a corrigida
• Ignorar espaços a mais — ligado por omissão. " Acme Lda" e "Acme Lda" são a mesma empresa para toda a gente exceto para uma comparação de texto
• Distinguir maiúsculas — desligado por omissão, por isso ACME e Acme contam como um

Marque Mostrar antes as linhas removidas para ver exatamente o que seria descartado. Nada é deitado fora em silêncio: a contagem está sempre no ecrã e as linhas removidas ficam a um clique.

Como se usa

• Cole as suas linhas ou carregue uma folha de cálculo
• Desmarque qualquer coluna que possa diferir entre duplicados
• Escolha se sobrevive a primeira ou a última cópia
• Confira a contagem e dê uma olhadela às linhas removidas se o número o surpreender
• Descarregue em CSV ou Excel, ou copie-o diretamente de volta

Duplicados que não parecem duplicados

As linhas que sobrevivem a uma limpeza quando esperava que saíssem não são, em regra, uma falha da comparação. São duas cadeias idênticas no ecrã e diferentes na memória.

Os culpados do costume são invisíveis. O texto copiado de uma página web traz muitas vezes um espaço inquebrável em vez de um normal — mesma largura, carácter diferente. Um CSV saído de um sistema antigo pode ter um espaço final depois de cada valor de uma coluna. E um número escrito no Excel com um apóstrofo à frente é texto e não número, por isso 1000 e 1000 podem mesmo diferir.

Ignorar espaços a mais trata da metade mais comum disto: apara as pontas, junta as sequências de espaços e trata um espaço inquebrável como um espaço. O que deliberadamente não faz é tirar pontuação nem normalizar acentos, porque Muller e Müller são pessoas diferentes vezes suficientes para que adivinhar fosse pior do que deixá-lo consigo.

Se duas linhas continuarem a não encaixar, cole ambas num editor de texto simples e olhe para o fim dos valores. A diferença está quase sempre lá.

Para que serve

• Limpar uma lista de contactos montada a partir de várias exportações
• Retirar encomendas ou transações repetidas depois de uma importação a dobrar
• Unificar uma tabela de clientes em que a mesma conta foi criada duas vezes
• Arrumar uma exportação de inquérito em que houve quem respondesse mais do que uma vez
• Descobrir quantos duplicados existem de facto antes de decidir seja o que for
• Obter uma contagem de valores únicos verdadeira para um relatório

Bom saber

• Funciona em Windows, macOS, Linux, ChromeOS, e em telemóveis e tablets — aceita texto colado ou um ficheiro, não uma pasta
• Nada é enviado. Tanto a leitura como a limpeza acontecem na página
• A ordem das linhas é preservada. As linhas sobreviventes voltam pela ordem em que chegaram, não ordenadas
• Se desmarcar todas as colunas, volta a comparar a linha inteira, que é a leitura segura de «nenhuma coluna escolhida»
• Os números são comparados tal como estão escritos. Se uma folha tem 1000 e a outra 1 000 em texto, são diferentes — use Comparar dois ficheiros Excel se for essa a distinção que procura
• A pré-visualização mostra as primeiras 200 linhas; o ficheiro descarregado contém sempre todas

Ferramentas relacionadas

• Remover linhas duplicadas — o mesmo trabalho para uma simples lista de texto
• Comparar dois ficheiros Excel — ver o que difere em vez de o remover
• Agrupar e somar — juntar os duplicados somando-os
• Comparar duas listas — o que está numa lista e não na outra