중복 행 제거

중복 행을 없애는 일에 대하여

이 일의 텍스트판은 줄 전체를 비교합니다. 이메일 주소 목록이라면 그것이 정확히 맞는 방식입니다. 그러나 스프레드시트에는 다른 것이 필요합니다.

실제 표에서 중복이 행 전체로 정해지는 경우는 거의 없습니다. 같은 주문을 두 번 내보낸 것은 한쪽의 시각이 더 늦더라도 같은 주문입니다. 같은 고객의 두 레코드는 그사이 주소가 정리되었더라도 같은 고객입니다. 행을 중복으로 만드는 것은 한두 개의 열이지 전부가 아닙니다.

그래서 여기서는 키가 되는 열이 숨은 설정이 아니라 첫 번째 조작 항목입니다. '같다'의 뜻을 정하는 열에 체크하면 나머지는 모두 달라도 됩니다.

중요한 선택들

• 어떤 열인가 — 처음에는 전부입니다. 시각이나 메모란처럼 달라져도 되는 열은 체크를 해제하세요
• 첫 번째를 남길지 마지막을 남길지 — 다른 열이 다를 때 어느 판이 살아남을지를 정합니다. 덧붙이기만 하는 내보내기라면 가장 최근 행이 고쳐진 것이므로 보통 마지막을 남기는 편이 맞습니다
• 여분의 공백 무시 — 기본으로 켜져 있습니다. " Acme 주식회사"와 "Acme 주식회사"는 문자열 비교를 빼면 누가 봐도 같은 회사입니다
• 대소문자 구분 — 기본으로 꺼져 있어 ACME와 Acme는 하나로 봅니다

대신 제거된 행 보기에 체크하면 무엇이 빠지게 되는지 정확히 볼 수 있습니다. 조용히 버려지는 것은 없습니다. 개수는 늘 화면에 있고, 제거된 행은 한 번의 클릭 거리에 있습니다.

사용 방법

• 행을 붙여 넣거나 스프레드시트를 올립니다
• 중복 사이에서 달라도 되는 열은 체크를 해제합니다
• 첫 번째와 마지막 중 어느 사본이 살아남을지 고릅니다
• 개수를 확인하고, 숫자가 뜻밖이면 제거된 행을 한 번 훑어봅니다
• CSV나 엑셀로 내려받거나 곧바로 복사해 돌려놓습니다

중복처럼 보이지 않는 중복

없어질 줄 알았던 행이 정리 후에도 남아 있다면, 대개 비교의 결함이 아닙니다. 화면에서는 똑같아 보이지만 메모리에서는 같지 않은 두 문자열이 있는 것입니다.

흔한 범인은 눈에 보이지 않습니다. 웹 페이지에서 복사한 글에는 보통 공백 대신 줄바꿈 없는 공백이 섞여 들어옵니다. 너비는 같지만 다른 글자입니다. 오래된 시스템에서 나온 CSV는 어떤 열의 모든 값 끝에 공백이 붙어 있기도 합니다. 그리고 엑셀에서 작은따옴표를 앞에 붙여 입력한 숫자는 숫자가 아니라 텍스트라, 1000과 1000이 정말로 다를 수 있습니다.

여분의 공백 무시는 이 가운데 흔한 절반을 맡습니다. 양끝을 다듬고, 이어진 공백을 하나로 줄이며, 줄바꿈 없는 공백을 공백으로 봅니다. 일부러 하지 않는 일은 문장 부호를 떼거나 발음 부호를 고르게 만드는 것입니다. Muller와 Müller가 다른 사람인 경우가 충분히 많아서, 짐작하는 편이 당신에게 맡기는 편보다 나쁘기 때문입니다.

그래도 두 행이 맞물리지 않으면 둘 다 일반 텍스트 편집기에 붙여 넣고 값의 끝을 보세요. 차이는 거의 언제나 거기에 있습니다.

이런 데 쓰입니다

• 여러 번의 내보내기로 만든 메일링 리스트 정리하기
• 두 번 가져오기 뒤에 겹친 주문이나 거래 걷어내기
• 같은 계정이 두 번 등록된 고객 표 합치기
• 같은 사람이 여러 번 응답한 설문 내보내기 다듬기
• 무엇을 정하기 전에 중복이 실제로 몇 건인지 알아보기
• 보고서를 위한 진짜 고유 건수 얻기

알아두면 좋은 점

• Windows, macOS, Linux, ChromeOS는 물론 휴대폰과 태블릿에서도 동작합니다. 붙여 넣은 텍스트나 파일을 받으며, 폴더는 받지 않습니다
• 업로드는 없습니다. 읽기와 중복 제거 모두 페이지 안에서 이루어집니다
• 행 순서는 유지됩니다. 살아남은 행은 정렬되지 않고 들어온 순서 그대로 돌아옵니다
• 모든 열의 체크를 해제하면 행 전체 비교로 돌아갑니다. '고른 열이 없다'에 대한 안전한 해석입니다
• 숫자는 적힌 그대로 비교합니다. 한쪽 시트가 1000이고 다른 쪽이 텍스트 1,000이라면 서로 다릅니다 — 그 구분을 쫓고 있다면 두 엑셀 파일 비교를 쓰세요
• 미리보기는 처음 200행을 보여 주지만, 내려받는 파일에는 항상 전부 들어 있습니다

관련 도구

• 중복 줄 제거 — 단순 텍스트 목록을 위한 같은 작업
• 두 엑셀 파일 비교 — 지우는 대신 무엇이 다른지 보기
• 그룹별 합계 — 중복을 지우지 않고 합계로 묶기
• 두 목록 비교 — 한 목록에는 있고 다른 목록에는 없는 것