CSV 중복 제거, 어떤 행을 남길지 먼저 정하세요
중복을 지우기 전에 딱 두 가지만 정하면 됩니다. 어느 열이 같으면 중복인지, 그리고 첫 행과 마지막 행 중 무엇을 남길지입니다.
customer_id,name,grade
C001,김민수,일반
C002,이서연,VIP
C001,김민수,VIP행 전체는 서로 다르지만 고객번호만 보면 C001이 두 번 있습니다. 최신 등급을 남기려는 작업이라면 마지막 C001을 남겨야겠죠.
그래서 “중복 제거”만 보고 바로 삭제하면 안 됩니다. 기준 열과 남길 행을 먼저 고른 뒤 결과를 미리 보는 편이 좋습니다.
삭제 전에 몇 줄만 먼저 눈으로 확인하세요
고객번호가 같은 두 행 중 어느 쪽을 남길지 애매하다면 바로 지우지 마세요. 날짜나 수정시간 열이 있다면 최신 행을 남길지, 처음 등록한 행을 남길지 먼저 정합니다.
C001,김민수,일반,2026-09-01
C001,김민수,VIP,2026-09-12최신 정보를 남기는 작업이라면 두 번째 행이 남아야 합니다.
같아 보이는 값도 공백 때문에 다를 수 있습니다
C001과 C001 은 화면에서 거의 똑같아 보여도 다른 문자열입니다. 고객번호나 이메일을 기준으로 중복을 찾는다면 앞뒤 공백을 먼저 정리하는 게 좋습니다.
원본 파일은 그대로 두고, 중복을 제거한 결과는 새 파일로 저장하세요.
‘중복’보다 먼저 정할 것은 남길 기준입니다
예를 들어 같은 고객번호 C1024가 세 번 있고 수정일이 각각 2026-09-01, 2026-09-05, 2026-09-08이라면 무조건 첫 행을 남길지, 가장 최근 행을 남길지에 따라 결과가 달라집니다. 이메일이 같아도 배송지가 다른 기록이라면 실제로는 삭제하면 안 되는 데이터일 수도 있습니다.
따라서 ‘고객번호가 같으면 중복’처럼 기준 열과 남길 규칙을 먼저 한 문장으로 적어두세요. 삭제 버튼부터 누르면 어떤 행이 사라졌는지 확인하기 어렵습니다.
안전하게 중복을 정리하는 순서
- 원본 파일을 복사해 작업본을 만듭니다.
- 중복 판단 열을 하나 또는 여러 개 정합니다. 예: 고객번호 + 상품코드.
- 앞뒤 공백과 대소문자 차이가 중복 판단에 영향을 주는지 확인합니다.
- 몇 건을 직접 비교해 남길 행 규칙이 맞는지 봅니다.
- 정리 후 전체 행 수와 제거된 행 수를 기록합니다.
예상보다 너무 많은 행이 지워졌다면 저장하지 말고 기준 열부터 다시 확인하세요. 특히 빈 값이 많은 열을 중복 기준으로 잡으면 서로 다른 행이 같은 값으로 묶일 수 있습니다.
중복 제거 전 함께 점검할 데이터
중복을 지우기 전에 공백과 열 구조가 일정한지 먼저 확인해보세요.
삭제 전에 남길 행을 표시해보세요
중복 제거에서 어려운 부분은 같은 값을 찾는 것이 아니라 어떤 행을 남길지 결정하는 일입니다. 고객번호가 같아도 주소나 상태, 수정일이 다를 수 있습니다. 최신 수정일을 남길지, 정상 상태를 우선할지, 값이 더 많이 채워진 행을 남길지 규칙을 먼저 적어두세요.
| 업무 | 중복 기준 | 남길 행 |
|---|---|---|
| 고객 목록 | 고객번호 | 최근 수정일 |
| 상품 목록 | 상품코드 | 승인 상태 |
| 메일 목록 | 이메일 | 수신 동의 확인 행 |
기준을 적용하기 전에 앞뒤 공백, 하이픈, 대소문자와 빈 값을 정리한 비교용 열을 만듭니다. 원본 열을 덮어쓰면 서로 다른 값이 왜 합쳐졌는지 추적하기 어렵습니다. 중복 후보를 별도 파일로 내보내 사람이 확인한 뒤 삭제하는 방식도 좋습니다.
검산할 때는 작업 전 행 수 - 제거 행 수 = 작업 후 행 수가 맞는지 확인합니다. 고유 키의 개수와 결과 행 수도 비교하고, 제거된 행 중 일부를 골라 남은 행에 필요한 정보가 보존됐는지 확인하세요.
여러 열을 묶은 기준에는 구분자를 주의하세요
주문번호와 상품코드처럼 두 열의 조합이 고유 기준이라면 각각의 열을 함께 비교하는 기능을 사용합니다. 값을 단순히 붙여 만든 보조키는 12와 34, 1과 234가 모두 1234가 되는 충돌을 만들 수 있습니다. 구분자를 넣거나 여러 조건을 직접 비교하세요.
삭제 후에는 제거된 행 목록을 별도로 보관합니다. 잘못 합쳐진 고객이나 주문이 발견됐을 때 원래 값을 되돌릴 수 있어야 합니다. 작업 일자, 사용한 중복 기준과 남길 행 규칙을 파일명이나 작업 기록에 남기면 다음 갱신 때 같은 판단을 반복할 수 있습니다.
정기 작업이라면 같은 규칙을 재사용하세요
매달 들어오는 파일을 정리한다면 중복 기준, 정렬 순서와 남길 행 규칙을 문서로 고정합니다. 담당자가 바뀔 때마다 기준이 달라지면 같은 고객이나 주문이 서로 다른 방식으로 정리됩니다.
새 파일에 규칙을 적용하기 전 열 이름과 데이터 형식이 이전과 같은지 확인하고, 제거율이 평소보다 크게 달라지면 원본 변경이나 매핑 오류부터 살펴보세요.
자주 묻는 질문
중복은 무조건 첫 행을 남기면 되나요?
아닙니다. 최신 수정일, 상태, 원본 우선순위처럼 어떤 행을 남길지 기준을 먼저 정해야 합니다.
빈 값도 중복으로 잡힐 수 있나요?
중복 제거 도구나 프로그램의 규칙에 따라 빈 값이 같은 값으로 묶일 수 있으므로 빈 값이 많은 열은 주의하세요.
공백이 붙은 값은 같은 값인가요?
눈에는 같아 보여도 문자열로는 다를 수 있습니다. 앞뒤 공백을 확인한 뒤 중복을 판단하세요.