시험 직전 요약장

삭제는 여러 선택지 중 하나일 뿐 기본값이 아니다. 오류 제거가 특정 집단의 데이터를 더 많이 없애는지 확인하지 않으면 표본 구성이 달라져 분석 결과가 편향될 수 있다.

검증은 문제를 찾는 활동이고 정제는 발견된 문제를 처리하는 활동이지만 실제 파이프라인에서는 반복해서 수행된다. 변수 변환은 올바른 값을 분석에 적합한 표현으로 바꾸는 것이므로 오류 수정과 목적이 다르다.

정제 후 행 수가 줄었다는 사실만으로 품질이 좋아졌다고 판단할 수 없다. 다음 항목을 정제 전후에 함께 비교한다.

• 전체 행 수, 업무 키의 고유 개수, 중복 건수
• 필수 열의 결측 건수와 규칙 위반 건수
• 범주별 빈도, 최솟값·최댓값, 분포 변화
• 금액·수량 등의 통제 합계와 원천 시스템 합계
• 외래키 등 참조 무결성 위반 건수
• 수정·병합·격리·제외·재수집 건수

유효성 비율은 다음처럼 정의할 수 있다.

• $N$: 검사 대상 값 수이며 $N>0$이어야 한다.
• $V$: 유효성 규칙을 만족한 값 수이며 $0 \le V \le N$이다.
• 결과 범위는 0% 이상 100% 이하이다.
• $N=0$이면 0%라고 계산하지 않고 해당 없음(N/A)으로 보고한다.

정상 예: 날짜 10,000개 중 9,982개가 규칙을 만족하면 유효성 비율은 $9{,}982 / 10{,}000 \times 100 = 99.82\%$이다.

경계 예: 필터 결과 검사 대상이 0개라면 분모가 0이므로 비율은 정의할 수 없다. 이때 0%로 기록하면 모든 값이 잘못됐다는 뜻으로 오해될 수 있으므로 N/A와 대상 건수 0을 함께 표시한다.

정제 후 유효성 비율이 100%가 되었더라도 오류 행을 대량 제외해 분모가 줄었다면 품질이 무조건 개선됐다고 볼 수 없다. 비율과 함께 제외·격리 건수와 데이터 분포 변화를 보고해야 한다.