데이터 품질 관리 프레임워크와 품질 기준

핵심 요약

데이터 품질은 모든 값이 “깨끗해 보이는 상태”가 아니라 정해진 업무 목적에 사용할 수 있는 수준(fitness for purpose)이다. 같은 데이터도 세금 신고, 마케팅 추천, 통계 탐색처럼 사용 목적이 다르면 요구하는 정확성·적시성·완전성이 달라질 수 있다. 품질 관리 프레임워크는 품질 차원만 나열하는 것이 아니라 정책, 책임, 규칙, 측정, 개선, 도구와 성과를 지속적으로 연결한다.

업무 목적·위험
   → 중요 데이터·품질 차원 선정
   → 측정 규칙·목표 정의
   → 진단·결함 등록
   → 영향/우선순위·원인 분석
   → 개선·검증·재발방지
   → 성과·정책 환류

학습 목표

• 완전성·유효성·정확성·일관성·유일성·적시성을 예시와 반례로 구분합니다.
• 품질 지표의 분자·분모, 기준시점, 예외와 목표값을 정의합니다.
• 품질 프레임워크의 정책·조직·역할·프로세스·도구·성과 관계를 설명합니다.
• 결함을 업무 위험과 연결해 우선순위를 결정합니다.

1. 개념 설명

1.1 데이터 품질과 목적 적합성

품질은 데이터 자체의 속성뿐 아니라 사용 맥락을 포함한다. 예를 들어 고객 연락처가 형식 규칙에는 맞더라도 실제 고객과 연결되지 않으면 유효성은 높을 수 있으나 정확성은 낮다. 전일 마감 데이터가 회계 결산에는 충분해도 실시간 사기 탐지에는 적시성이 부족할 수 있다.

품질 규칙은 다음을 명시해야 한다.

• 대상 데이터와 업무 목적
• 검사 조건과 기준값
• 분자·분모와 제외·예외 기준
• 검사 시점·주기·기준일
• 목표 수준과 경고·위험 임계값
• 소유자·조치 책임자·증적

1.2 핵심 품질 차원

최신성/현행성(Currentness)을 별도 차원으로 구분하는 체계도 있다. 시험에서는 제시된 정의와 측정 대상을 보고 판단하며, 용어 체계가 다르면 정의를 우선한다.

1.3 측정식과 해석

완전성 준수율 = 필수 항목이 채워진 검사 단위 수 / 필수 검사 단위 수 × 100
유효성 준수율 = 규칙을 만족한 값 수 / 규칙 적용 대상 값 수 × 100
정확성 준수율 = 신뢰 기준과 일치한 검증 건수 / 기준과 대조한 건수 × 100
일관성 준수율 = 상호 일치한 비교 건수 / 비교 가능한 건수 × 100
유일성 준수율 = 중복이 아닌 검사 대상 건수 / 전체 검사 대상 건수 × 100
적시성 준수율 = 허용 지연시간 안에 반영된 건수 / 적시성 대상 건수 × 100

측정식은 예시이며 조직이 “건수”를 행, 필드, 업무키, 비교 쌍 중 무엇으로 세는지 명확히 해야 한다. 제외 대상을 분모에서 임의로 빼거나, 오류 한 건이 여러 규칙에 중복 집계되는 방식을 숨기면 지표를 비교할 수 없다.

1.4 품질 관리 프레임워크

도구가 규칙을 자동 실행해도 규칙의 업무 의미, 오류 우선순위, 원인 제거와 승인 책임을 대신하지는 않는다.

1.5 품질 개선 생명주기

1. 중요 데이터와 사용 목적을 선정한다.
2. 품질 차원·규칙·목표·측정 주기를 정의한다.
3. 프로파일링과 규칙 실행으로 결함 후보를 찾는다.
4. 결함을 등록하고 영향·긴급성·빈도·규제 위험으로 우선순위를 정한다.
5. 입력, 표준, 모델, 인터페이스, 변환, 운영 절차의 근본 원인을 분석한다.
6. 데이터 정정과 함께 원인 통제를 개선한다.
7. 재측정하고 업무 결과·재발 여부를 검증한다.
8. 규칙·정책·교육·시스템에 교훈을 반영한다.

2. 구성요소와 관계

3. 판단 흐름

품질 문제를 발견하면 먼저 “오류율이 몇 %인가”만 보지 말고 다음 순서로 판단한다.

1. 어떤 업무 의사결정·규제·고객 경험에 쓰이는가?
2. 어떤 차원이 실패했는가? 하나의 결함이 여러 차원과 연결되는가?
3. 분모·기준시점·예외가 동일한 지표인가?
4. 값 정정만 할 것인가, 생성·변환·모델·표준 원인을 제거할 것인가?
5. 개선 후 목표와 업무 위험이 실제로 줄었는가?

4. 사례와 적용

사례: 보험금 지급계좌 품질

• 계좌번호가 비어 있음: 완전성 결함
• 길이와 숫자 형식이 맞지 않음: 유효성 결함
• 형식은 맞지만 다른 사람 계좌임: 정확성 결함
• 고객 시스템과 지급 시스템의 계좌가 다름: 일관성 결함
• 동일 청구가 두 번 등록됨: 유일성 결함
• 계좌 변경이 지급 시스템에 하루 늦게 반영됨: 적시성 결함

오류율이 낮더라도 잘못된 지급으로 이어지는 정확성·일관성 결함은 규제·금전 피해가 커 우선순위가 높다. 단순한 화면 오탈자보다 업무 위험을 먼저 본다.

5. 비교와 구분

시험 판단 포인트

• 완전성은 존재 여부, 유효성은 규칙 준수, 정확성은 실제·신뢰 기준과 일치 여부다.
• 일관성은 같은 사실의 상호 모순 여부, 유일성은 업무 대상의 중복 여부다.
• 품질 지표에는 대상, 분자·분모, 시점, 예외, 목표와 책임자가 필요하다.
• 품질 관리 프레임워크는 조직·프로세스·기준·도구·성과의 결합이며 도구 도입만을 뜻하지 않는다.
• 결함 우선순위는 오류 건수뿐 아니라 금전·규제·고객·의사결정 영향을 포함한다.

자주 틀리는 부분

• 형식이 맞으면 정확한 값이라고 판단한다.
• 기술 PK가 유일하면 동일 고객 중복도 없다고 본다.
• 품질 점수를 높이기 위해 검사 어려운 데이터를 분모에서 제외한다.
• 오류 값을 일괄 수정하고 입력·연계·변환 원인을 그대로 둔다.
• 모든 품질 차원을 동일 가중치로 합산하면서 업무 근거를 제시하지 않는다.