이상값 탐지와 처리

핵심 요약

이상값은 다른 관측치와 크게 다르다는 탐지 신호이지 곧바로 오류나 삭제 대상을 뜻하지 않는다. 입력 오류, 드물지만 정상인 사건, 다른 집단, 특정 맥락에서만 비정상인 사건, 또는 사기·고장처럼 찾아야 할 목표일 수 있다. 따라서 후보 탐지 → 원천·맥락 확인 → 목적별 처리 → 처리 전후 민감도 비교 순서로 판단한다.

단변량에서는 IQR·표준점수·수정 z점수, 다변량에서는 변수 간 상관을 반영한 거리, 회귀에서는 잔차·레버리지·영향도를 함께 본다. 임곗값은 후보를 선별하는 휴리스틱이며 데이터 생성 과정과 비용을 대신하지 못한다.

학습 목표

이상값·오류값·희귀 정상값·영향점을 구분한다.
IQR, z점수, 수정 z점수의 경계와 계산 조건을 설명한다.
마할라노비스 거리와 회귀 영향도 지표의 역할과 한계를 판별한다.
검열과 절단을 구분하고 원인·분석 목적에 맞는 처리법을 선택한다.
데이터 분할과 교차검증에서 이상값 처리로 인한 누수를 방지한다.

1. 이상값의 의미와 유형

같은 관측치도 집단과 분석 목적에 따라 판단이 달라진다. 월 매출 1억 원은 개인 고객군에서는 극단적일 수 있지만 대형 법인 고객군에서는 정상 범위일 수 있다.

구분	의미	먼저 확인할 사항
오류값	단위 오입력, 센서 고장, 중복 적재처럼 실제 현상을 잘못 기록	원천 로그, 단위, 허용 범위, 중복 키
희귀 정상값	실제로 발생한 고액 거래, 기록적 기온, 장기 배송	업무 증빙과 발생 가능성
맥락적 이상	시간·지역·집단 등 특정 조건에서만 비정상	비교 집단과 조건 변수
집단적 이상	개별 값보다 연속 구간이나 값의 묶음이 비정상	순서, 구간, 군집 패턴
분석 대상 이상	사기·고장·침입처럼 탐지해야 할 사건	라벨 품질과 탐지 비용
영향점	회귀계수나 예측 결과를 크게 바꾸는 관측치	잔차, 레버리지, 재적합 결과

이상값(outlier)은 값이나 패턴의 특성을 말하고, 영향점(influential point)은 분석 결과에 미치는 효과를 말한다. 극단적이어도 영향이 작을 수 있고, 아주 극단적이지 않아도 회귀계수를 크게 바꿀 수 있다.

2. 단변량 탐지

2.1 IQR 기준

사분위범위와 1.5×IQR 경계는 다음과 같다.

IQR = Q_3-Q_1

L = Q_1-1.5\times IQR, U = Q_3+1.5\times IQR

보통 $x<L$ 또는 $x>U$인 값을 이상값 후보로 표시한다. 경계와 같은 값은 이 규칙에서 경계 밖이 아니다.

예를 들어 $Q_1=12$, $Q_3=20$이면 $IQR=8$, 하한은 0, 상한은 32다. 따라서 32는 상한과 같아 후보가 아니고 35는 후보이다. 표본이 작거나 사용하는 소프트웨어의 사분위수 계산 방식이 다르면 $Q_1$과 $Q_3$가 달라질 수 있으므로 계산 규칙을 함께 기록한다.

IQR은 중앙 50%를 사용하므로 평균과 표준편차보다 극단값에 비교적 강건하지만, 표본이 매우 작거나 분포가 여러 집단의 혼합이면 경계만으로 원인을 판정할 수 없다.

2.2 z점수와 수정 z점수

평균과 표준편차를 사용하는 표준점수는 다음과 같다.

z_i=(x_i-x̄) \div (s)

분포가 심하게 비대칭이거나 극단값이 평균과 표준편차를 왜곡하면 단순 z점수의 해석이 약해진다. 모든 값이 같아 $s=0$이면 z점수는 계산할 수 없다.

중앙값과 중앙절대편차를 사용하는 수정 z점수는 다음처럼 정의할 수 있다.

MAD=median(|x_i-\tildex|), M_i=\frac0.6745(x_i-\tildex)MAD

정규분포 기준의 스케일을 맞추기 위해 0.6745를 사용하며, 흔히 $|M_i|>3.5$를 후보 기준으로 쓰지만 절대 규칙은 아니다. $MAD=0$이면 이 식도 정의되지 않으므로 IQR, 동일값 비율, 업무 허용 범위 등 다른 진단을 함께 사용한다.

예를 들어 값이 10, 11, 12, 13, 40이면 중앙값은 12, 절대편차는 2, 1, 0, 1, 28, MAD는 1이다. 40의 수정 z점수는 0.6745×(40-12)/1 = 18.886이므로 강한 후보 신호지만, 입력 오류인지는 별도 확인해야 한다.

방법	중심·산포	장점	주요 주의점
IQR 경계	사분위수·IQR	비대칭·극단값에 비교적 강건	표본·사분위수 규칙·혼합분포에 영향
z점수	평균·표준편차	계산과 해석이 단순	비대칭·극단값에 민감, $s=0$이면 미정의
수정 z점수	중앙값·MAD	극단값에 더 강건	$MAD=0$이면 미정의, 임곗값은 휴리스틱

3. 다변량 이상과 회귀 영향도

각 변수가 단변량 정상 범위에 있어도 변수 조합은 드물 수 있다. 마할라노비스 거리의 제곱은 다음과 같다.

D_i^2=(\mathbfx_i-\boldsymbol\mu)^\mathsfT\boldsymbol\Sigma^-1(\mathbfx_i-\boldsymbol\mu)

이 거리는 공분산 $\boldsymbol{\Sigma}$를 통해 변수의 척도와 상관을 반영한다. 다만 공분산 행렬이 특이하면 역행렬을 구할 수 없고, 변수 수가 표본 수에 비해 많거나 극단값이 공분산 추정을 오염시키면 거리가 불안정하다. 카이제곱 분위수를 기준으로 사용할 때도 다변량 정규성 등 전제가 필요하므로 보편적인 확정 기준으로 쓰지 않는다.

회귀에서는 다음 세 관점을 구분한다.

잔차·학생화 잔차: 반응변수 방향에서 모형 예측과 얼마나 다른가.
레버리지 $h_{ii}$: 설명변수 공간에서 얼마나 멀리 있는가.
쿡의 거리: 해당 관측치를 제외했을 때 전체 적합 결과가 얼마나 달라지는가.

잔차가 크더라도 레버리지가 낮으면 계수 영향이 제한될 수 있고, 레버리지가 높아도 회귀선과 잘 맞으면 잔차가 작을 수 있다. 4/n 같은 쿡의 거리 기준은 조사 우선순위를 정하는 경험칙이지 자동 삭제 기준이 아니다. 후보를 제외해 재적합한 결과와 계수·예측 변화까지 비교한다.

4. 원인과 목적에 따른 처리

원인·상황	가능한 처리	피해야 할 판단
명확한 입력 오류	권위 원천으로 수정, 불가능하면 결측 표시·격리	근거 없는 값으로 덮어쓰기
희귀 정상값	보존, 변환, 강건 통계·강건 손실 사용	편의를 위한 일괄 삭제
다른 집단·맥락	집단 변수 추가, 층화, 별도 모형	하나의 분포로 강제
분석 대상 이상	라벨 확인, 불균형 학습·이상탐지 적용	정상화 목적으로 제거
회귀 영향점	데이터 확인, 민감도 분석, 모형 재검토	지표 하나만으로 삭제
검열 자료	경계 도달 사실을 반영한 검열 모형	경계값을 실제값으로 단정
절단 자료	관측되지 않은 범위를 고려한 절단 모형	수집되지 않은 사례가 없다고 간주

검열(censoring)은 실제 값이 경계 이상·이하라는 정보는 있으나 정확한 값이 경계값으로 기록되거나 구간만 알려진 경우다. 절단(truncation)은 특정 범위 밖의 사례가 표본에 아예 들어오지 않는 경우다. 둘은 극단값을 임의 경계로 바꾸는 윈저화와 다르다.

윈저화는 정한 하·상한 밖의 값을 경계값으로 바꿔 평균 등의 영향을 줄인다. 하지만 꼬리의 실제 크기 정보를 잃고 경계에 동률을 만들 수 있으므로 적용 근거, 경계, 변경 비율을 기록한다. 로그 변환도 오른쪽 꼬리를 완화할 수 있지만 0·음수 처리와 해석 변화가 있으므로 자동 처리가 아니다.

5. 데이터 누수와 민감도 분석

이상값 경계, 윈저화 한계, 강건 스케일의 중심·산포는 데이터에서 학습되는 전처리 파라미터다. 성능 평가가 목적이면 먼저 훈련·검증·시험 데이터를 나눈 뒤 훈련 데이터에서만 파라미터를 추정하고 나머지 데이터에는 그대로 적용한다.

교차검증에서도 각 훈련 폴드에서 경계를 다시 학습해야 한다. 전체 데이터에서 상한을 계산한 뒤 교차검증하면 검증 폴드의 분포 정보가 훈련 과정에 들어가 성능이 낙관적으로 보일 수 있다. 단, 물리 법칙이나 사전에 확정된 업무 허용 범위처럼 데이터와 무관한 규칙은 출처와 적용 시점을 기록해 별도로 관리한다.

처리 결과는 최소한 다음처럼 비교한다.

원자료 유지, 오류 수정·격리, 변환·윈저화, 강건 모형 등 합리적인 대안을 정한다.
각 대안에서 평균·중앙값·상위 분위수·이상 후보율과 핵심 모형 성능을 비교한다.
결론이 특정 처리에만 의존하면 그 민감도를 보고하고 단일 결과로 확정하지 않는다.
후보 플래그, 판정 근거, 처리 전 원값, 처리 후 값을 추적 가능하게 남긴다.

6. 사례 적용

상황: 배송시간 표본이 24, 28, 31, 33, 34, 1,440분이고 시스템은 미완료 배송을 다음 날 자동 종료한다. 실제 하루 지연 배송도 존재한다.

기초 확인: 여섯 값의 평균은 (24+28+31+33+34+1440)/6 = 265분, 중앙값은 (31+33)/2 = 32분이다. 1,440분 하나가 평균을 크게 바꾸지만 중앙값에는 영향이 제한적이다.

판단 과정: 1,440분을 일괄 삭제하지 않는다. 자동 종료 플래그, 배송 상태, 고객 확인과 로그를 이용해 시스템 종료로 생성된 오류와 실제 장기 배송을 구분한다. 오류이면 원천 수정 또는 격리하고, 실제 지연이면 서비스 위험 분석에 보존한다.

검증: 처리 전후 평균·중앙값·상위 분위수·장기 지연 비율을 함께 비교한다. 1,440분이 실제 지연이라면 강건 요약을 병기하되 평균을 낮추려는 목적으로 제거하지 않는다.

Q1 10, 중앙값 14, Q3 18인 자료의 상자와 1.5 IQR 하한 -2, 상한 30, 경계 밖 이상값을 표시한 상자그림

$Q_1=10$, $Q_3=18$이면 $IQR=8$이고 1.5 IQR 경계는 -2와 30이다. 34와 38은 통계적 이상 신호지만 업무상 실제 희귀사건인지 입력 오류인지는 별도 확인한다.

IQR=Q_3-Q_1, L=Q_1-1.5IQR, U=Q_3+1.5IQR

이상값 탐지 후 원천·단위·수집 오류를 확인하고 오류면 수정·격리, 실제 희귀사건이면 보존·변환·강건 방법과 민감도 분석을 선택하는 흐름

이상값은 먼저 원자료·단위·라벨을 확인하고 오류면 수정 또는 격리한다. 실제 희귀사건이라면 보존, 변환, 윈저화, 강건 모형 등을 비교하고 처리 전후 결론이 바뀌는지 민감도 분석을 수행한다.

상태	예	기본 조치
명백한 오류	소수점·단위·중복 입력	원천 확인 후 수정·격리
실제 희귀사건	대형 사고·고액 거래	보존하고 업무 위험으로 해석
모형 민감 관측치	큰 잔차·영향력	강건 방법과 전후 민감도 비교

시험 판단 포인트

탐지 임곗값은 이상값 후보를 찾는 규칙이지 오류 확정 기준이 아니다.
IQR 경계와 같은 값은 일반적인 경계 밖 조건에 해당하지 않는다.
z점수는 평균·표준편차, 수정 z점수는 중앙값·MAD를 사용한다.
다변량 거리는 상관을 고려하지만 공분산 추정과 분포 가정의 영향을 받는다.
회귀 영향점은 잔차, 레버리지, 제거 시 적합 변화로 판단한다.
검열, 절단, 윈저화는 서로 다른 개념이다.
데이터에서 학습한 이상값 처리 기준은 훈련 데이터 또는 각 훈련 폴드에서만 추정한다.

자주 틀리는 부분

이상값 후보를 발견하면 모두 삭제해야 한다고 보지 않는다.
IQR 경계 안의 값이 모든 다변량 조합에서도 정상이라고 판단하지 않는다.
수정 z점수가 크다는 이유만으로 측정 오류라고 확정하지 않는다.
검열된 경계값을 실제 관측값이나 윈저화 결과와 같다고 보지 않는다.
전체 데이터로 이상값 경계를 계산한 뒤 검증 성능을 보고하지 않는다.

01$Q1=12$, $Q3=20$일 때 1.5×IQR 규칙에 관해 올바르게 설명하시오.

정답 및 해설

상한은 32이며, 값 32는 경계와 같아 이 규칙에서 경계 밖 후보가 아니다.

$IQR=20-12=8$, 하한은 $12-1.5\times8=0$, 상한은 $20+1.5\times8=32$다. 일반적인 규칙은 경계보다 작거나 큰 값을 후보로 보므로 32는 경계 밖이 아니다.

02값이 10, 11, 12, 13, 40일 때 수정 z점수에 관해 올바르게 설명하시오.

중앙값은 12, MAD는 1이고 40의 수정 z점수는 약 18.886이다.

중앙값은 12이고 절대편차 2, 1, 0, 1, 28의 중앙값인 MAD는 1이다. 따라서 40의 수정 z점수는 $0.6745\times(40-12)/1=18.886$이다.

03검열과 절단에 관해 올바르게 설명하시오.

검열은 정확한 값 대신 경계·구간 정보가 남고, 절단은 특정 범위 밖 사례가 표본에 들어오지 않는다.

검열은 정확한 값 대신 상한 이상, 하한 이하, 구간 같은 정보가 남는 경우이고, 절단은 정해진 범위 밖 사례가 표본에 포함되지 않는 경우다.

04교차검증에서 이상값 처리로 인한 데이터 누수를 막는 방법을 서술하시오.

각 훈련 폴드에서 경계를 계산하고 해당 검증 폴드에는 그 경계를 그대로 적용한다.

IQR 경계처럼 데이터에서 추정하는 전처리 기준은 각 훈련 폴드에서만 계산하고 해당 검증 폴드에는 고정해 적용해야 한다.