시험 직전 요약장

1. mean(c(10, NA, 14, 16), na.rm=TRUE)의 값은?
2. Q1=10, Q3=20일 때 1.5×IQR 규칙의 하한·상한은?
3. 이상값 후보를 찾았다고 바로 삭제하면 안 되는 이유는?
4. 평균 대체가 데이터의 분산에 줄 수 있는 대표적 영향은?

이상값(outlier)은 다른 관측과 크게 다른 값이지만 반드시 오류는 아니다. 매우 큰 실제 구매나 드문 고장 사례처럼 중요한 신호일 수 있다.

• 입력 단위 오류·중복 기록이라면 수정 또는 제외 대상이 될 수 있다.
• 실제 극단값이면 보존한 채 강건한 방법이나 별도 분석을 고려한다.
• 온도 35℃가 여름 실외에서는 정상이고 냉장고 내부에서는 이상일 수 있듯 맥락적 이상값이 있다.
• 각 변수는 평범해도 변수 조합이 매우 드문 다변량 이상값도 있다.

IQR 규칙에서 IQR = Q3 - Q1이다. 흔히 다음 범위를 벗어나는 값을 후보 이상값으로 본다.

[Q1 - 1.5×IQR, Q3 + 1.5×IQR]

예를 들어 Q1=10, Q3=20이면 IQR=10, 하한은 -5, 상한은 35다. 값 40은 이 규칙에서 이상값 후보가 된다.

z-score는 z=(x-평균)/표준편차로 계산한다. 평균과 표준편차가 극단값에 민감하므로 극단값이 심한 자료에서는 중앙값과 MAD 같은 강건한 지표를 함께 고려할 수 있다.

R의 boxplot.stats(x)$out도 박스플롯 규칙에 따른 후보 이상값을 확인할 때 쓸 수 있다. IQR·z-score·MAD·boxplot 규칙은 모두 후보를 찾는 규칙이지 자동 삭제 규칙이 아니다.

MAD(median absolute deviation)는 중앙값에서의 절대편차들의 중앙값을 바탕으로 한 강건한 산포 척도다. base R mad()는 기본 보정상수를 곱하지만 constant=1이면 순수 절대편차 중앙값을 확인할 수 있다.

mad(c(1, 2, 3, 4, 100), constant = 1)
# [1] 1

또한 boxplot.stats()는 결측값을 이상값 자체로 반환하지 않고 계산에서 제외한다.

boxplot.stats(c(1, 2, 3, 4, 100, NA))$out
# [1] 100