탐색적 데이터 분석과 시각적 진단

핵심 요약

탐색적 데이터 분석(EDA)은 그래프를 한 번 만드는 단계가 아니라 질문 설정 → 데이터 구조 확인 → 요약·시각화 → 이상 패턴 점검 → 질문과 처리 계획 갱신을 반복하는 과정이다. 먼저 한 행의 분석 단위, 관측 시점, 모집단과 표본 추출 방식, 코드의 의미를 확인해야 한다.

단변량 탐색은 각 변수의 분포와 품질을, 이변량 탐색은 두 변수의 관계를, 다변량 탐색은 집단·시간·공간 등 조건을 함께 고려한 관계를 본다. 평균·상관계수 같은 하나의 수치만으로 판단하지 않고 분포 그림, 표본 수, 결측·이상값 처리 기준을 함께 확인한다.

EDA에서 발견한 관계는 후보 가설이지 인과관계나 독립된 검정 결과가 아니다. 같은 데이터에서 많은 패턴을 탐색했다면 우연한 발견이 포함될 수 있으므로 탐색에 쓰지 않은 자료나 사전에 정한 검정 절차로 재확인한다.

학습 목표

• EDA의 목적과 반복 절차를 설명한다.
• 분석 단위·시점·변수 유형을 확인하고 적절한 요약과 그래프를 선택한다.
• 히스토그램·상자그림·산점도·교차표의 해석 한계와 경계를 판정한다.
• 전체 관계와 조건부 관계가 달라지는 집단 혼합을 해석한다.
• 잔차·예측값 그래프에서 비선형성·이분산성·시간 의존 패턴을 구분한다.
• 축·분모·표본 수·변환·결측 처리 기준을 기록하고 탐색과 확증을 분리한다.

1. EDA의 시작: 분석 질문과 데이터 계약

EDA를 시작할 때 다음 순서를 따른다.

1. 질문과 대상 모집단 정의: 무엇을 설명·비교·예측하려는지, 결과를 어느 대상과 기간에 적용할지 정한다.
2. 분석 단위 확인: 한 행이 고객, 거래, 일별 집계 중 무엇인지 확인한다.
3. 키·시점·생성 과정 확인: 기본키, 중복, 관측 시점, 수집·결합·필터 조건을 점검한다.
4. 자료형과 단위 확인: 연속형·이산형·명목형·순서형·시간형을 구분하고 단위와 코드 사전을 확인한다.
5. 품질과 분포 탐색: 결측, 불가능한 값, 중복, 범주 빈도, 수치 분포와 집단별 차이를 살핀다.
6. 가설과 후속 계획 갱신: 전처리·추가 수집·모형·검증 계획을 기록하고 필요한 탐색을 반복한다.

숫자로 저장된 우편번호·상품 코드·등급은 연속형 수치가 아닐 수 있다. 고객별 표와 거래별 표를 키만으로 결합하면 고객의 거래 수만큼 행이 늘어날 수 있으므로 결합 전후 행 수와 키 중복도를 확인한다. 미래 정보로 계산된 변수를 과거 시점의 설명변수처럼 탐색하면 데이터 누수가 생긴다.

2. 단변량 탐색

2.1 수치형 변수와 상자그림 경계

평균과 표준편차만 보면 치우친 분포, 극단값, 서로 다른 집단이 섞인 여러 봉우리를 놓칠 수 있다. 중앙값·분위수와 분포 그래프를 함께 본다. 표본 수가 적으면 밀도곡선의 매끄러운 모양을 실제 구조로 과해석하지 않고 원자료 점이나 ECDF를 병기한다.

상자그림의 사분위범위와 일반적인 울타리는 다음과 같다.

$Q_1=12$, $Q_3=15$라면 $IQR=3$, 아래·위 울타리는 각각 $7.5$와 $19.5$다. 값 40은 울타리 밖의 잠재적 이상값이지만 오류나 삭제 대상으로 자동 확정되지는 않는다. 원자료·측정 단위·업무 규칙을 확인한다. 모든 값이 같아 $IQR=0$이면 울타리가 한 점에 겹치므로 상자그림 규칙만으로 품질을 판단하지 않는다. 사용하는 도구에 따라 분위수 계산 방식이 달라질 수 있으므로 경계값이 중요한 경우 방식을 기록한다.

히스토그램의 모양은 구간 경계와 폭에 따라 달라진다. 여러 구간 폭, 분위수, ECDF를 함께 확인한다. 로그 축·로그 변환은 큰 값의 꼬리를 펼치는 데 유용하지만 0과 음수는 그대로 로그 변환할 수 없고, 로그 축에서 같은 시각적 간격은 차이가 아니라 비율을 뜻한다.

2.2 범주형 변수

수준별 건수와 비율을 함께 보고 분모를 명시한다. 빈 문자열, 공백, NA, 미상, 특수 코드가 같은 결측 의미인지 확인하고, 철자·대소문자·앞뒤 공백 차이로 같은 범주가 분리됐는지 점검한다. 빈도가 작은 수준은 입력 오류일 수도 있고 중요한 희귀 범주일 수도 있으므로 맥락 확인 없이 합치거나 삭제하지 않는다.

3. 이변량 탐색과 조건부 관계

3.1 상관계수의 범위와 경계

표본 피어슨 상관계수는 선형 관계의 방향과 강도를 요약한다.

한 변수의 분산이 0이면 분모가 0이어서 $r$은 정의되지 않는다. $r$은 극단값에 민감하고 선형 관계를 요약하므로 $r\approx0$이 곧 무관계를 뜻하지 않는다. 예를 들어 $x=(-2,-1,0,1,2)$, $y=x^2=(4,1,0,1,4)$이면 대칭 때문에 $\sum x_i(y_i-\bar y)=0$이 되어 $r=0$이지만 두 변수는 완전한 곡선 관계다. 산점도와 집단별 패널을 함께 본다.

순위 관계에는 스피어만 상관을 검토할 수 있지만, 이 값도 인과관계를 증명하거나 모든 비단조 관계를 포착하지는 않는다. 반복 측정이나 시계열 자료에서 관측치가 독립이 아니면 일반 상관계수의 유효 표본 정보를 과대평가할 수 있다.

3.2 전체 비율과 집단 구성: 심슨의 역설

집단 $g$의 사건 비율과 전체 비율은 다음과 같이 계산된다.

구독 이탈 자료가 다음과 같다고 하자.

채널 A는 신규와 기존 고객 각각에서 채널 B보다 이탈률이 낮다. 그러나 전체 이탈률은 A가 $91/110=82.73%$, B가 $35/100=35%$로 A가 더 높다. A에 이탈 위험이 큰 신규 고객이 훨씬 많이 포함됐기 때문이다. 전체와 집단별 관계의 방향이 달라지는 현상을 심슨의 역설이라 하며, 원인·정책 효과로 해석하기 전에 층별 표본 수와 교란 가능성을 확인한다.

4. 다변량·시간 탐색과 겹침 처리

산점도 행렬, 상관행렬, 평행좌표, 차원 축소 그림은 여러 변수 관계를 요약하지만 변수 수가 많을수록 우연한 패턴과 시각적 혼잡이 늘어난다. 질문과 관련된 변수 집합을 먼저 정하고, 변수 순서·스케일·결측 처리·색상 범례를 기록한다. 차원 축소 그림에서 가까운 점이 원공간에서도 모든 의미에서 유사하다고 단정하지 않는다.

관측치가 겹치는 산점도에서는 투명도, 작은 점, 지터, 육각형 구간 또는 이차원 빈도표를 사용한다. 지터는 실제 측정값을 바꾸는 분석이 아니라 겹침을 줄이는 표시 기법이므로 원래 축과 지터 폭을 기록한다. 표본을 일부만 그렸다면 추출 방법과 비율을 명시한다.

시간 자료는 사건 시각으로 정렬하고 시점별 관측 수, 누락 구간, 불규칙 간격, 계절성과 수준 변화를 확인한다. 이동평균은 창 길이와 정렬 방식에 따라 모양이 달라진다. 미래값을 포함하는 중심 이동평균이나 전체 기간에서 계산한 요약을 과거 예측 변수로 사용하면 누수가 생길 수 있다. 동일 고객·장비의 반복 관측은 독립 행으로 간주하지 말고 그룹별 패널과 시간 순서를 함께 본다.

5. 모형 이후의 시각적 진단

회귀의 원자료 잔차는 다음과 같다.

잔차-적합값 그래프는 평균 구조와 분산 패턴을 확인하는 도구다. 잔차가 0 주위에 무작위로 보이는 것은 필요한 신호 중 하나일 뿐, 모형의 완전한 타당성을 증명하지 않는다.

큰 잔차와 높은 레버리지는 같은 개념이 아니다. 반응값 방향으로 크게 벗어난 점은 잔차가 클 수 있고, 설명변수 공간의 가장자리에 있는 점은 잔차가 작아도 레버리지가 높을 수 있다. Q-Q 그림은 특히 추론에서 잔차 분포 가정을 점검하는 도구이며, 점들이 직선에 가깝다고 해서 선형성·독립성·등분산성이 모두 충족되는 것은 아니다.

분류에서는 클래스별 예측점수 분포, 보정 곡선, 임곗값별 혼동행렬, 시간·집단별 오류율을 본다. 학습 자료에서만 클래스 분리가 좋아 보이면 과대적합이나 누수를 의심하고 검증 자료와 비교한다. 군집은 군집별 변수 프로파일과 크기·안정성을 확인하며, 차원 축소의 색 분리만으로 실제 군집을 확정하지 않는다.

6. 정직하고 재현 가능한 시각화

막대 길이로 크기를 비교하는 그래프는 일반적으로 0 기준선을 사용해야 한다. 선그래프의 축을 반드시 0에서 시작할 필요는 없지만, 축 범위가 작은 변화를 과장할 수 있으므로 범위와 절단을 명확히 표시한다. 이중 축은 서로 다른 척도의 모양을 임의로 비슷하게 만들 수 있으므로 가능하면 패널을 분리한다. 색상만으로 집단을 구분하지 말고 선 종류·기호·직접 레이블을 함께 사용하며, 순서형 자료에는 순차 색상, 양·음 편차에는 발산 색상을 사용한다.

EDA 중 수십 개 변수와 집단을 비교하면 극적인 패턴이 우연히 선택될 수 있다. 탐색 횟수와 선택 과정을 기록하고, 중요한 패턴은 탐색에 사용하지 않은 데이터 또는 사전 명시한 검정으로 확인한다. 시각화는 증거를 요약하지만 표본 설계와 인과 식별을 대신하지 않는다.

7. 사례 적용

상황: 구독 서비스의 고객 표에 월 요금, 이용기간, 채널, 지역, 이탈 여부가 있고 채널마다 신규 고객 비율이 다르다.

판단 과정:

1. 고객 한 명당 기준 시점의 행 하나인지, 이탈 이후 정보가 설명변수에 들어오지 않았는지 확인한다.
2. 월 요금의 히스토그램·ECDF·상자그림을 함께 보고 극단값의 원자료와 단위를 확인한다.
3. 채널별 이탈 건수·비율·표본 수를 기록하고 이용기간을 신규·기존으로 나눈 조건부 이탈률을 비교한다.
4. 전체 채널 차이와 이용기간별 차이의 방향이 다르면 집단 구성비와 교란 가능성을 검토한다.
5. 발견한 채널·이용기간 패턴은 별도 검증 기간에서 재현하고, 후속 모형에서도 시간순 분할과 집단별 오류를 확인한다.

결론: 전체 이탈률만으로 채널의 원인 효과를 단정하지 않고, 고객 구성·표본 수·시간 순서까지 확인한 뒤 후보 가설과 검증 계획을 남긴다.

오답 함정: 높은 요금 구간에 이탈 고객이 많아 보인다는 한 그래프만으로 요금 인상이 이탈의 원인이라고 결론내리지 않는다.

히스토그램은 분포의 모양, 상자그림은 중앙·IQR·이상 신호, Q-Q 그림은 기준분포와의 체계적 차이를 보여 준다. 같은 자료를 여러 관점으로 보며 그래프 하나만으로 정규성이나 오류를 확정하지 않는다.

EDA는 질문·품질·분포·관계 확인으로 설명 후보를 만들고 새 자료나 독립 검증으로 확인하는 반복 과정이다. 같은 데이터에서 발견한 패턴의 p-value만 제시하면 탐색 자유도를 반영하지 못할 수 있다.

시험 판단 포인트

• EDA는 질문과 데이터 구조를 갱신하는 반복 절차다.
• 분석 단위·시점·자료형·분모를 확인한 뒤 그래프를 선택한다.
• 상자그림 울타리 밖 값은 잠재적 이상값이며 자동 삭제 기준이 아니다.
• 상관계수 0은 비선형 관계가 없다는 뜻이 아니며, 분산이 0이면 상관계수는 정의되지 않는다.
• 전체 관계와 집단별 관계가 반대일 수 있으므로 층별 비율과 표본 수를 본다.
• 잔차의 곡선·깔때기·시간 패턴은 각각 비선형성·이분산성·의존 가능성을 시사한다.
• 축·단위·기간·표본 수·결측 처리·그래프 설정을 함께 기록한다.
• 탐색 결과는 후보 가설이며 확증적 검정이나 인과관계의 증명이 아니다.

자주 틀리는 부분

• 숫자 자료형이라는 이유만으로 코드와 식별자를 연속형으로 취급하지 않는다.
• 상자그림의 울타리 밖 값을 즉시 삭제하지 않는다.
• 히스토그램 한 개의 구간 폭이나 밀도곡선의 봉우리를 확정된 집단으로 보지 않는다.
• 상관계수 하나로 비선형 관계·집단 혼합·시간 의존을 모두 판단하지 않는다.
• 전체 비율만 보고 집단별 표본 구성 차이를 무시하지 않는다.
• 로그 축에서 0·음수 처리와 비율 해석을 생략하지 않는다.
• 잔차가 대략 무작위라는 이유만으로 모든 모형 가정이 충족됐다고 단정하지 않는다.
• 같은 데이터에서 발견하고 확인한 패턴을 독립 검증으로 보지 않는다.