현재 선택한 빅데이터 분석 과정

빅데이터분석기사 필기 이론 학습

이론 목록으로 돌아가기

변수 유형별 관계 탐색

변수 유형에 맞는 관계 탐색 방법과 해석상의 주의점을 익힌다.

예상 읽기 15

핵심 요약

변수 관계를 탐색할 때 먼저 정할 것은 계산식이 아니라 변수의 측정 수준, 분석 질문, 관측치의 독립·대응·반복 구조다. 두 수치의 선형·단조 관계, 두 범주의 조건부 비율, 범주별 수치 분포 차이는 서로 다른 그래프·통계량·검정을 요구한다.

관계의 존재, 크기, 원인은 다른 질문이다. 작은 p-value는 귀무가설 아래 관측 결과의 희귀성을 나타낼 뿐 관계가 크거나 실무적으로 중요하다는 뜻이 아니다. 효과크기와 불확실성 구간, 표본 수, 분포를 함께 본다.

상관이나 집단 차이가 관찰돼도 시간 순서, 교란변수, 표본 선택, 결측, 반복 측정, 측정 오류를 확인하지 않으면 인과관계로 해석할 수 없다. 같은 데이터에서 여러 관계를 탐색했다면 중요한 발견을 별도 자료에서 재확인한다.

학습 목표

  • 변수 조합과 표본 설계에 맞는 그래프·통계량·검정을 선택한다.
  • 피어슨 상관과 스피어만 순위상관의 계산 원리와 경계를 구분한다.
  • 교차표의 조건부 비율·기대빈도·카이제곱 통계량·크래머 V를 계산한다.
  • 희소 셀에서 카이제곱 근사의 한계를 판정하고 대안을 검토한다.
  • 독립·대응 집단과 등분산·이분산 조건에 맞는 평균 비교를 선택한다.
  • p-value, 효과크기, 신뢰구간을 분리해 해석한다.
  • 교란·시간 추세·범위 제한·이상값·다중 탐색을 점검한다.

1. 변수 조합보다 먼저 확인할 설계

변수 조합·질문먼저 볼 그래프·표대표 요약·검정핵심 조건
수치-수치의 선형·단조 관계산점도·집단별 패널피어슨·스피어만 상관비선형, 이상값, 분산 0, 반복 측정
범주-범주의 비율 차이교차표·조건부 비율 막대카이제곱·정확 검정·크래머 V분모, 기대빈도, 구조적 0
두 독립 집단의 수치 차이원자료 점·상자그림·분포Welch t, 효과크기·구간독립성, 분포·분산·표본 수
같은 대상 전후 수치 차이짝 연결선·차이 분포대응 t 또는 부호·순위 방법짝 식별, 차이값의 분포
세 집단 이상 수치 차이집단별 분포·표본 수ANOVA·Welch ANOVA·순위 방법전체 검정 후 사후 비교
시간·반복 관측의 관계시간순·개체별 패널시차·반복 구조를 반영한 모형자기상관, 그룹, 미래 누수

숫자로 저장된 등급·코드는 연속형 수치가 아닐 수 있고, 순서형 수준의 간격이 같다고 보장되지 않는다. 한 사람의 전후 측정이나 한 장비의 반복 행을 독립표본으로 분석하면 표준오차를 과소평가할 수 있다. 관계 도구를 선택하기 전에 분석 단위·키·시간·집단 구조를 확인한다.

2. 수치형 변수 사이의 관계

2.1 산점도와 피어슨 상관

산점도는 방향뿐 아니라 곡선, 군집, 범위 제한, 부채꼴 산포, 영향력 큰 관측치를 보여 준다. 같은 상관계수도 서로 다른 모양을 요약할 수 있으므로 계수보다 산점도를 먼저 확인한다. 점이 많이 겹치면 투명도·작은 점·육각형 구간 등을 사용하고 집단·시간별 패널을 비교한다.

표본 피어슨 상관계수는 두 변수의 선형 관계를 표준화한 공분산이다.

r=\fracΣ(i=1…n)(x_i-x̄)(y_i-ȳ) \sqrtΣ(i=1…n)(x_i-x̄)^2\sqrtΣ(i=1…n)(y_i-ȳ)^2

$-1\le r\le1$이고 부호는 선형 방향, 절댓값은 선형 결합 정도를 나타낸다. 양의 상수배와 위치 이동 같은 일반적인 단위 변환에는 값이 유지되지만 한 변수에 음의 상수배를 하면 부호가 바뀐다. 한 변수의 분산이 0이면 분모가 0이므로 $r$은 정의되지 않는다.

$r=0$은 선형 관계가 없다는 뜻이지 모든 관계가 없다는 뜻은 아니다. $x=(-2,-1,0,1,2)$, $y=x^2$는 완전한 U자 관계지만 교차편차합이 0이어서 피어슨 상관이 0이다. 반대로 한 개의 극단값이 높은 상관을 만들 수 있으므로 원자료·강건성 분석·극단값 포함 전후를 확인한다.

상관계수의 계산 자체에 두 변수의 정규성이 필수는 아니다. 다만 작은 표본에서 상관의 검정·신뢰구간을 해석할 때는 독립성, 선형성, 이상값과 분포 조건이 중요하다. 반복·군집·시계열 자료에는 단순 상관의 일반적인 추론을 그대로 적용하지 않는다.

2.2 스피어만 순위상관

스피어만 상관은 원래 값을 순위로 바꾼 뒤 계산한 피어슨 상관이다. 동순위가 없을 때는 다음 식을 사용할 수 있다.

\rho_s=1-\frac6Σ(i=1…n)d_i^2n(n^2-1)

$d_i$는 두 변수에서 같은 관측치가 갖는 순위 차이다. 순위가 $(1,2,3,4,5)$와 $(1,3,2,5,4)$라면 $\sum d_i^2=4$이므로 $\rho_s=1-24/120=0.8$이다. 동순위가 있으면 평균순위 등 정한 규칙으로 순위를 부여하고 그 순위들의 피어슨 상관을 계산한다. 동순위를 무시하고 위 단순식을 그대로 쓰지 않는다.

구분피어슨 상관스피어만 순위상관
측정 대상선형 관계단조 관계
적합한 입력간격·비율 수치순서형 또는 수치
극단값 영향순위화로 상대적으로 감소
포착하지 못할 수 있는 관계U자 등 비선형U자 등 비단조
미정의·경계분산 0이면 미정의한쪽 순위가 모두 같으면 미정의

스피어만 상관이 높다는 것은 값이 한 방향으로 정렬되는 경향이지 변화량이 일정하거나 인과관계라는 뜻이 아니다. 순위화하면 실제 거리와 단위 정보가 사라진다는 점도 함께 고려한다.

3. 범주형 변수 사이의 관계

3.1 교차표와 조건부 비율

교차표에서는 관측빈도와 행·열 조건부 비율을 구분한다. “채널별 수료율”은 각 채널 행의 수료·미수료 합을 분모로 하지만, “수료자 중 채널 구성”은 수료 열 합을 분모로 한다. 질문이 달라지므로 분모·결측 범주·표본 수를 명시한다.

예를 들어 다음 표에서 채널별 수료율은 A가 $30/40=75%$, B가 $20/40=50%$다.

채널수료미수료행 합계
A301040
B202040
열 합계503080

3.2 카이제곱 독립성 검정

독립 가정 아래 셀 $(i,j)$의 기대빈도와 Pearson 카이제곱 통계량은 다음과 같다.

E_ij=(R_iC_j) ÷ (N), χ^2=Σ_iΣ_j\frac(O_ij-E_ij)^2E_ij, df=(r-1)(c-1)

위 표에서 A-수료 셀의 기대빈도는 $40\times50/80=25$다. 기대표 전체는 $(25,15;25,15)$이고, 연속성 보정을 하지 않은 Pearson 통계량은 다음과 같다.

(30-25)²/25 + (10-15)²/15 + (20-25)²/25 + (20-15)²/15 = 5.3333

자유도는 $(2-1)(2-1)=1$이다. 일부 도구는 $2\times2$ 표에서 연속성 보정을 기본 적용하므로 통계량·p-value를 재현하려면 설정을 기록한다.

카이제곱 근사는 관측치가 독립이고 기대빈도가 충분히 클 때 적절하다. 흔히 사용하는 진단은 “기대빈도 1 미만 셀이 없고, 5 미만 셀이 전체의 20% 이하”인지 확인하는 것이다. 이는 상황 판단을 위한 지침이지 모든 설계에 대한 기계적 법칙은 아니다. 희소한 $2\times2$ 표에는 Fisher 정확 검정을, 더 큰 희소표에는 범주 통합의 의미를 검토한 뒤 정확·Monte Carlo 방법을 고려한다. 동일 대상의 전후 범주처럼 대응 자료에는 일반 독립성 검정이 아니라 McNemar 검정 등 설계에 맞는 방법이 필요하다.

표본으로 발생할 수 없는 구조적 0과 단지 관측되지 않은 0은 다르다. 구조적 0이 있는 표에 일반 독립성 모형을 그대로 적용하지 않는다. 행 또는 열 합계가 0이면 해당 범주와 기대빈도 계산을 먼저 점검한다.

3.3 크래머 V 효과크기

검정의 유의성과 연관의 크기를 분리하기 위해 크래머 V를 함께 본다.

V=\sqrt(χ^2) ÷ (Nmin(r-1,c-1))

위 예에서 $V=\sqrt{5.3333/(80\times1)}\approx0.2582$다. $2\times2$ 표에서는 크래머 V가 파이 계수의 절댓값과 같다. 행이나 열이 하나뿐이면 $\min(r-1,c-1)=0$이어서 V가 정의되지 않는다. V의 크기 기준은 표 차원·분야·의사결정 비용에 따라 달라질 수 있으므로 고정 임곗값만으로 작다·크다를 확정하지 않고 조건부 비율 차이와 신뢰구간을 함께 제시한다.

4. 범주형 변수와 수치형 변수의 관계

집단별 평균만 나열하지 말고 원자료 점, 분포, 중앙값·분위수, 산포, 표본 수, 결측률을 함께 본다. 독립 집단인지 같은 대상의 전후·짝 자료인지가 검정 선택에서 가장 중요하다.

설계·질문대표 방법효과크기·보완핵심 주의점
두 독립 집단 평균Welch t 검정평균차·신뢰구간·표준화 평균차독립성, 이상값, 표본 수
같은 대상 전후 평균대응 t 검정차이의 평균·구간·대응 효과크기원점수보다 차이값 분포 확인
세 집단 이상 평균ANOVA·Welch ANOVA$\eta^2$, $\omega^2$, 사후 비교전체 유의만으로 집단쌍 특정 불가
순서·강건 비교Mann-Whitney·Wilcoxon·Kruskal-Wallis순위 기반 효과·분포 그림자동으로 중앙값 검정은 아님

두 독립 집단의 표본 수나 분산이 다르면 등분산을 전제로 하는 고전적 pooled t 검정보다 Welch t 검정을 우선 검토한다. 대응 t 검정은 두 집단 평균이 아니라 같은 대상의 차이값 평균이 0인지를 검정한다. 짝 정보를 버리고 독립표본 검정을 사용하지 않는다.

독립 두 집단의 표준화 평균차 Cohen의 $d$는 다음과 같이 계산할 수 있다.

d=(x̄_1-x̄_2) ÷ (s_p), s_p=\sqrt((n_1-1)s_1^2+(n_2-1)s_2^2) ÷ (n_1+n_2-2)

두 집단이 각각 $n=25$, 평균이 78과 70, 표준편차가 모두 10이면 $s_p=10$, $d=(78-70)/10=0.8$이다. 표본이 작으면 Hedges의 $g$ 같은 편향 보정치를 고려한다. 표준화 효과가 같아도 실제 단위의 중요성은 다를 수 있으므로 평균차 8점과 구간도 함께 보고, 관습적 크기 기준을 맥락 없이 적용하지 않는다.

세 집단 이상에서 분산분석의 전체 효과크기 한 예는 다음과 같다.

η^2=\fracSS_betweenSS_total

$\eta^2$는 표본에서 집단 간 제곱합이 전체 제곱합에서 차지하는 비율이지만, 모집단 효과의 불편 추정량은 아니며 요인 수와 설계에 따라 부분 $\eta^2$와 의미가 달라진다. 전체 검정이 유의하면 사전에 정한 대비 또는 다중비교 보정을 적용한 사후 검정을 사용한다.

Mann-Whitney 검정은 일반적으로 두 분포의 순위 차이를 평가한다. 두 분포의 모양이 비슷하고 위치만 다르다는 조건이 있을 때 중앙값 차이처럼 해석할 수 있으므로, 비모수라는 이유만으로 항상 “중앙값 검정”이라고 부르지 않는다. Kruskal-Wallis 검정이 유의해도 어느 집단이 다른지는 보정된 사후 비교가 필요하다.

5. 교란·부분상관·시간·표본 선택

제3의 변수 $z$를 선형적으로 통제한 부분상관은 세 쌍의 상관으로 다음과 같이 표현할 수 있다.

r_xy· z=\fracr_xy-r_xzr_yz \sqrt(1-r_xz^2)(1-r_yz^2)

$|r_{xz}|=1$ 또는 $|r_{yz}|=1$이면 분모가 0이어서 정의되지 않는다. 부분상관은 관측한 $z$와의 선형 관계를 조정할 뿐 비선형 효과, 측정오차, 관측되지 않은 교란을 자동 제거하지 않는다. 원인의 공통 결과인 충돌변수(collider)를 조건화하면 오히려 가짜 관계가 생길 수 있으므로 통제 변수는 인과 구조와 시간 순서를 근거로 정한다.

위협관계가 왜곡되는 방식확인·대응
비선형성상관 0 근처여도 곡선 관계 존재산점도·변환·비선형 모형
범위 제한일부 구간만 표집해 관계 약화·변형모집단 범위와 표집 기준 확인
집단 혼합·교란전체와 층별 방향이 다름층별 그래프·설계 기반 조정
공통 시간 추세무관한 시계열도 높은 상관추세·계절·차분·시차 확인
이상값한두 점이 계수와 유의성 지배원자료 확인·강건성 분석
결측·선택분석 포함 여부가 두 변수와 관련결측 패턴·선택 과정 기록
다중 탐색우연히 큰 계수·작은 p-value 선택탐색 수 기록·보정·독립 검증

두 시계열이 함께 증가하면 공통 추세만으로 높은 상관이 생길 수 있다. 원시 수준, 추세 제거, 차분, 계절 조정, 시차 관계를 목적에 맞게 비교한다. 자기상관이 있는 시계열이나 동일 사람의 반복 측정에서는 행 수가 곧 독립 표본 수가 아니므로 시계열·혼합모형·군집 강건 방법 등 구조를 반영한다.

6. 관계 탐색의 실행 절차

  1. 질문, 분석 단위, 변수 유형, 시간·짝·그룹 구조를 정한다.
  2. 결측·고유값·범위·단위를 확인하고 원자료 그래프를 그린다.
  3. 질문에 맞는 조건부 비율·상관·평균차·순위 통계량을 계산한다.
  4. 기대빈도, 분산 0, 이상값, 등분산, 짝 정보 같은 경계를 점검한다.
  5. p-value와 효과크기·신뢰구간·표본 수를 함께 해석한다.
  6. 교란·집단 혼합·시간 추세·표본 선택에 대한 강건성 분석을 한다.
  7. 탐색한 관계와 선택 기준을 기록하고 중요한 결과는 별도 자료에서 확인한다.

7. 사례 적용

상황: 온라인 교육 서비스에서 학습시간, 시험점수, 수강 채널, 수료 여부를 분석한다. 일부 기업 단체 수강생은 학습시간이 매우 길고 동일 기업 구성원이 함께 수강한다.

판단 과정:

  1. 학습시간-점수 산점도를 개인·기업 수강별로 나누고 피어슨·스피어만 상관과 극단값 포함 전후를 비교한다.
  2. 채널-수료 여부는 채널별 수료율·분모를 제시하고 기대빈도와 크래머 V를 확인한다.
  3. 채널별 점수는 원자료 분포·표본 수·분산을 보고 Welch ANOVA와 효과크기, 보정된 사후 비교를 검토한다.
  4. 같은 기업 구성원의 관측이 독립이 아닐 수 있으므로 기업 그룹을 반영한 분석과 검증 분할을 사용한다.
  5. 기업 수강 여부와 수강 시작 시점을 층화해 전체 관계가 구성비나 시간 추세에서 생겼는지 확인한다.

결론: 변수 유형뿐 아니라 관측 설계와 조건부 구조에 맞는 도구를 사용하고, 계수·p-value·효과크기·불확실성을 분리해 보고한다.

오답 함정: 학습시간과 점수의 상관이 높다는 이유만으로 학습시간 증가가 모든 수강생의 점수를 같은 폭으로 올린다고 해석하지 않는다.

수치형과 범주형 두 변수 조합에 따라 산점도·상관, 상자그림·집단비교, 교차표·카이제곱을 선택하는 2×2 매트릭스
수치형과 범주형 두 변수 조합에 따라 산점도·상관, 상자그림·집단비교, 교차표·카이제곱을 선택하는 2×2 매트릭스

수치-수치는 산점도와 상관, 수치-범주는 집단 분포, 범주-범주는 교차표와 연관성 지표가 기본 출발점이다. 척도·표본크기·독립성·비선형성에 따라 검정과 효과크기를 조정한다.

수치형 두 변수의 표본 상관계수는 다음과 같지만 상관은 인과가 아니다.

r=(Σ_i(x_i-x̄)(y_i-ȳ)) ÷ (√(Σ_i(x_i-x̄)^2Σ_i(y_i-ȳ)^2))
두 집단 안에서는 양의 관계지만 집단을 합친 전체 회귀선은 음의 방향이 되는 심슨의 역설 예시 산점도
두 집단 안에서는 양의 관계지만 집단을 합친 전체 회귀선은 음의 방향이 되는 심슨의 역설 예시 산점도

두 집단 안에서는 X와 Y가 함께 증가하지만 집단을 합친 전체 추세는 반대 방향이다. 전체 상관을 해석하기 전에 집단 구성·시간·지역 같은 제3변수로 조건부 관계를 확인한다.

변수 조합대표 그림대표 수치
수치-수치산점도·선그래프Pearson·Spearman
수치-범주상자·바이올린평균·중앙 차이, 효과크기
범주-범주교차표·모자이크카이제곱, Cramér's V

시험 판단 포인트

  • 피어슨 상관은 선형 관계, 스피어만 상관은 순위 기반 단조 관계를 측정한다.
  • 한 변수의 분산이 0이면 피어슨 상관이 정의되지 않는다.
  • 스피어만의 단순 순위차 공식은 동순위가 없을 때 사용한다.
  • 범주형 변수 관계는 교차표의 조건부 비율·기대빈도·독립성 검정·효과크기를 함께 본다.
  • 희소 셀·대응 범주 자료에는 일반 카이제곱 독립성 검정을 기계적으로 적용하지 않는다.
  • 독립 두 집단의 분산이 다를 수 있으면 Welch t 검정을 검토하고, 대응 자료는 차이값을 분석한다.
  • 유의성과 효과크기는 별도이며 전체 ANOVA 유의만으로 다른 집단쌍을 특정할 수 없다.
  • 비모수 검정이 항상 중앙값 차이만을 검정하는 것은 아니다.
  • 부분상관은 인과관계나 모든 교란 제거를 보장하지 않는다.

자주 틀리는 부분

  • 상관계수 0을 모든 형태의 관계 부재로 해석하지 않는다.
  • 동순위가 있는데 스피어만의 단순 순위차 공식을 그대로 적용하지 않는다.
  • 행 비율과 열 비율이 같은 질문에 답한다고 보지 않는다.
  • p-value가 작으면 크래머 V나 평균차도 크다고 해석하지 않는다.
  • 기대빈도가 작은 희소표에 카이제곱 근사를 무조건 적용하지 않는다.
  • 같은 대상 전후 자료를 독립표본으로 처리하지 않는다.
  • Mann-Whitney 검정을 조건 확인 없이 중앙값 검정으로 단정하지 않는다.
  • 여러 집단을 반복 t 검정만으로 비교해 제1종 오류를 늘리지 않는다.
  • 공통 시간 추세의 상관을 직접 인과로 해석하지 않는다.
  • 통제 변수를 많이 넣을수록 항상 교란이 줄어든다고 보지 않는다.
스스로 확인하기

개념 확인 문제

문제를 누르면 바로 아래에서 정답과 해설을 확인할 수 있습니다.

01교차표에서 행 합계가 40, 열 합계가 50, 전체 표본이 80일 때 독립 가정 아래 해당 셀의 기대빈도는?
정답 및 해설

25

독립 가정 아래 기대빈도는 (행 합계×열 합계)/전체이므로 $40\times50/80=25$다.

02동순위가 없는 다섯 관측치에서 두 순위의 차이 제곱합이 4일 때 스피어만 순위상관은?
정답 및 해설

0.8

동순위가 없으므로 $\rho_s=1-6\sum d_i^2/[n(n^2-1)]$을 적용한다. $1-6\times4/[5(25-1)]=1-24/120=0.8$이다.

03서로 독립인 두 집단의 표본 수와 분산이 다르고 평균 차이를 비교하려 한다. 어떻게 판단해야 하는지 근거와 함께 서술하시오.
정답 및 해설

Welch t 검정과 평균차·신뢰구간·효과크기를 함께 검토한다.

독립 두 집단의 평균 차이에서 표본 수와 분산이 다를 수 있으면 Welch t 검정이 적절한 기본 선택이다. 검정 결과뿐 아니라 원단위 평균차·신뢰구간·표준화 효과크기와 분포를 함께 본다.

04매우 큰 표본에서 카이제곱 검정의 p-value는 작지만 크래머 $V=0.03$이었다. 타당하게 해석하시오.
정답 및 해설

통계적 연관 신호와 관계 크기를 분리하고 조건부 비율·실무 중요성을 확인한다.

표본이 매우 크면 작은 차이도 작은 p-value를 만들 수 있다. $V=0.03$은 표본에서 측정된 연관 크기가 작음을 시사하므로 조건부 비율 차이, 신뢰구간, 분야의 비용·중요성을 함께 판단한다.