기초 통계분석

핵심 요약

기술통계·상관·가설검정과 함께 선형회귀의 계수·잔차·가정, 결정계수, F·t검정, 다중공선성과 변수 선택을 정리한다.

본문

평균·중앙값·분산·표준편차·변동계수·z-score

평균은 모든 값을 합해 개수로 나눈 대표값이고, 중앙값은 정렬했을 때 가운데 값이다. 극단값이 크면 평균이 더 민감하게 변한다.

표본분산은 보통

s² = Σ(x_i - x̄)² / (n-1)

로 계산하고 표본표준편차는 s=√s²다. R의 var()도 표본분산을 사용한다.

예를 들어 2,4,6,8,10의 평균은 6이고 편차제곱합은 40이므로 표본분산은 40/(5-1)=10, 표본표준편차는 √10≈3.1623이다.

변동계수는 평균에 대한 상대적 산포를 볼 때 CV=s/|x̄| 같은 형태로 사용할 수 있으나 평균이 0에 가깝거나 음수일 때 해석에 주의한다.

z-score는 z=(x-x̄)/s처럼 위치를 표준편차 단위로 나타낸다.

관측마다 중요도나 빈도가 다르면 가중평균을 사용할 수 있다.

가중평균 = Σ(w_i x_i) / Σw_i

예를 들어 점수 80과 90의 가중치가 각각 1과 2라면 가중평균은 (1×80 + 2×90)/(1+2) = 260/3 ≈ 86.67이다.

공분산·피어슨/스피어만 상관과 해석 주의

공분산이 양수면 두 변수가 함께 증가하는 경향, 음수면 반대 방향 경향을 나타내지만 단위에 영향을 받는다.

피어슨 상관계수는 선형 관계의 방향과 강도를 -1~1 범위로 표준화한다. 스피어만 상관은 순위를 이용하므로 단조 관계나 극단값에 대한 강건성을 고려할 때 사용할 수 있다.

상관계수가 높아도 인과관계가 확정되는 것은 아니다. 제3의 변수, 역인과, 집단 혼합 가능성을 검토한다.

선형변환이 상관과 공분산에 미치는 영향도 구분한다. X'=a+bX, Y'=c+dY에서 b,d가 0이 아니면 Pearson 상관의 절댓값은 유지되고 부호는 b×d의 부호에 따라 바뀐다. 반면 공분산은 Cov(X',Y') = bd·Cov(X,Y)로 스케일이 변한다.

Pearson r=0은 선형 상관이 없다는 뜻이지 모든 비선형 의존관계까지 없다는 뜻은 아니다. 분산이 0이 아닌 자료에서 Y=a+bX (b>0)처럼 완전한 양의 선형관계이면 r=1이다. 또한 전체 자료의 상관 방향이 각 하위집단의 상관 방향과 달라질 수 있는 심프슨의 역설이 있으므로 집단 구성과 교란 요인을 함께 본다.

귀무가설·유의수준·p-value와 제1·2종 오류

가설검정에서는 귀무가설 H0와 대립가설 H1을 정하고 검정통계량의 관측 결과가 H0 아래 얼마나 극단적인지 본다.

• 유의수준 α: 귀무가설이 참일 때 기각할 제1종 오류를 허용하는 기준
• p-value: 귀무가설이 참이라고 가정했을 때 관측값 이상으로 극단적인 결과가 나올 확률
• 제1종 오류: 참인 H0를 기각
• 제2종 오류: 거짓인 H0를 기각하지 못함

p<0.05는 “귀무가설이 참일 확률이 5% 미만”이라는 뜻이 아니다.

일표본·독립표본·대응표본 t검정

• 일표본 t검정: 한 집단 평균을 기준값과 비교
• 독립표본 t검정: 서로 다른 두 집단 평균 비교
• 대응표본 t검정: 같은 대상의 전후처럼 짝이 있는 차이의 평균을 검정

일표본 t 통계량은

t = (x̄-μ0)/(s/√n), 자유도 n-1

이다.

예를 들어 n=25, x̄=52, μ0=50, s=5이면 표준오차가 1이므로 t=2, 자유도는 24다.

독립표본에서 두 집단 분산이 같다고 가정하지 않는 Welch t검정이 흔히 사용되며, 대응 자료를 독립표본으로 다루면 개인별 짝 정보를 버릴 수 있다.

같은 모형 가정과 양측 기준을 사용할 때 신뢰구간과 가설검정은 대응한다. 평균차의 양측 95% 신뢰구간이 0을 포함하지 않으면 같은 가정의 양측 α=0.05 검정에서 H0: 평균차=0을 기각한다. 반대로 0을 포함하면 그 기준에서는 기각하지 못한다.

분산분석(ANOVA)과 카이제곱 적합도·독립성 검정

세 집단 이상 평균을 각각 여러 번 t검정하면 전체 제1종 오류가 커질 수 있다. ANOVA는 집단 간 변동과 집단 내 변동을 비교해 평균 차이가 있는지 한 번에 검정한다.

F = 집단간 평균제곱 / 집단내 평균제곱

유의한 결과는 “모든 집단 평균이 서로 다르다”가 아니라 적어도 하나의 평균 차이가 있다는 뜻이다. 어느 집단이 다른지는 사후검정 등 추가 분석이 필요하다.

카이제곱 검정에서는 범주형 빈도를 다룬다.

χ² = Σ (O-E)²/E

• 적합도 검정: 한 범주형 변수의 관측 분포가 기대 분포와 맞는지
• 독립성 검정: 두 범주형 변수 사이에 연관이 있는지

r×c 분할표의 독립성 검정 자유도는 (r-1)(c-1)이다.

카이제곱 독립성 검정에서 각 셀의 기대도수는 독립을 가정해

E = (해당 행 합계 × 해당 열 합계) / 전체 합계

로 계산한다. 관측도수 O와 이 기대도수 E의 차이를 χ² = Σ(O-E)²/E에 넣는다.

ADsP 시험 핵심 보충: 회귀분석

단순선형회귀는 Y = β0 + β1X + ε, 다중선형회귀는 여러 설명변수의 선형결합으로 연속형 반응변수의 조건부 평균을 설명한다. 다른 설명변수를 고정할 때 회귀계수는 해당 변수가 한 단위 증가함에 따른 예측 평균의 변화량이다. 절편은 모든 설명변수가 0일 때의 예측값으로, 0이 관측 범위 밖이면 해석에 주의한다.

최소제곱법은 잔차제곱합을 최소화한다. 잔차는 관측값−적합값이다. 예측식이 ŷ=2+3x이면 x=4의 예측값은14이고, 실제값이15이면 잔차는1이다.

기본 가정은 선형적인 평균 구조, 오차의 독립성·등분산성이다. 오차의 정규성은 소표본에서의 정확한 t·F 추론과 연결된다. 반응변수 자체가 정규분포여야 한다는 가정은 아니다. 잔차-적합값 산점도의 깔때기 모양은 이분산성의 신호이고, 잔차의 시간별 규칙성은 독립성 위반의 신호다.

절편을 포함한 보통의 최소제곱회귀에서 SST=SSR+SSE, R²=1−SSE/SST다. SST=100, SSE=25이면 R²=0.75다. 설명변수를 추가하면 같은 자료의 R²는 감소하지 않지만 수정 R²는 변수 수를 반영해 감소할 수 있다. 수정 R²는 1−(SSE/(n−p−1))/(SST/(n−1))이며 p는 설명변수 수다.

모형의 F검정은 절편을 제외한 회귀계수가 모두0이라는 귀무가설을 검정한다. 유의하다고 모든 계수가 유의한 것은 아니다. 개별 계수의 t검정은 해당 계수가0이라는 가설을 검정하며, t=추정계수/표준오차다. 잔차 자유도는 절편 포함 모형에서 n−p−1이다.

설명변수끼리 강하게 관련되면 다중공선성으로 계수 추정과 해석이 불안정해질 수 있다. VIF는 이를 살피는 지표로, 특정 설명변수를 나머지 변수로 회귀한 결정계수 Rj²에 대해 VIF=1/(1−Rj²)다. Rj²=0.8이면 VIF=5다.

전진 선택은 절편 모형에서 변수를 추가하고, 후진 제거는 전체 후보 모형에서 변수를 제거한다. 단계적 선택은 추가·제거를 함께 검토한다. AIC·BIC는 같은 반응변수·자료에 적합한 모형들 사이에서 적합도와 복잡성을 비교하며 보통 작을수록 선호한다. BIC는 변수 수에 대한 벌점에 log(n)을 사용하므로 n>약7.4이면 AIC보다 같은 추가 모수에 큰 벌점을 준다.

R의 lm(y ~ x1 + x2, data=d)는 절편을 포함한 다중선형회귀다. summary()의 Estimate·Std. Error·t value·Pr(>|t|)는 계수·표준오차·t통계량·양측 p값이다. x1*x2는 x1, x2와 교호항 x1:x2를 함께 포함한다. 교호항이 있으면 x1의 기울기는 x2 값에 따라 달라진다.

절편을 포함하는 회귀식에서 k개 수준의 범주형 변수는 보통 k-1개의 더미변수로 표현한다. 세 지역이면 더미변수는 두 개다. 기준범주는 모든 더미변수가 0이며, 더미계수는 다른 설명변수를 고정한 해당 범주와 기준범주의 조건부 평균 차이다. 예를 들어 부산 더미의 계수가 -3이면 부산의 예측 평균은 기준지역보다 3 작다.