모수 유의성·적합도 검정

핵심 요약

모수 유의성 검정은 회귀계수나 여러 모형 항이 특정 값과 구분되는지 평가하고, 적합도 검정은 관측자료와 모형이 기대하는 구조의 차이가 표본 변동으로 설명 가능한지 평가한다. 두 검정 모두 귀무가설, 대립가설, 검정통계량, 유의수준과 가정을 먼저 정해야 한다.

p-value는 귀무가설과 검정 가정이 맞을 때 현재 통계량 이상으로 극단적인 결과가 나올 확률이다. 귀무가설이 참일 확률, 효과가 클 확률이나 모형이 옳을 확률이 아니다. 통계적으로 유의한 계수도 예측력·인과성·업무 가치를 보장하지 않고, 유의하지 않은 결과도 효과가 정확히 0임을 증명하지 않는다. 신뢰구간·효과크기·잔차와 보정·독립 검증 성능을 함께 해석한다.

학습 목표

• 개별 모수, 공동 모수, 적합도와 예측성능의 질문을 구분한다.
• 귀무가설·대립가설·유의수준·p-value를 정확히 해석한다.
• t·Wald·부분 F·우도비 검정의 통계량과 조건을 설명한다.
• Pearson 카이제곱 적합도 통계량과 자유도를 계산한다.
• 양측 검정과 신뢰구간의 관계, 로지스틱 회귀의 오즈비를 해석한다.
• 제1종·제2종 오류와 검정력, 다중검정 문제를 판정한다.
• 통계적 유의성, 모형 적합도, 예측성능과 인과성을 분리한다.

1. 먼저 질문을 구분한다

유의성 검정과 적합도 검정은 모두 “차이가 있는가”를 묻지만 비교 대상이 다르다. 적합도 검정의 p-value가 크더라도 모형이 참이라고 증명되는 것은 아니며, 계수가 유의하더라도 모형 전체가 잘 맞는다는 뜻은 아니다.

2. 가설검정의 구성과 p-value

양측 계수 검정의 대표 가설은 다음과 같다.

H0: βj = β0
H1: βj ≠ β0

단측 대립가설 βj>β0 또는 βj<β0는 방향이 사전에 정해져 있고 반대 방향의 효과를 같은 방식으로 탐지할 필요가 없을 때만 사용한다. 결과를 본 뒤 양측을 단측으로 바꾸면 제1종 오류 통제가 깨진다.

p-value는 다음 조건부 확률이다.

p-value
= P(관측값 이상으로 귀무가설에 불리한 검정통계량 | H0와 검정 가정)

유의수준 α는 분석 전에 정하는 기각 기준이다. p<α이면 정한 규칙에 따라 H0를 기각하고, p≥α이면 H0를 기각하지 못한다. 후자는 H0가 참이라는 증명이나 효과가 없다는 확정이 아니다.

같은 표본 수와 검정에서 α를 낮추면 제1종 오류는 줄지만 일반적으로 제2종 오류는 늘고 검정력은 낮아질 수 있다. 검정력은 실제 효과크기, 표본 수, 오차 변동, 설계와 검정 방법에도 의존한다.

3. 개별 모수: t·z·Wald 검정과 신뢰구간

선형회귀 계수의 대표 t 통계량은 다음과 같다.

t = (β̂j - β0) / SE(β̂j)

고전 선형회귀 가정에서 잔차 자유도를 가진 t 분포와 비교한다. 로지스틱 회귀 같은 최대우도 모형에서는 큰 표본에서 다음 z 통계량을 사용하고, 한 계수의 Wald 카이제곱 통계량은 z²와 같다.

z = (β̂j - β0) / SE(β̂j)
Wald χ²(1) = z²

여러 선형 제약 H0:Rβ=r의 공동 Wald 통계량은 추정 공분산행렬 V̂를 사용한다.

W = (Rβ̂-r)' [R V̂ R']⁻¹ (Rβ̂-r)  ~  χ²(q)

여기서 q는 독립 제약 수다. 작은 표본, 희귀 사건, 완전·준완전 분리나 경계에 가까운 추정에서는 Wald 근사가 불안정할 수 있으므로 우도비 검정, 정확·재표본 방법 또는 모형별 보정법을 검토한다.

신뢰구간과 양측 검정

동일한 표준오차와 분포 근사를 사용하는 양측 검정에서는 (1-α) 신뢰구간이 귀무값 β0를 포함하지 않을 때 유의수준 α에서 H0를 기각한다.

(1-α) 신뢰구간 = β̂j ± 임계값 × SE(β̂j)

추정계수 β̂=2.4, 표준오차 0.8, 자유도 20이면 t=3.0이다. 95% t 임계값 약 2.086을 쓰면 신뢰구간은 2.4±2.086×0.8=(0.731, 4.069)다. 0을 포함하지 않으므로 같은 양측 t 검정에서 5% 수준으로 기각하며, 양측 p-value는 약 0.007이다. 계수 2.4는 효과의 크기이고 t=3은 0에서 표준오차 단위로 떨어진 정도다.

로지스틱 회귀의 오즈비

로지스틱 회귀의 계수는 다른 변수가 같을 때 설명변수 1단위 증가에 따른 로그 오즈 변화다. 오즈비와 신뢰구간은 계수와 계수 신뢰구간을 지수변환한다.

오즈비 OR = exp(β̂)
OR의 신뢰구간 = [exp(계수 CI 하한), exp(계수 CI 상한)]

예를 들어 β̂=0.405, SE=0.150이면 z=2.70, OR=exp(0.405)≈1.50이다. 정규근사 95% 계수 신뢰구간은 (0.111, 0.699), 오즈비 신뢰구간은 약 (1.12, 2.01)이다. 이는 오즈가 약 1.5배라는 조건부 연관이며 위험비 1.5배나 인과효과를 자동으로 뜻하지 않는다.

4. 여러 계수의 공동 검정

상관된 변수들은 개별 표준오차가 커져 각 p-value가 유의하지 않아도 묶음 전체는 유의할 수 있다. 질문이 “추가한 q개 계수가 모두 0인가”라면 개별 검정을 q번 수행하는 대신 공동 검정을 사용한다.

부분 F 검정

축소모형의 잔차제곱합을 RSS_R, 전체모형을 RSS_F, 추가 모수 수를 q, 전체모형 모수 수를 p_F, 표본 수를 n이라 하자.

F = [(RSS_R - RSS_F) / q] / [RSS_F / (n - p_F)]
자유도 = (q, n-p_F)

RSS_R=150, RSS_F=120, q=2, n=100, p_F=5이면 F=11.875, 자유도는 (2,95)다. 고전 부분 F 검정은 중첩 선형모형과 등분산·독립 오차 가정에 의존하므로 이분산이나 군집 상관이 있으면 적합한 강건 공동 검정을 사용한다.

우도비 검정

중첩된 축소모형의 최대 로그우도를 ℓ_R, 전체모형을 ℓ_F라 하면 다음과 같다.

LR = 2(ℓ_F - ℓ_R)
LR  ~  χ²(q)  (큰 표본의 정칙성 조건 아래)

여기서 정칙성 조건은 잔차의 정규성을 뜻하지 않는다. 축소모형이 전체모형에 중첩되고, 모수가 식별 가능하며 귀무값이 모수공간의 경계에 있지 않는 등 Wilks 근사가 성립하는 조건을 뜻한다. 작은 표본, 경계 모수·혼합모형의 분산성분, 식별 실패에서는 기준분포가 단순 카이제곱이 아닐 수 있다.

ℓ_R=-125, ℓ_F=-120, 추가 모수 q=2이면 LR=10이고 카이제곱 자유도 2의 상측 p-value는 약 0.00674다. 이는 전체모형의 우도가 유의하게 개선됐다는 근거이지 테스트 예측오차나 업무 가치가 충분히 개선됐다는 증거는 아니다.

비중첩 모형은 단순 LR 카이제곱 검정으로 비교하지 않는다. 예측 목적이면 교차검증, 정보기준을 쓰면 동일 데이터·동일 우도 정의에서 AIC·BIC 등을 비교하되, 정보기준 차이를 p-value로 해석하지 않는다.

5. 적합도 검정

Pearson 카이제곱 적합도

k개 범주의 관측빈도 O_i와 귀무가설의 기대빈도 E_i를 비교한다.

X² = Σ[(O_i - E_i)² / E_i]
자유도 = k - 1 - m

m은 같은 데이터에서 기대분포를 만들기 위해 추정한 독립 모수 수다. 기대비율이 완전히 사전 지정되면 m=0이다. 관측빈도와 기대빈도의 합계가 같아야 하고, 관측이 독립이며 기대빈도가 카이제곱 근사에 충분히 커야 한다. 희소 범주가 많으면 범주 통합, 정확검정이나 모의실험 기반 p-value를 검토한다.

사전에 기대비율이 (0.40, 0.35, 0.25)로 지정된 100건에서 다음 결과를 얻었다.

자유도는 3-1=2, p-value는 약 0.1215다. 5% 수준에서 기대분포와의 차이를 발견하지 못했지만, 기대분포가 참이라고 증명된 것은 아니다. 더 작은 차이를 찾을 검정력이 부족할 수도 있다.

모형 유형별 적합도 확인

적합도 검정에서 p-value가 크면 “부적합 증거를 발견하지 못했다”라고 표현한다. 표본이 작으면 큰 불일치도 놓칠 수 있고, 표본이 매우 크면 사소한 불일치도 유의할 수 있다. 적합도 검정은 잔차 그래프, 효과크기와 실제 예측 오차를 대체하지 않는다.

6. 주요 가정과 잘못된 대응

강건 표준오차는 특정 분산·상관 구조에서 불확실성 추정을 개선하지만, 잘못된 함수형태·교란·측정오차나 선택 편향을 자동으로 고치지 않는다. p-value가 작아지는 방법을 결과를 본 뒤 골라서는 안 된다.

7. 다중검정과 선택 편향

m개의 참인 귀무가설을 각각 5% 수준으로 검사하면 하나 이상 거짓 양성이 나올 가능성이 커진다. 가족단위 오류율을 단순히 통제하는 Bonferroni 기준은 다음과 같다.

각 검정의 기준 = α / m

예를 들어 전체 α=0.05에서 10개 계수를 동시에 선별하면 각 검정 기준은 0.005다. Bonferroni는 보수적일 수 있으며, 탐색 목적에서는 거짓발견률(FDR) 통제를 사용할 수 있다. 어떤 오류를 통제하는지와 가설 묶음을 사전에 정한다.

같은 데이터에서 변수를 반복 추가·삭제하거나 가장 좋은 하위집합을 고른 뒤 최종 p-value를 선택 전 추론처럼 해석하면 선택 편향이 생긴다. 예측 목적이면 계수별 유의성만으로 변수를 제거하지 말고 규제와 교차검증 성능을 본다. 효과가 “없음” 또는 “실무적으로 무시 가능함”을 주장하려면 단순한 p≥0.05가 아니라 사전 정의한 실무적 한계와 신뢰구간 또는 동등성 검정을 사용한다.

8. 무엇을 함께 보고할까

보고서에는 가설, 양측·단측 여부, 검정통계량과 자유도, p-value, 추정치와 신뢰구간, 표본 수, 사용한 공분산·보정 방법과 주요 진단을 함께 적는다. p<0.001처럼 임계값만 보고하기보다 가능한 범위에서 실제 p-value와 효과크기를 제시한다.

9. 사례 적용

상황: 고객 이탈 로지스틱 회귀에서 새 서비스 이용 여부의 계수가 유의한지, 전체모형이 기본 고객정보만 사용한 축소모형보다 나은지 평가한다.

주어진 조건: 고객이 지역별로 군집되어 있고 표본이 매우 크다. LR 검정은 유의하지만 독립 테스트 AUC 개선은 0.001이다.

판단 과정:

1. 지역 내 의존성을 반영한 군집 강건 표준오차 또는 적절한 계층 모형을 검토한다.
2. 계수와 신뢰구간을 오즈비로 변환해 효과 방향과 크기를 보고한다.
3. 축소·전체모형의 중첩성과 LR 정칙성 조건을 확인한다.
4. LR 유의성은 우도 개선의 근거로만 해석한다.
5. 독립 테스트의 판별력·보정·경보 수와 변수 수집·운영 비용을 별도로 비교한다.

결론: 통계적으로 유의하더라도 예측 개선과 업무 기여가 작으면 추가 변수를 반드시 운영모형에 포함할 이유가 되지 않는다. 정책적 해석 목적이면 작은 효과도 단위와 신뢰구간을 명시해 보고할 수 있다.

오답 함정: p-value가 작다는 사실을 큰 효과, 인과관계, 완벽한 적합도나 높은 예측성능으로 바꾸어 설명하지 않는다.

가설과 검정 방향을 먼저 정하고 표본설계·분포 가정을 확인한 다음 검정통계량을 계산한다. $p\le\alpha$이면 귀무가설을 기각할 근거가 있다고 말하지만, 효과가 크거나 실무적으로 중요하다는 결론은 효과크기와 신뢰구간으로 별도 확인한다.

회귀계수 $\hat{\beta}_j$의 표준오차를 $SE(\hat{\beta}_j)$라 하면 대표적인 t 통계량은 다음과 같다.

양측검정에서 $\alpha=0.05$이면 표준정규 근사 기각역은 대략 $|z|>1.96$이다. 관측값 $z=2.3$은 오른쪽 기각역에 있지만, p-value는 귀무가설이 참일 확률이 아니라 귀무가설 아래에서 이보다 극단적인 결과가 나올 확률이다.

시험 판단 포인트

• p-value는 H0가 참일 확률이나 모형이 맞을 확률이 아니다.
• p≥α는 H0를 기각하지 못한 것이지 H0를 증명한 것이 아니다.
• 동일한 양측 검정과 신뢰구간에서는 CI가 귀무값을 제외할 때 H0를 기각한다.
• 개별 계수 검정과 여러 계수의 공동 검정은 질문이 다르다.
• 부분 F 검정은 중첩 선형모형의 RSS 감소를 비교한다.
• LR은 중첩 모형의 최대 로그우도 차이를 두 배 하며 Wilks 정칙성 조건을 확인한다.
• Pearson 적합도 자유도는 기대분포를 같은 데이터에서 추정한 모수 수만큼 줄어든다.
• 큰 적합도 p-value는 모형이 참이라는 증거가 아니다.
• 통계적 유의성은 효과크기·예측성능·인과성·업무 가치를 대신하지 않는다.
• 여러 가설과 데이터 기반 변수 선택은 다중성·선택 편향을 만든다.

자주 틀리는 부분

• p-value가 0.03이면 귀무가설이 참일 확률이 3%라고 해석한다.
• 유의하지 않다는 결과를 효과가 정확히 0이라는 증명으로 본다.
• 큰 표본의 작은 p-value를 큰 효과크기로 해석한다.
• 오즈비를 위험비 또는 인과효과로 그대로 해석한다.
• 개별 p-value 여러 개로 공동가설을 대신한다.
• 비중첩 모형에 단순 LR 카이제곱 검정을 적용한다.
• 적합도 검정 p-value가 크면 모든 가정과 예측력이 입증됐다고 판단한다.
• 같은 자료로 분포 모수를 추정하고도 원래 KS 기준분포를 그대로 사용한다.
• 변수 선택에 사용한 데이터의 p-value를 선택 전 추론처럼 해석한다.