통계적 추정과 가설검정 기초
점추정·구간추정, 신뢰수준, 귀무·대립가설, 유의수준·p값·1종·2종 오류와 기본 검정 선택을 학습한다.
1. 추정의 목적
표본에서 얻은 정보로 모집단의 평균·비율·차이 같은 모수를 추정한다.
모집단 모수 μ, p
▲ 알 수 없음
│
표본 데이터
↓
표본평균 x̄, 표본비율 p̂
↓
점추정·구간추정
2. 점추정과 구간추정
- 점추정: 모수를 하나의 값으로 추정
- 구간추정: 모수가 포함될 것으로 기대하는 범위를 제시
평균 응답시간 점추정: 1.8초
95% 신뢰구간: 1.7초 ~ 1.9초
좋은 추정량의 성질로 불편성, 일치성, 효율성 등을 설명할 수 있지만 일반 필기에서는 의미 수준으로 이해한다.
3. 표준오차
표준오차는 통계량의 표본 간 변동성을 나타낸다.
평균의 대표 표준오차:
SE = s / √n
표본크기 n이 커지면 표준오차가 작아진다. 표본크기를 4배로 늘리면 표준오차는 대략 절반이 된다.
표준편차는 개별 데이터의 산포, 표준오차는 표본통계량의 불확실성을 나타낸다.
4. 신뢰구간
대표적인 형태:
추정값 ± 임계값 × 표준오차
95% 신뢰구간의 정확한 의미는 동일한 절차로 표본을 반복 추출해 구간을 만들면 그 구간 중 약 95%가 참 모수를 포함한다는 것이다.
이미 계산된 하나의 고정 구간에 대해 “모수가 이 구간에 있을 확률이 95%”라고 단순 해석하는 것은 빈도주의 정의와 다르다.
5. 가설검정 절차
귀무가설 H0·대립가설 H1 설정
↓
유의수준 α 결정
↓
검정통계량 계산
↓
p값 또는 기각역 판단
↓
H0 기각 또는 기각하지 못함
↓
업무 맥락에서 효과크기·신뢰구간 해석
“귀무가설을 채택한다”보다 “기각할 충분한 근거가 없다”는 표현이 더 정확하다.
6. 귀무가설과 대립가설
예: 새 화면이 평균 처리시간을 줄이는지 검정
H0: 새 화면의 평균 처리시간은 기존보다 짧지 않다.
H1: 새 화면의 평균 처리시간이 기존보다 짧다.
양측검정은 차이가 있는지, 단측검정은 특정 방향의 차이가 있는지 본다. 데이터 결과를 본 뒤 유리한 방향으로 단측검정을 바꾸면 오류가 커진다.
7. 유의수준과 p값
- 유의수준 α: 귀무가설이 참일 때 잘못 기각하는 위험을 허용한 기준
- p값: 귀무가설 아래에서 관찰 결과와 같거나 더 극단적인 결과가 나올 확률
p = 0.03, α = 0.05
↓
p < α
↓
H0 기각
p값은 다음을 의미하지 않는다.
- 귀무가설이 참일 확률
- 결과가 우연일 확률
- 효과가 크거나 실무적으로 중요할 확률
8. 1종·2종 오류와 검정력
| 실제 | H0 기각 안 함 | H0 기각 |
|---|---|---|
| H0 참 | 올바른 판단 | 1종 오류 α |
| H0 거짓 | 2종 오류 β | 올바른 판단 |
검정력:
Power = 1 - β
실제 효과가 있을 때 이를 발견할 확률이다. 표본크기·효과크기·변동성·유의수준에 영향을 받는다.
9. 통계적 유의성과 실무적 유의성
표본이 매우 크면 작은 차이도 통계적으로 유의할 수 있다.
기존 평균 2.000초
신규 평균 1.995초
p < 0.001
0.005초 차이가 실제 비용·사용자 경험에 의미가 있는지 효과크기와 비용을 함께 판단해야 한다.
10. 대표 검정 선택
| 질문 | 대표 검정 개념 |
|---|---|
| 한 집단 평균과 기준값 비교 | 1표본 평균 검정 |
| 독립된 두 집단 평균 비교 | 독립 2표본 검정 |
| 같은 대상 전후 평균 비교 | 대응표본 검정 |
| 범주형 변수 사이 연관 | 카이제곱 독립성 검정 |
| 세 집단 이상 평균 비교 | 분산분석(ANOVA) |
| 분포 가정이 어려움 | 비모수 검정 검토 |
실제 사용 전 독립성·정규성·등분산성·표본크기 같은 가정을 확인한다.
11. 카이제곱 검정 기초
관측빈도와 기대빈도의 차이를 이용한다.
채널별 오류 여부
오류 정상
모바일 30 270
웹 10 190
H0는 채널과 오류 여부가 독립이라는 가설이 될 수 있다. 기대빈도가 너무 작으면 근사 검정이 부적절할 수 있다.
12. 분산분석 기초
세 집단 이상 평균이 모두 같은지 검정한다.
H0: μ1 = μ2 = μ3
H1: 적어도 하나는 다름
ANOVA가 유의하다고 어느 집단끼리 다른지 자동 알 수 있는 것은 아니다. 사후검정이 필요할 수 있다.
13. 다중검정
많은 가설을 동시에 검정하면 우연히 유의한 결과가 나올 가능성이 커진다.
가설 1개: 우연 기각 위험 α
가설 100개: 일부가 우연히 유의할 가능성 증가
보정 방법과 검정 계획을 고려해야 한다. 데이터를 여러 번 살펴보고 유리한 결과만 보고하는 행위를 피한다.
14. 평균·비율 신뢰구간 계산
모분산을 알고 정규 근사를 사용할 수 있는 평균의 95% 신뢰구간은 다음과 같다.
표본평균 ± 1.96 × σ/√n
예를 들어 표본평균 50, σ=10, n=100이면 50±1.96, 즉 약 [48.04, 51.96]이다. 모분산을 모르고 표본이 작으면 보통 t 분포를 사용하며 자유도는 한 표본 평균 검정에서 n-1이다.
비율의 근사 표준오차는 sqrt(p̂(1-p̂)/n)이다. 필요한 표본크기를 보수적으로 잡을 때 미지의 비율은 p=0.5를 사용하면 분산이 최대가 된다.
15. 검정 선택과 전제
독립 두 집단 평균 → 독립표본 t 또는 Welch t
같은 대상 전후 평균 → 대응표본 t
범주형 변수 간 독립성 → 카이제곱 독립성 검정
세 집단 이상 평균 → 일원분산분석
순서척도·강한 비정규·극단값 → 비모수 대안 검토
Welch t 검정은 두 집단 분산이 같다는 가정을 요구하지 않는다. ANOVA의 귀무가설은 모든 집단 평균이 같다는 것이며, 기각되었다고 어느 집단들이 다른지 자동으로 알 수 있는 것은 아니므로 사후검정이 필요하다.
16. p값·신뢰구간·오류의 정확한 해석
p값은 귀무가설이 참이라는 확률이 아니다. 귀무가설과 검정 가정 아래 현재 통계량 이상으로 극단적인 결과가 나올 확률이다. 양측검정에서 귀무가설 값이 같은 수준의 신뢰구간 밖에 있으면 일반적으로 귀무가설을 기각한다.
- 1종 오류: 참인 귀무가설을 기각
- 2종 오류: 거짓인 귀무가설을 기각하지 못함
- 검정력:
1-β
표본 수를 늘리면 작은 효과도 통계적으로 유의해질 수 있으므로 효과크기와 실무적 중요성을 함께 본다.
17. 다중검정과 순차적 확인의 위험
독립인 20개 귀무가설을 각각 5%로 검정하면 적어도 한 번 거짓 양성이 발생할 확률은 1-0.95^20≈64.2%이다. Bonferroni는 가족별 오류율을 제어하기 위해 각 검정 수준을 α/m으로 낮춘다. FDR은 발견된 기각 중 거짓 발견 비율을 통제하는 관점이다.
데이터를 반복 확인하면서 유리한 시점에 검정을 종료하면 오류율이 증가한다. 사전에 표본크기·중단 기준·분석 계획을 정하거나 적절한 순차검정 방법을 사용해야 한다.
확인 문제
- 표본평균 50, σ=10, n=100의 95% 신뢰구간은 약?
- p값은 귀무가설이 참일 확률인가?
- 같은 사람의 치료 전후 평균 비교에 적합한 구조는?
- 20개 독립 검정을 각각 5%로 할 때 적어도 한 거짓 양성 확률은 약?
- ANOVA를 기각하면 바로 알 수 있는 것은?