표본분포와 중심극한정리

핵심 요약

원자료의 분포와 통계량의 표본분포는 다르다. 원자료 분포는 개별 관측값의 변동을, 표본분포는 같은 방법으로 표본을 반복 추출해 계산한 평균·비율·분산 같은 통계량의 변동을 나타낸다. 표본분포의 표준편차가 표준오차(standard error)이며, 추정과 가설검정의 불확실성을 수치화한다.

중심극한정리(CLT)는 원자료가 정규분포로 변한다는 정리가 아니다. 독립이고 같은 분포를 따르며 평균과 분산이 유한한 관측치의 표본평균을 적절히 표준화하면, 표본크기가 커질수록 그 분포가 표준정규분포에 가까워진다는 정리다. 필요한 표본크기는 비대칭, 꼬리, 이상치, 의존성에 따라 달라진다.

학습 목표

• 모집단분포·표본자료분포·표본분포를 구분한다.
• 추정량의 편향·분산·표준오차·평균제곱오차를 해석한다.
• 표본평균·표본비율·두 표본 차이의 표준오차를 계산한다.
• 중심극한정리와 대수의 법칙, 정확분포와 근사분포를 구분한다.
• t·카이제곱·F 표본분포의 생성 조건과 자유도를 설명한다.
• 유한모집단·집락·시계열·부트스트랩에서 표준오차 계산의 주의를 판정한다.

1. 모집단, 표본, 표본분포

모집단 모수 θ를 추정하는 통계량을 θ̂라 하자. 좋은 추정량을 판단할 때 편향과 분산을 함께 본다.

편향이 0이면 불편추정량이다. 그러나 불편성만으로 충분하지 않다. 편향이 조금 있더라도 분산이 크게 작으면 평균제곱오차가 더 작을 수 있다. 일치성은 표본크기가 커질 때 추정량이 참값에 가까워지는 성질이다.

2. 표본평균의 표본분포

독립이고 동일한 분포를 따르는 X₁,…,Xₙ의 평균을 X̄라 하자. 모집단 평균이 μ, 분산이 σ²<∞이면 모집단 모양과 관계없이 다음 기대값과 분산이 성립한다.

표준편차 σ는 개별 관측값의 퍼짐이고, 표준오차 σ/√n은 표본평균의 표본 간 퍼짐이다. σ를 모르면 표본표준편차 s를 사용해 s/√n으로 추정한다.

표본합 T=ΣXᵢ=nX̄의 기대값과 분산은 다음과 같다.

계산 예제 1. 표본평균의 표준오차와 정밀도

모표준편차가 15이고 독립 표본크기가 25이면 SE(X̄)=15/√25=3이다. 표본크기를 100으로 늘리면 SE=1.5가 된다. 표준오차를 절반으로 줄이려면 표본크기를 두 배가 아니라 네 배로 늘려야 한다.

일반적으로 목표 표준오차를 기존의 r배로 만들려면, 다른 조건이 같을 때 표본크기는 기존의 1/r²배가 필요하다.

2.1 유한모집단수정

크기 N인 유한모집단에서 크기 n을 단순무작위 비복원추출하면 관측치가 독립은 아니지만 표본평균의 분산은 유한모집단수정(FPC)을 포함한다.

표본비율 n/N이 작으면 수정효과가 작지만, 큰 비율을 조사하면 무시하지 않는다. 복원추출이나 사실상 무한모집단 상황에는 이 수정을 적용하지 않는다.

계산 예제 2. 유한모집단수정

N=500, n=100, σ=20이면 독립 근사 표준오차는 20/√100=2다. FPC를 적용하면 2×√(400/499)≈1.7906이다. 모집단의 20%를 비복원추출했으므로 불확실성이 감소한다.

3. 표본비율과 두 추정량의 차이

독립 베르누이 시행에서 표본비율 p̂=X/n은 이항 성공 횟수의 평균이다.

표본비율의 정규근사는 np와 n(1-p)가 충분히 큰지 확인해야 한다. 실제 표준오차 추정에서는 미지의 p 대신 p̂를 쓰기도 하지만, 가설검정과 신뢰구간의 목적에 따라 사용할 비율과 방법이 달라진다.

독립인 두 표본평균의 차이와 두 표본비율의 차이는 각각의 분산을 더한다.

두 표본이 대응되거나 집락을 공유하면 독립 분산합 공식을 그대로 쓰지 않는다. 대응차이의 표준오차 또는 공분산·집락구조를 반영해야 한다.

계산 예제 3. 표본비율의 표준오차

성공확률이 p=0.4, 표본크기가 n=400이면 E(p̂)=0.4, SE(p̂)=√(0.4×0.6/400)≈0.024495다. 정규근사로 약 95% 범위를 계산하면 0.4±1.96×0.024495, 즉 약 [0.3520, 0.4480]이다. 이는 특정 표본에서 계산한 신뢰구간과 같은 절차를 설명하기 위한 모수 기반 표본분포 범위다.

4. 중심극한정리와 대수의 법칙

독립·동일분포이고 E(Xᵢ)=μ, Var(Xᵢ)=σ²<∞인 경우 중심극한정리는 다음 수렴을 설명한다.

대수의 법칙은 일치성의 기반이고, 중심극한정리는 근사적 확률계산과 추론의 기반이다. 서로 관련되지만 같은 정리는 아니다.

‘n≥30이면 언제나 충분하다’는 법칙은 없다. 원자료가 거의 대칭이고 꼬리가 가벼우면 작은 표본에서도 근사가 좋을 수 있지만, 강한 비대칭·희귀사건·두꺼운 꼬리·이상치에서는 훨씬 큰 표본이 필요하다. 분산이 무한한 분포에는 위 형태의 고전적 중심극한정리를 그대로 적용할 수 없다.

계산 예제 4. 표본평균의 정규근사

모평균이 50, 모표준편차가 12이고 독립 표본크기가 36이면 E(X̄)=50, SE(X̄)=12/√36=2다. 중심극한정리가 적절하다고 할 때 P(X̄>54)=P(Z>2)≈0.0228이다. 모집단이 정규분포라면 이 계산은 n=36에서 정확하고, 비정규 모집단이면 근사다.

5. t·카이제곱·F 표본분포

정규모집단에서 독립 표본을 추출하면 다음 정확한 표본분포가 성립한다.

t분포는 표준정규분포보다 꼬리가 두껍고 자유도가 커질수록 표준정규분포에 가까워진다. 위 t·카이제곱·F의 유한표본 정확성은 정규성·독립성 조건에 의존한다. 큰 표본에서 t 기반 평균 추론은 어느 정도 강건할 수 있지만, 심한 비대칭·이상치·의존성은 별도로 점검한다.

계산 예제 5. t 통계량

n=16, X̄=52, S=8인 표본으로 μ₀=48을 검토하면 SE=S/√n=2, t=(52-48)/2=2, 자유도는 15다. σ를 모른다고 해서 표준오차를 생략하는 것이 아니라 S로 추정하고 추가 불확실성을 t분포의 두꺼운 꼬리에 반영한다.

6. 의존성, 유효표본크기, 부트스트랩

행 수가 표본정보량과 항상 같지는 않다. 같은 환자의 반복측정, 같은 학교의 학생, 연속 시계열은 양의 상관 때문에 표준오차가 단순 s/√n보다 커질 수 있다.

평균 집락크기가 m, 집락내상관이 ρ인 단순 근사에서는 설계효과와 유효표본크기를 다음처럼 볼 수 있다.

정상적인 AR(1) 시계열의 평균에 대한 큰 표본 근사에서는 양의 자기상관 ρ가 있을 때 다음 유효표본크기를 참고할 수 있다.

이는 범용 공식이 아니다. 실제 분석은 조사설계 기반 분산추정, 집락강건 표준오차, 혼합모형, HAC 표준오차, 블록 부트스트랩 등 자료 구조에 맞는 방법을 사용한다.

부트스트랩은 관측 표본의 경험분포에서 크기 n으로 복원 재표집하고 통계량을 반복 계산해 표본분포를 근사한다. B개 부트스트랩 통계량을 θ̂*₁,…,θ̂*ᴮ라 하면 표준오차를 다음처럼 추정한다.

부트스트랩도 원표본이 모집단을 대표한다는 전제에 의존한다. 작은 표본의 극단값, 경계모수, 희귀사건, 강한 의존성을 단순 개별행 재표집으로 자동 해결하지 못한다. 의존자료에는 집락 또는 블록 단위 재표집이 필요하다.

7. 사례 적용

상황: 한 공장의 평균 제품 무게를 추정하려고 설비 조정 직후부터 한 시간 간격으로 64개 제품을 측정했다.

독립 가정 계산: 모표준편차가 약 8g이면 SE(X̄)=8/√64=1g이다.

설계 점검: 연속 생산품이 같은 설비 상태를 공유하면 자기상관이 생길 수 있다. 표본크기 64만 보고 독립 표준오차를 확정하지 않고 시간순 도표·자기상관·설비 상태를 확인한다.

결론: 중심극한정리는 잘못된 추출설계나 의존성을 자동으로 고치지 않는다. 추출 간격과 공정 구조를 반영한 표준오차 또는 블록 기반 재표집을 사용해야 한다.

모집단이 오른쪽으로 치우쳐도 독립적인 표본의 크기가 커지면 표본평균의 분포는 정규형에 가까워지고 좁아진다. 원자료 자체가 정규분포로 바뀌는 것은 아니다.

모집단 표준편차가 10이면 $n=100$에서 표본평균 표준오차는 1이다. 표준편차는 개별 관측값의 산포, 표준오차는 반복표본에서 추정량이 흔들리는 정도다.

시험 판단 포인트

• 표준편차는 개별값의 퍼짐, 표준오차는 통계량의 표본 간 퍼짐이다.
• 표본평균의 표준오차는 독립 조건에서 σ/√n이며, 표본크기 네 배에서 절반이 된다.
• 표본비율의 분산은 독립 베르누이 조건에서 p(1-p)/n이다.
• 중심극한정리는 표준화한 표본평균의 분포에 관한 정리이고, 대수의 법칙은 참값으로의 수렴에 관한 정리다.
• 정규모집단의 표본평균은 유한 표본에서도 정확히 정규분포를 따른다.
• t·카이제곱·F의 정확한 유한표본 결과는 정규성·독립성 및 자유도 조건을 확인한다.
• 의존자료는 유효표본크기와 재표집 단위를 설계에 맞게 조정한다.

자주 틀리는 부분

• 한 표본의 히스토그램을 표본분포라고 부르지 않는다.
• 표본 수를 두 배로 늘리면 표준오차가 절반이라고 보지 않는다.
• n≥30만으로 비대칭·두꺼운 꼬리·의존성 문제를 모두 해결했다고 보지 않는다.
• 중심극한정리가 원자료를 정규분포로 바꾼다고 해석하지 않는다.
• 모표준편차를 모를 때 z분포를 기계적으로 사용하지 않는다.
• 행 단위 부트스트랩이 집락·시계열 의존성을 보존한다고 가정하지 않는다.