베이지안 추론의 기본 구조

핵심 요약

베이지안 추론은 데이터를 보기 전 모수에 대한 불확실성인 사전분포와 주어진 모수에서 데이터가 생성되는 모형인 가능도를 결합한다. 결과인 사후분포는 점 하나가 아니라 모수의 불확실성 전체이며, 새 데이터의 예측분포와 손실을 고려한 의사결정으로 이어진다.

사후분포가 정교하게 계산됐다는 사실은 사전분포·가능도·독립성·표본선택 가정이 옳다는 증거가 아니다. 사전예측→데이터 갱신→계산 진단→사후예측→민감도·외부예측→의사결정을 구분한다.

flowchart TD
    A["사전분포"] --> C["사후분포"]
    B["데이터와 가능도"] --> C
    C --> D["사후예측"]
    C --> E["손실 기반 의사결정"]
    C --> F["다음 갱신의 사전"]

학습 목표

• 사전분포·가능도·주변가능도·사후분포를 식과 문장으로 구분한다.
• 조건부 확률과 사전오즈·가능도비를 사용해 사후확률을 계산한다.
• Beta–Binomial 켤레 갱신에서 사후평균·MAP·MLE·신용구간을 계산한다.
• 동일꼬리·최고사후밀도 신용구간과 빈도주의 신뢰구간을 구분한다.
• 사전예측·사후예측·민감도·외부예측 검사의 역할을 설명한다.
• MCMC의 다중 체인·R-hat·ESS·MCSE와 변분추론의 한계를 진단한다.

1. 베이즈 정리와 네 구성요소

연속 모수 θ와 데이터 D에 대한 베이즈 정리는 다음과 같다.

p(θ|D) = p(D|θ)p(θ) / p(D)
p(D)   = ∫ p(D|θ)p(θ)dθ
p(θ|D) ∝ p(D|θ)p(θ)

이산 모수라면 적분 대신 가능한 θ에 대한 합을 쓴다.

가능도는 θ에 대해 적분해 1이 될 필요가 없다. 사후분포는 주변가능도로 정규화되어 θ에 대한 확률분포가 된다. 두 모형 M₁,M₀의 주변가능도 비는 Bayes factor이지만, 사전분포와 모형공간에 민감하므로 예측 성능·민감도와 함께 해석한다.

2. 조건부 확률: 진단검사 예제

유병률 1%, 민감도 90%, 특이도 95%인 검사를 10,000명에게 적용한다고 하자.

P(D|+) = P(+|D)P(D) / P(+)
       = 0.90×0.01 / [0.90×0.01 + 0.05×0.99]
       = 0.009/0.0585 = 90/585 ≈ 0.1538

양성 후 실제 질병 확률은 약 15.4%다. 민감도 P(+|D)=90%와 양성예측도 P(D|+)≈15.4%는 조건이 반대다.

오즈 형식으로도 같은 값을 얻는다.

사전오즈 = 0.01/0.99
양성 가능도비 LR+ = 민감도/(1-특이도) = 0.90/0.05 = 18
사후오즈 = 사전오즈×LR+ = 0.1818…
사후확률 = 0.1818…/(1+0.1818…) = 0.1538…

사전확률을 무시하거나 P(A|B)=P(B|A)로 바꾸면 안 된다. 여러 검사 결과를 순차 갱신할 때도 검사 간 조건부 독립성 가정을 확인한다.

3. 사전분포 설계와 사전예측

균일 사전도 모수변환 뒤에는 균일하지 않을 수 있으므로 자동으로 “무정보”가 아니다. 결과를 보고 원하는 결론이 나오도록 사전을 조정하거나 같은 데이터를 사전과 가능도에 중복 반영하지 않는다.

사전예측분포는 데이터를 보기 전에 사전과 가능도가 어떤 관측값을 생성하는지 확인한다.

p(y) = ∫ p(y|θ)p(θ)dθ

불가능한 음수값, 비현실적 극단값이나 지나치게 좁은 범위가 자주 생성되면 사전·가능도·링크함수를 재검토한다.

4. Beta–Binomial 켤레 갱신

성공확률 p의 이항자료에 Beta 사전을 쓰면 사후도 Beta가 된다.

사전:     p ~ Beta(α,β)
데이터:   x 성공, n-x 실패
가능도:   p(x|p) ∝ pˣ(1-p)ⁿ⁻ˣ
사후:     p|D ~ Beta(α+x, β+n-x)

사전평균은 α/(α+β)이고 α+β는 사전 정밀도·유효표본크기처럼 해석할 수 있지만 실제 관측수와 완전히 같은 것은 아니다. 사후평균은 데이터 비율과 사전평균의 가중평균이다.

완전 계산 예제

Beta(2,2) 사전과 10회 중 성공 8회 데이터를 결합한다.

사후분포: Beta(2+8, 2+2) = Beta(10,4)
MLE:      x/n = 8/10 = 0.800
사후평균: 10/(10+4) = 0.7143
MAP:      (10-1)/(10+4-2) = 9/12 = 0.750
사후분산: 10×4 / [14²×15] = 0.01361
사후표준편차 ≈ 0.1166

사후평균과 MAP는 일반적으로 같지 않으며 MAP는 재매개화에 따라 달라질 수 있다. 균일 사전에서 MAP와 MLE가 같을 수 있지만 균일 사전의 범위·척도를 확인해야 한다.

5. 순차 갱신과 사후예측

조건부 독립인 데이터 묶음 D₁,D₂는 다음처럼 갱신할 수 있다.

p(θ|D₁,D₂) ∝ p(D₂|θ)p(θ|D₁)

같은 데이터와 동일한 사전을 사용했다면 일괄 갱신과 순차 갱신의 결과는 같다. 이미 반영한 관측을 다시 가능도에 넣으면 이중계산이다. 데이터 생성과정이 변했다면 과거 사후를 그대로 강한 사전으로 넘기지 말고 할인·동적모형·민감도를 검토한다.

새 관측값의 사후예측분포는 모수 불확실성과 새 관측 잡음을 함께 적분한다.

p(y_new|D) = ∫ p(y_new|θ)p(θ|D)dθ

Beta(10,4) 사후에서 다음 한 번의 성공 예측확률은 E[p|D]=10/14≈0.714다. 앞으로 m=5회의 기대 성공수는 5×10/14≈3.57이며 전체 성공수 분포는 Beta–Binomial이다. 모수 p의 신용구간과 미래 성공수의 예측구간은 같은 대상이 아니다.

6. 신용구간·신뢰구간·HPD

베이지안 신용구간의 확률 해석도 선택한 사전·가능도·모형 조건부다. P(θ>θ₀|D) 같은 직접 확률을 계산할 수 있지만, 의사결정은 오판 비용·효용과 함께 설계한다.

7. MCMC와 근사추론 진단

닫힌식이 없으면 MCMC로 사후분포에서 상관된 표본을 만들거나 변분추론으로 근사분포를 최적화한다.

warmup은 적응과 초기 과도상태 제거에 사용하며 단순히 표본을 많이 버린다고 수렴 문제가 해결되지는 않는다. R-hat≈1도 탐색하지 못한 별도 모드가 없다는 증명이 아니다. 변분추론은 빠르지만 근사족 제약으로 분산을 과소평가하거나 모드를 놓칠 수 있으므로 정확도 검증이 필요하다.

8. 계산 수렴과 모형 타당성의 분리

사후예측검사가 통과해도 모든 측면에서 모형이 참이라는 뜻은 아니다. 무엇을 검사했는지 명시하고, 선택하지 않은 통계량·외부자료·교란과 표본선택을 별도로 점검한다.

9. 사례 적용

상황: 신규 공정의 초기 20개 제품에서 불량률을 추정한다.

조건: 유사 공정 정보가 있으나 설비가 완전히 같지 않고, 불량은 동일 확률·독립이라는 가정이 의심된다.

판단: 과거 공정 정보를 강하게 복사하지 않고 약정보 Beta 사전 후보와 사전예측을 제시한다. 현재 불량건수를 Binomial 가능도로 갱신하되 생산 배치·설비별 상관이 있으면 Beta–Binomial·계층모형을 검토한다. 사후평균·신용구간·허용불량률 초과확률과 향후 불량건수 예측분포를 보고한다. 합리적 사전·과산포 가능도에서 민감도를 비교하고 MCMC를 썼다면 계산 진단과 사후예측을 분리한다.

결론: 사전 근거, 생성모형, 계산 신뢰성, 예측 적합성과 결정 임계값을 모두 공개한 상태에서만 사후확률을 의사결정에 사용한다.

사전분포는 데이터 이전의 불확실성, 우도는 각 모수에서 관측 데이터가 나타날 상대적 적합성, 사후분포는 두 정보를 결합한 결과다.

사후평균 0.714는 관측 성공률 0.8과 같지 않다. 사전정보가 데이터와 함께 반영되기 때문이다.

시험 판단 포인트

• 주변가능도는 가능도×사전을 모수 전체에 적분·합한 정규화 상수다.
• 가능도는 데이터를 고정한 모수의 함수이며 모수의 확률분포가 아니다.
• Beta–Binomial에서는 사후 모수가 α+x, β+n-x로 갱신된다.
• MLE·MAP·사후평균은 일반적으로 서로 다른 점추정량이다.
• 신용구간과 신뢰구간, 모수구간과 사후예측구간의 대상을 구분한다.
• 계산 수렴·사후예측 적합·사전 민감도·외부예측은 서로 다른 진단이다.

자주 틀리는 부분

• P(A|B)와 P(B|A)를 같은 확률로 보지 않는다.
• 균일 사전을 항상 무정보 사전이라고 단정하지 않는다.
• 같은 데이터를 사전과 가능도에 중복 반영하지 않는다.
• MAP 점 하나나 R-hat≈1만으로 사후분포·모형 전체가 검증됐다고 보지 않는다.
• MCMC 저장 표본 수를 유효표본크기와 동일시하지 않는다.
• 사후예측 적합을 인과 타당성이나 외부 일반화의 증명으로 보지 않는다.