최종모형 선정·융합과 비즈니스 기여도

핵심 요약

최종 분석모형은 검증점수가 가장 높은 후보를 자동 선택한 결과가 아니다. 먼저 지연·처리량·비용·설명·집단별 최소 성능 같은 필수 제약을 적용하고, 남은 후보의 일반화 성능·불확실성·확률 보정·안정성·유지보수성과 기준 전략 대비 사업 가치를 함께 비교한다. 작은 점수 차이가 평가 변동보다 작다면 더 단순하고 안정적인 후보가 합리적일 수 있다.

분석모형 해석은 “무엇이 예측에 영향을 주었는가”를 설명하는 작업이며, 전역 해석과 개별 예측의 지역 해석을 구분한다. 회귀계수·오즈비, 나무 규칙, 군집 특성, 순열 중요도, 부분의존도·ICE, SHAP은 서로 다른 질문에 답한다. 이 값들은 모형의 예측 구조를 설명할 뿐 변수의 인과효과를 자동으로 증명하지 않는다.

여러 모형을 융합하면 오류가 충분히 다를 때 분산이나 편향을 줄일 수 있다. 결합 가중치와 스태킹 메타모형은 훈련 영역의 폴드 밖 예측으로 학습하며, 잠근 테스트에서 최적화하지 않는다. 비즈니스 기여도는 예측점수 자체가 아니라 기준 정책 대비 순증분 가치로 평가하고, 개입 효과는 통제된 실험이나 타당한 인과 설계로 별도 확인한다.

학습 목표

• 필수 제약과 다기준 평가로 최종모형을 선정한다.
• 회귀계수·오즈비·나무 규칙·군집 특성을 조건에 맞게 해석한다.
• 전역·지역 해석과 모형 고유·모형 불문 해석을 구분한다.
• 변수 중요도·부분효과·SHAP의 의미와 한계를 판정한다.
• 배깅·부스팅·투표·평균·스태킹의 융합 구조를 비교한다.
• 오류 상관과 앙상블 분산의 관계를 계산한다.
• 보정·임곗값·운영 제약을 포함한 선택 절차를 설계한다.
• 기준 전략 대비 순가치·증분 가치·ROI를 계산하고 인과효과와 구분한다.

1. 최종모형 선정은 제약이 있는 의사결정이다

평가 목적과 적용 환경을 먼저 고정한다. 예를 들어 희소한 이상거래를 제한된 조사 인력으로 탐지한다면 주평가지표는 정확도보다 PR-AUC 또는 정밀도 제약 아래 재현율이 적합할 수 있다. 지연 50ms 이하와 일일 조사 건수 2,000건 이하가 필수라면 이 조건을 만족하지 못한 후보는 평균점수가 높아도 제외한다.

권장 순서는 필수 제약 → 주평가지표 → 안정성·불확실성 → 단순성·운영성 → 사업 가치다. 결과를 본 뒤 지표나 제약을 바꾸면 선택 편향이 생기므로 선정 규칙은 가능하면 사전에 정한다.

2. 성능 차이와 불확실성의 해석

후보 A와 B를 같은 폴드에서 평가했다면 폴드별 점수 자체보다 같은 폴드의 차이를 우선 본다.

d_k = score(A, fold k) - score(B, fold k)
평균 차이 = (1/K)Σ d_k

A의 평균이 0.815, B가 0.812이고 각 모형의 폴드 표준편차가 0.020이라는 사실만으로 A의 우위를 확정할 수 없다. 폴드 점수는 독립 표본이 아닐 수 있고 반복 교차검증의 상관구조도 있으므로, 같은 분할의 쌍별 차이·반복 기간·부트스트랩 또는 문제에 맞는 비교 절차를 사용한다. 구간의 구성 방법과 반복 단위도 함께 기록한다.

검증 결과로 후보·특징·임곗값을 선택한 뒤 같은 테스트를 반복 조회하면 테스트도 선택 데이터가 된다. 최종 보고에는 평가 기준 시점, 분할 단위, 비교 후보 수, 선택 절차, 중심값과 변동, 최저 성능 집단, 테스트 사용 횟수를 남긴다.

3. 분석모형 해석의 네 가지 구분

해석 방법은 범위와 의존성에 따라 구분해야 한다.

전역 평균이 개별 사례를 설명하지 못할 수 있고, 한 사례의 지역 설명을 전체 집단의 법칙으로 일반화할 수 없다. 설명 대상이 학습 알고리즘인지, 학습된 특정 모형인지, 특정 예측인지도 명시한다.

4. 회귀계수와 오즈비 해석

선형회귀에서 다른 입력을 고정하고 x_j가 1단위 증가할 때 조건부 평균 예측의 변화는 계수 β_j다. 로지스틱 회귀에서는 계수가 로그 오즈의 변화이고 지수화한 값이 오즈비다.

선형회귀: E(Y|X) = β₀ + β₁x₁ + … + β_px_p

로지스틱 회귀: log[p/(1-p)] = β₀ + β₁x₁ + … + β_px_p
x_j 1단위 증가의 조건부 오즈비 = exp(β_j)

β_j=0.405이면 다른 변수를 고정할 때 오즈가 약 exp(0.405)=1.499, 즉 약 1.5배다. 이는 확률이 50% 증가한다는 뜻이 아니다. 기준 확률이 0.20이면 기준 오즈는 0.25이고, 오즈를 1.5배 하면 0.375이므로 새 확률은 0.375/(1+0.375)≈0.273이다.

계수 해석 전에 단위, 범주 기준수준, 표준화 여부, 변환과 상호작용을 확인한다. x와 z의 상호작용이 있으면 x의 효과는 z 값에 따라 달라진다. 관찰자료의 계수나 오즈비는 모형 조건부 연관이며, 교란·선택·측정오차를 통제한 인과효과로 자동 해석하지 않는다.

5. 복잡한 모형과 군집의 해석

순열 중요도의 한 형태는 다음과 같다.

Importance_j = 기준 평가점수 - x_j를 섞은 뒤 평가점수

양수이고 클수록 그 평가자료·지표에서 해당 변수를 섞었을 때 성능 저하가 컸다는 뜻이다. 이미 같은 정보를 가진 상관 변수가 남아 있으면 한 변수만 섞어도 성능이 거의 떨어지지 않아 둘 다 낮게 나올 수 있다. 중요도가 낮다는 사실을 “현실에서 영향이 없다” 또는 “인과효과가 없다”로 해석하지 않는다.

PDP는 평균 효과를, ICE는 관측치별 이질성을 보여준다. 강한 상관이 있으면 관측되지 않을 조합을 평가할 수 있으므로 자료 지지 범위와 분포를 함께 확인한다. SHAP 값은 선택한 기준값에서 해당 예측으로 이동한 모형 기여를 배분하는 설명이며, 그 부호와 크기도 인과적 개입 효과가 아니다.

나무의 한 경로는 읽을 수 있는 규칙이지만 전체 앙상블을 한 나무 규칙처럼 축약하면 안 된다. 군집은 정답 라벨이 없는 기술적 요약이므로 군집 크기·중심뿐 아니라 변수별 분포, 안정성, 외부 업무 특성을 확인하고 가치판단이 섞인 이름을 피한다.

6. 통계적 유의성·예측 중요도·실무 중요성

세 질문은 서로 다르다.

표본이 크면 작은 효과도 통계적으로 유의할 수 있고, 상관 변수나 강한 상호작용이 있으면 개별 계수는 유의하지 않아도 모형 전체 예측에 기여할 수 있다. 설명 가능성이 필요한 이유도 대상에 따라 다르다. 개발자는 오류 진단, 심사자는 결정 근거, 고객은 이해 가능한 사유, 감사자는 재현 가능한 기록이 필요할 수 있다.

설명 결과는 최소한 충실성(실제 모형을 설명하는가), 안정성(작은 변화에 설명이 지나치게 바뀌지 않는가), 범위(전역인가 지역인가), 재현성(자료·버전·seed가 기록됐는가)을 확인한다.

7. 분석모형 융합의 유형과 조건

단순 평균이 유리하려면 개별 모형의 성능뿐 아니라 오류 다양성이 필요하다. M개 예측오차가 같은 분산 σ²과 같은 쌍별 상관 ρ를 가진다는 단순 가정에서 평균오차의 분산은 다음과 같다.

Var(평균오차) = σ²[1 + (M-1)ρ] / M

M=4, σ²=100, ρ=0.25이면 100×[1+3×0.25]/4=43.75다. ρ=0이면 25까지 줄지만 ρ=1이면 100으로 전혀 줄지 않는다. 실제 모형은 분산·상관이 서로 다르고 편향도 있으므로 이 식은 오류 다양성의 방향을 설명하는 단순화다.

앙상블의 평균점수가 소폭 높아도 모든 기본모형을 운영해야 하므로 지연·메모리·외부 데이터·설명·장애복구 비용이 늘 수 있다. 개선량의 불확실성과 전체 운영비를 함께 비교한다.

8. 누수 없는 스태킹과 결합 규칙

메타모형을 기본모형의 훈련 내 예측으로 학습하면 과도하게 좋은 예측을 입력받아 누수가 생긴다. 각 관측치에 대해 그 관측치를 학습하지 않은 기본모형의 폴드 밖 예측을 생성한다.

1. 훈련 영역을 K개 폴드로 분할
2. 각 폴드마다 나머지 K-1개로 기본모형 학습
3. 제외한 폴드의 OOF 예측 생성
4. 모든 OOF 예측을 모아 메타모형 학습
5. 기본모형을 훈련 영역 전체에 재적합
6. 새 자료의 기본예측을 메타모형에 입력
7. 전체 스태킹 절차는 바깥 검증 또는 잠근 테스트로 평가

기본모형의 하이퍼파라미터, 결합 가중치와 메타모형도 훈련 영역에서 선택한다. 테스트 성능을 보고 가중치를 다시 조정하면 테스트 누수다. 확률 평균 전에는 양성 클래스 정의와 출력 범위를 맞추고, 확률을 의사결정에 쓸 때는 결합 후 보정도 확인한다.

9. 확률 보정·임곗값과 최종 정책

AUC는 양성의 점수가 음성보다 높게 놓이는 순위 능력을 측정하지만 확률값 자체의 정확성을 보장하지 않는다. 이진 분류의 Brier 손실은 다음처럼 예측확률과 실제값의 제곱 차이를 평균한다.

Brier loss = (1/n)Σ(p_i - y_i)²,  0 ≤ Brier loss ≤ 1

작을수록 좋지만 Brier 손실에는 보정뿐 아니라 구분 능력도 함께 반영되므로 보정곡선과 같이 본다. p=0 또는 1도 계산은 가능하지만 틀린 확신은 큰 손실을 만든다.

보정 방법과 운영 임곗값은 훈련 영역의 검증 자료에서 선택한다. 임곗값은 FP·FN 비용, 처리 용량, 최소 정밀도·재현율, 집단별 제약을 반영한다. 잠근 테스트에서는 전처리→모형→보정→임곗값→행동으로 이어지는 정책 전체를 한 번 평가한다.

10. 비즈니스 기여도: 기준 전략 대비 순증분 가치

혼동행렬 각 칸의 가치와 고정비를 연결하면 한 기간의 순가치를 표현할 수 있다.

정책 순가치 = Σ(n_ij × v_ij) - 구축·운영 고정비
증분 기여도 = 정책 순가치 - 기준 전략 순가치
ROI = (증분 편익 - 증분 비용) / 증분 비용

n_ij는 실제 상태 i와 행동·예측 j에 해당하는 건수, v_ij는 건당 편익 또는 음의 비용이다. 통화·기간·대상 집단·할인 기준을 고정하고, 같은 비용을 건당 가치와 고정비에 중복 포함하지 않는다. 증분 비용이 0이면 위 ROI는 정의되지 않으므로 금액 기준의 증분 가치나 다른 비율을 보고한다.

예를 들어 한 달 정책의 TP가 80명이고 1명당 편익이 5만원, FP가 120명이고 접촉비가 5천원, FN이 20명이고 놓친 기여이익이 2만원, 구축·운영비가 100만원이라면 다음과 같다.

정책 순가치
= 80×50,000 - 120×5,000 - 20×20,000 - 1,000,000
= 2,000,000원

기준 전략 순가치가 1,650,000원이면
증분 기여도 = 2,000,000 - 1,650,000 = 350,000원

정확한 후보 비교에는 동일 기간·대상·행동 용량의 기준 전략을 사용한다. 모델을 쓰지 않아도 발생했을 매출 전체를 모델 기여로 더하지 않는다.

11. 예측과 인과적 증분 효과

반응 예측모형은 “누가 반응할 가능성이 높은가”를 찾는다. 개입 효과는 “같은 대상이 개입을 받았을 때와 받지 않았을 때 결과가 얼마나 달라지는가”라는 반사실 질문이다. 원래 반응할 고객에게 쿠폰을 주면 예측은 맞아도 증분 매출은 작을 수 있다.

개입의 순증분 효과는 무작위 A/B 시험을 우선 검토한다. 무작위화가 불가능하면 교환가능성·겹침·시간 선후관계 등 가정을 갖춘 준실험이나 인과 추정 설계를 사용하고 민감도와 한계를 보고한다. 단순 적용 전후 비교는 계절·가격·고객구성·동시 캠페인의 영향을 모형 효과로 잘못 귀속할 수 있다.

오프라인 예측지표, 온라인 정책지표와 사업지표를 분리해 연결한다.

• 예측지표: AUC, PR-AUC, Brier, 오류율
• 정책지표: 대상 수, 승인율, 조사 처리량, 건당 비용
• 사업지표: 증분 이익, 손실 감소, 유지율, ROI

12. 통합 사례

상황: 대출 연체 후보 A는 검증 AUC 0.860, 후보 B는 0.855다. A는 외부 실시간 데이터가 필요해 지연 90ms와 월 180만원의 데이터 비용이 발생한다. B는 내부 데이터만 사용해 지연 25ms와 월 50만원이며 지역별 보정이 더 안정적이다.

검증 결과: 같은 분할에서 A와 B의 낮은 FPR 구간 재현율 차이는 작다. A와 B의 단순 평균은 PR-AUC가 A보다 0.002 높지만 쌍별 차이 구간이 0을 포함하고 A의 외부 데이터 의존성과 지연을 그대로 가진다.

판단 과정:

1. 지연·비용·지역별 최소 성능을 필수 제약으로 적용한다.
2. 계수나 중요도는 인과효과가 아니라 모형의 예측 구조로 보고한다.
3. 후보·보정·임곗값·앙상블 가중치는 훈련 영역에서만 선택한다.
4. 개선량이 불확실하고 운영 복잡도가 크므로 단순 평균을 자동 채택하지 않는다.
5. 잠근 테스트에서 선택된 정책 전체를 한 번 평가하고 기준 심사정책 대비 순가치를 계산한다.
6. 실제 연체손실 감소는 정책 변화의 통제된 평가로 확인한다.

결론: 전체 AUC가 0.005 높은 A보다 운영 제약과 집단 안정성을 만족하는 B가 최종모형이 될 수 있다. 융합은 항상 단일모형보다 우월하지 않으며, 실제 사업 기여는 기준 정책 대비 증분 가치와 인과적 정책 평가로 확인한다.

배깅은 병렬 기본모형의 평균·투표로 분산을 줄이고, 부스팅은 앞선 오류를 순차적으로 보완한다. 스태킹은 기본모형의 검증 외 예측을 메타모형 입력으로 사용해야 학습 데이터 예측을 재사용하는 누출을 피할 수 있다.

분석 점수가 성과로 이어지려면 KPI 정의, 의사결정 규칙, 실제 실행이 모두 연결되어야 한다. 전후 비교만으로는 계절성·정책 변화가 섞일 수 있으므로 가능한 경우 대조군이나 실험으로 증분 효과를 확인한다.

시험 판단 포인트

• 최종모형은 필수 제약을 통과한 후보 중 성능·안정성·보정·비용·설명을 함께 비교한다.
• 폴드 표준편차가 점수 차이보다 크다는 사실만으로 통계적 결론을 확정하지 않는다.
• 선형계수는 조건부 평균 변화, 로지스틱 계수의 지수는 조건부 오즈비다.
• 변수 중요도·PDP·SHAP은 모형 설명이며 인과효과가 아니다.
• 상관 변수는 순열 중요도를 나누어 갖고 PDP의 비현실적 조합을 만들 수 있다.
• 군집 번호와 이름은 본질적 정답이 아니며 스케일·거리·안정성을 확인한다.
• 앙상블은 개별 성능뿐 아니라 오류 다양성과 운영 복잡도를 함께 본다.
• 스태킹 메타모형은 기본모형의 폴드 밖 예측으로 학습한다.
• AUC와 확률 보정, 임곗값 정책은 서로 다른 평가 대상이다.
• 비즈니스 기여도는 기준 전략 대비 증분 순가치이며 예측력과 인과효과는 다르다.

자주 틀리는 부분

• 테스트 최고점이나 훈련 정확도만으로 최종모형을 고른다.
• 오즈비 1.5를 확률 50% 증가로 해석한다.
• 회귀계수·중요도·SHAP 값을 원인의 크기로 단정한다.
• 한 사례의 지역 설명을 전체 집단의 전역 규칙으로 일반화한다.
• 상관 변수가 있는 PDP와 순열 중요도를 자료 지지 범위 확인 없이 해석한다.
• 스태킹 메타모형을 기본모형의 훈련 내 예측으로 학습한다.
• 모형 수가 늘면 오류 상관과 무관하게 분산이 항상 1/M로 줄어든다고 본다.
• AUC가 높으면 확률 보정도 좋고 임곗값 0.5도 최적이라고 본다.
• 총매출이나 적용 전후 차이를 모형의 증분 기여로 모두 귀속한다.
• ROI의 기준 전략·비용 범위·평가 기간을 생략한다.