시험 직전 요약장

• 최종모형은 필수 제약을 통과한 후보 중 성능·안정성·보정·비용·설명을 함께 비교한다.
• 폴드 표준편차가 점수 차이보다 크다는 사실만으로 통계적 결론을 확정하지 않는다.
• 선형계수는 조건부 평균 변화, 로지스틱 계수의 지수는 조건부 오즈비다.
• 변수 중요도·PDP·SHAP은 모형 설명이며 인과효과가 아니다.
• 상관 변수는 순열 중요도를 나누어 갖고 PDP의 비현실적 조합을 만들 수 있다.
• 군집 번호와 이름은 본질적 정답이 아니며 스케일·거리·안정성을 확인한다.
• 앙상블은 개별 성능뿐 아니라 오류 다양성과 운영 복잡도를 함께 본다.
• 스태킹 메타모형은 기본모형의 폴드 밖 예측으로 학습한다.
• AUC와 확률 보정, 임곗값 정책은 서로 다른 평가 대상이다.
• 비즈니스 기여도는 기준 전략 대비 증분 순가치이며 예측력과 인과효과는 다르다.

후보 A와 B를 같은 폴드에서 평가했다면 폴드별 점수 자체보다 같은 폴드의 차이를 우선 본다.

d_k = score(A, fold k) - score(B, fold k)
평균 차이 = (1/K)Σ d_k

A의 평균이 0.815, B가 0.812이고 각 모형의 폴드 표준편차가 0.020이라는 사실만으로 A의 우위를 확정할 수 없다. 폴드 점수는 독립 표본이 아닐 수 있고 반복 교차검증의 상관구조도 있으므로, 같은 분할의 쌍별 차이·반복 기간·부트스트랩 또는 문제에 맞는 비교 절차를 사용한다. 구간의 구성 방법과 반복 단위도 함께 기록한다.

검증 결과로 후보·특징·임곗값을 선택한 뒤 같은 테스트를 반복 조회하면 테스트도 선택 데이터가 된다. 최종 보고에는 평가 기준 시점, 분할 단위, 비교 후보 수, 선택 절차, 중심값과 변동, 최저 성능 집단, 테스트 사용 횟수를 남긴다.

평가 목적과 적용 환경을 먼저 고정한다. 예를 들어 희소한 이상거래를 제한된 조사 인력으로 탐지한다면 주평가지표는 정확도보다 PR-AUC 또는 정밀도 제약 아래 재현율이 적합할 수 있다. 지연 50ms 이하와 일일 조사 건수 2,000건 이하가 필수라면 이 조건을 만족하지 못한 후보는 평균점수가 높아도 제외한다.