시험 직전 요약장

AUC가 임곗값을 정해 주지는 않는다. 다음 순서로 선택한다.

1. 양성 클래스, 평가 기간과 데이터 단위를 고정한다.
2. 최소 재현율·최소 정밀도·최대 FPR·최대 경보 수 같은 제약을 수치로 정한다.
3. 검증 데이터의 각 임곗값에서 TP·FP·FN·TN, 경보 수와 비용을 계산한다.
4. 모든 필수 제약을 만족하는 후보 중 비용 또는 효용이 가장 좋은 임곗값을 고정한다.
5. 고정된 임곗값을 독립 테스트 데이터에서 한 번 평가한다.
6. 운영 중 양성 비율·비용·처리 용량·점수 분포가 바뀌면 재검토한다.

오류 비용이 C_FP, C_FN일 때 단순 기대비용 후보는 다음과 같다. 실제 업무에서는 조사 인력, 고객 불편, 차단 손실 등 비용의 근거와 단위를 명시한다.

총 오류비용 = C_FP × FP + C_FN × FN
용량 제약 = TP + FP ≤ 최대 처리 건수
Youden 지수 J = TPR - FPR

Youden 지수는 TPR과 특이도를 같은 비중으로 보는 후보를 줄이지만 FP와 FN 비용이 다르거나 양성 비율·용량 제약이 중요하면 최종 기준으로 그대로 사용하지 않는다. 검증 데이터에서 임곗값을 반복 최적화한 뒤 같은 데이터를 최종 성능처럼 보고하면 선택 편향이 생긴다.

양성 점수는 0.90, 0.80, 0.70, 0.40, 음성 점수는 0.75, 0.60, 0.30, 0.20이라고 하자. 임곗값을 낮춰 관측치를 한 건씩 양성 예측에 포함하면 다음 ROC 점을 얻는다.

사다리꼴 면적은 0.125 + 0.15625 + 0.25 + 0.25 + 0.03125 = 0.8125다. 순위 비교에서도 양성·음성 16쌍 중 양성 점수가 더 높은 쌍이 13개이고 동점이 없으므로 13/16 = 0.8125로 일치한다.