분류분석(Classification)

핵심 요약

혼동행렬과 분류 지표, 로지스틱 회귀, 의사결정나무의 분할·가지치기, 앙상블과 신경망의 기본을 정리한다.

본문

분류 목적과 혼동행렬 TP·TN·FP·FN

분류는 관측 대상을 미리 정의된 범주 중 하나로 예측하는 지도학습 과제다. 이진분류에서 관심 범주를 양성(positive)이라 두면 다음 네 결과가 생긴다.

• TP: 실제 양성을 양성으로 예측
• TN: 실제 음성을 음성으로 예측
• FP: 실제 음성을 양성으로 잘못 예측
• FN: 실제 양성을 음성으로 놓침

양성은 ‘좋은 결과’가 아니라 분석에서 관심 대상으로 정한 범주다.

정확도·정밀도·재현율·특이도·F1 계산

공식은 다음과 같다.

• Accuracy = (TP+TN)/(TP+TN+FP+FN)
• Precision = TP/(TP+FP)
• Recall = TP/(TP+FN)
• Specificity = TN/(TN+FP)
• F1 = 2×Precision×Recall/(Precision+Recall)

예를 들어 TP=40, FP=10, FN=20, TN=930이면 전체는 1,000건이다.

• Accuracy = 970/1000 = 0.97
• Precision = 40/50 = 0.80
• Recall = 40/60 ≈ 0.6667
• Specificity = 930/940 ≈ 0.9894
• F1 = 80/(80+10+20) = 80/110 ≈ 0.7273

양성이 매우 희귀하면 모두 음성으로 예측해도 정확도가 높을 수 있으므로 오류비용에 맞는 지표를 함께 본다.

로지스틱 회귀·의사결정나무·k-NN·나이브 베이즈

• 로지스틱 회귀: 입력의 선형결합을 로짓과 연결해 양성 확률을 모델링한다. 계수는 로그오즈 변화와 연결되며 계수 자체를 확률 증가량으로 바로 읽지 않는다.
• 의사결정나무: 조건으로 데이터를 반복 분할한다. 규칙 해석이 쉽지만 너무 깊으면 과적합될 수 있어 깊이·최소 노드 크기·가지치기를 관리한다.
• k-NN: 가까운 k개 이웃의 범주로 예측한다. 거리 기반이므로 변수 스케일과 k 선택이 중요하다.
• 나이브 베이즈: 클래스 안에서 변수들의 조건부 독립을 가정해 베이즈 정리로 분류한다.

모형에 절대적 우열은 없으며 데이터 구조·설명 가능성·예측비용·확률 출력 필요성을 함께 본다.

분류 임계값·오류비용·처리용량과 성능 변화

확률점수를 범주로 바꾸려면 임계값이 필요하다. 임계값을 낮추면 같은 점수 목록에서 양성 예측이 늘어 일반적으로 TP와 FP는 감소하지 않고, FN과 TN은 증가하지 않는다. 하지만 precision·accuracy·F1의 변화 방향은 데이터에 따라 달라질 수 있다.

임계값 0.5는 고정 규칙이 아니다. FN 비용이 큰 질환 선별은 recall을 높이는 쪽을, 현장 출동 FP 비용이 큰 경보는 precision·specificity를 더 중시할 수 있다.

오류비용이 FP=2, FN=10이고 어떤 모델의 FP=20, FN=3이라면 총 오류비용은

20×2 + 3×10 = 70

이다.

처리 가능한 경고가 하루 500건뿐이라면 상위 위험점수 500건을 선택하는 운영 제약도 임계값 결정에 포함한다.

ROC·AUC·PR·불균형 자료·다중분류와 모델 비교

ROC는 여러 임계값에서

• TPR = Recall = TP/(TP+FN)
• FPR = FP/(FP+TN) = 1-Specificity

의 관계를 본다.

AUC는 여러 임계값에 걸친 순위 구분 능력을 요약하지만 특정 임계값의 precision·recall이나 확률 보정(calibration)을 보장하지 않는다.

양성이 희귀할 때는 precision-recall 관계가 특히 중요하다. 예를 들어 10,000건 중 실제 양성 100건에서 TP=80, FP=320이면 precision은 80/400=0.20이다. 전체 정확도가 높더라도 경보 적중률은 낮을 수 있다.

다중분류에서는 클래스별 지표를 계산한 뒤 macro 평균은 클래스마다 같은 비중, weighted 평균은 실제 표본 수에 비례한 비중을 준다.

모델 점수에 엄격히 증가하는 단조변환을 적용하면 관측치의 순위가 보존되므로 ROC 곡선과 AUC도 보존된다. 다만 같은 숫자 임계값을 그대로 쓰는 것이 아니라 변환에 대응하는 임계값을 사용해야 한다. 예를 들어 s=√p라면 p≥0.36과 s≥0.60이 같은 관측치를 양성으로 분류한다. 같은 판정 집합이면 혼동행렬과 FP·FN 비용도 동일하다.

ADsP 시험 핵심 보충: 분류 기법

• 의사결정나무의 범주형 반응변수 분할은 지니 불순도·엔트로피·카이제곱 등을 이용한다. 연속형 반응변수의 회귀나무는 분산·제곱오차 감소를 이용한다. Gini=1−Σpk², Entropy=−Σpk log2(pk)이며 한 범주만 있는 노드는 둘 다0이다. 가지치기는 복잡도를 줄여 과적합을 완화한다.
• 배깅은 복원추출한 여러 표본의 모형을 평균·투표로 결합한다. 랜덤 포레스트는 여기에 분할 때 설명변수 일부를 임의로 선택한다. 부스팅은 앞 모형의 오류를 보완하도록 순차적으로 모형을 결합한다. 배깅과 부스팅 모두 앙상블이다.
• 로지스틱 회귀의 오즈는 p/(1−p), 로짓은 그 로그다. 설명변수가 한 단위 증가할 때 오즈는 다른 변수를 고정하면 exp(β)배가 된다.
• 인공신경망은 입력층·은닉층·출력층과 가중치·활성함수로 구성된다. 은닉층의 비선형 활성함수는 비선형 관계 학습에 필요하고, 역전파는 오차를 이용해 가중치 학습에 필요한 기울기를 계산한다.