데이터 마이닝 개요

핵심 요약

데이터 마이닝의 예측형·기술형 과제와 지도·비지도 학습, 분석 단위·목표 시점·기준선·업무 지표를 정리하고 훈련/검증/테스트 분할, 과적합·교차검증·데이터 누수 방지를 연결한다.

본문

데이터 마이닝 목적, 예측형·기술형과 지도·비지도 학습

데이터 마이닝은 데이터에서 유용한 패턴·관계·예측 규칙을 찾는 활동이다. 알고리즘 이름보다 무엇을 알고 싶은지를 먼저 구분한다.

• 예측형: 미래 범주·수치처럼 목표값을 예측한다. 분류·회귀가 대표적이다.
• 기술형: 데이터 구조를 요약하거나 새로운 집단·관계를 찾는다. 군집·연관분석이 대표적이다.
• 지도학습: 정답 역할을 하는 목표변수가 있다.
• 비지도학습: 미리 주어진 정답 없이 구조를 찾는다.

분류는 범주를, 회귀는 연속 수치를 예측하는 대표 지도학습 과제다. 군집과 연관분석은 대표적인 비지도 탐색 과제다.

분류·회귀·군집·연관 과제와 분석 단위·목표 시점

분석 단위가 무엇인지 먼저 정한다. 고객 이탈을 예측한다면 한 행이 고객인지 고객-월인지가 모델 의미를 바꾼다.

또한 예측 시점 이후에만 알 수 있는 정보를 입력으로 넣으면 안 된다. 예를 들어 6월 1일 시점에 6월 30일 이탈을 예측하면서 6월 20일 상담 결과를 입력으로 사용하면 미래 정보가 들어간 누수가 된다.

과제를 정의할 때는 다음을 함께 명시한다.

• 관측 단위
• 목표변수
• 기준 시점
• 사용 가능한 입력 범위
• 예측 또는 설명의 목적

평가 기준·기준선·업무 가치와 모델 지표

모델 성능은 과제 목적과 맞는 지표로 평가한다. 분류에서는 accuracy·precision·recall·AUC 등을, 회귀에서는 MAE·RMSE 등을 사용할 수 있다.

복잡한 모델을 만들기 전에 기준선(baseline)과 비교한다. 예를 들어 다수 클래스만 예측하는 단순 규칙보다도 못하면 복잡한 모델의 가치가 없다.

또한 높은 모델 지표가 곧 업무 가치인 것은 아니다. 경고를 처리할 인력이 없거나 잘못된 경고 비용이 크다면 운영 제약과 오류비용을 함께 본다.

탐색 과정에서 발견한 희귀 패턴은 같은 자료 안에서의 발견 횟수만으로 안정적 구조라 단정하지 않는다. 가능하면 별도의 기간·집단처럼 독립적인 자료에 같은 수집 기준과 탐색 규칙을 적용해 재현되는지 확인한다.

검증 자료의 집단 구성과 실제 배포 집단 구성이 다르면 전체 평균 성능도 달라질 수 있다. 집단별 성능이 유지된다고 가정할 때는 배포 비중으로 재가중해 기대 성능을 계산하고, 실제로도 집단별 성능이 유지되는지 확인한다.

정답 군집 레이블이 없는 군집분석은 분류 정확도를 그대로 쓸 수 없다. 군집 내부 응집도·군집 간 분리도 같은 내부 지표와 업무적으로 해석 가능한지를 함께 본다.

훈련·검증·테스트 분할과 과적합·과소적합

• 훈련 데이터: 모델을 학습
• 검증 데이터: 후보 모델·하이퍼파라미터·임계값을 선택
• 테스트 데이터: 최종 선택이 끝난 뒤 일반화 성능을 독립 평가

훈련 성능은 매우 높지만 새 데이터 성능이 낮으면 과적합을 의심한다. 반대로 훈련 데이터에서도 패턴을 충분히 설명하지 못하면 과소적합일 수 있다.

테스트셋을 반복해서 보며 모델을 고르면 사실상 테스트셋도 선택 과정에 사용한 셈이 되어 최종 성능이 낙관적으로 보일 수 있다.

테스트셋을 반복해서 확인하면서 변수·모델 구조·임계값을 바꿨다면 그 테스트셋도 사실상 선택 과정에 사용된 것이다. 이후 완전히 독립적인 최종 성능이 필요하다면 가능할 때 개발 과정에서 한 번도 사용하지 않은 새로운 독립 평가셋으로 다시 평가한다.

k-fold 교차검증·구조적 분할·데이터 누수·테스트셋 보호

k-fold 교차검증은 데이터를 k개 조각으로 나누고 하나씩 검증용으로 바꾸어 k번 평가한 뒤 성능을 요약한다. 예를 들어 5-fold에서는 각 관측이 한 번씩 검증에 포함된다.

그러나 무작위 분할이 항상 적절한 것은 아니다.

• 같은 환자의 반복 기록이 여러 행이면 환자 단위로 묶어 분할
• 시계열이면 과거 학습·미래 평가
• 희귀 클래스 비율이 중요하면 층화 분할 고려

데이터 누수는 실제 예측 시점에 사용할 수 없는 정보, 전체 데이터에서 계산한 전처리 통계, 목표변수를 직접·간접 포함한 변수가 학습 과정에 들어가는 문제다. 표준화 평균·표준편차도 훈련 데이터에서 계산해 검증·테스트에 적용하는 방식이 안전하다.

교차검증은 평균 점수만 보지 않고 fold별 변동도 함께 본다. 같은 평균이라도 모든 fold가 비슷한 모델과 일부 fold에서 크게 흔들리는 모델은 안정성이 다를 수 있다. 특정 fold만 성능이 급락하면 그 fold에 희귀 집단·특정 기간·특정 그룹이 편중되었는지, 데이터 품질이 다른지 확인하고 실제 배포 구성을 반영하도록 분할 전략을 다시 검토한다.