분석 방법론: KDD·CRISP-DM·SEMMA

핵심 요약

분석 방법론은 분석가의 자유를 제한하는 순서표가 아니라 누락을 줄이고 의사결정 근거를 남기는 공통 작업 체계다. KDD, CRISP-DM, SEMMA는 단계 명칭이 다르며 어느 하나를 모든 조직의 유일한 표준으로 볼 수 없다.

세 방법론 모두 실제 프로젝트에서는 앞 단계로 되돌아가는 반복이 발생한다. 데이터 준비 중 목표를 다시 정의하거나, 평가 결과가 부족해 변수를 다시 만들 수 있다. 방법론을 선택했다고 목표·데이터 품질·검증·활용이 자동으로 보장되는 것은 아니며 조직의 승인, 보안, 공정성, 운영 모니터링 절차를 별도로 추가할 수 있다.

학습 목표

• KDD·CRISP-DM·SEMMA의 단계와 강조점을 설명한다.
• 세 방법론의 시작점과 전개·평가 범위를 구분한다.
• 프로젝트 상황에 맞게 반복과 산출물을 연결한다.
• 단계 이름의 암기만으로 분석 품질을 판단하는 오류를 피한다.
• 단계별 산출물·게이트와 반복 조건을 판정한다.

1. KDD

KDD는 데이터로부터 유용하고 이해 가능한 지식을 발견하는 전체 과정을 뜻한다. 대표 흐름은 다음과 같다.

데이터 마이닝은 KDD 전체와 같은 뜻이 아니라 패턴이나 분석모형을 찾는 핵심 단계다. 선택과 전처리, 결과 해석이 빠지면 발견한 패턴의 의미와 신뢰성을 판단하기 어렵다.

2. CRISP-DM

CRISP-DM은 분석 프로젝트를 업무 관점에서 관리하기 좋은 반복적 절차다.

전개는 분석모형을 서버에 배포하는 행위만을 뜻하지 않는다. 의사결정 보고서나 일회성 분석 결과 전달도 목적에 따라 전개가 될 수 있다.

3. SEMMA

SEMMA는 Sample → Explore → Modify → Model → Assess의 분석 작업을 강조한다.

대규모 데이터에서 대표 표본을 만들고, 분포와 관계를 탐색하며, 변수를 가공한 뒤 분석모형을 구축·평가하는 흐름이다. 업무 문제 정의와 운영 전개를 별도 프로젝트 관리 절차로 보완해야 할 수 있다.

4. 세 방법론 비교

명칭이 다르더라도 데이터 이해·준비, 분석, 평가라는 공통 활동이 존재한다. 조직은 규제 검토, 승인, 운영 모니터링 같은 자체 단계를 추가할 수 있다.

4.1 공통 활동의 대응

이 대응은 단계가 완전히 동일하다는 뜻이 아니다. 예를 들어 CRISP-DM의 데이터 이해와 데이터 준비는 KDD의 선택·전처리·변환 및 SEMMA의 Sample·Explore·Modify와 일부 겹치지만 목적과 경계가 다르다.

5. 산출물과 게이트

방법론을 실제로 사용하려면 단계별 산출물과 통과 기준을 정한다. 산출물이 존재한다는 사실만으로 통과하지 않고 내용이 기준을 충족하는지 검토한다.

5.1 대표 반복 조건

5.2 방법론 선택 판단

방법론 이름의 유명도보다 프로젝트의 누락 위험을 본다. 업무 목표와 전개까지 명시적으로 관리해야 하면 CRISP-DM의 구조가 편리할 수 있다. 데이터에서 지식을 발견하는 전체 흐름과 마이닝 전후의 처리를 강조하려면 KDD가 적합하다. 분석 데이터 구성과 모형 실험 작업을 중심으로 관리하면 SEMMA가 유용할 수 있다. 어떤 방법론을 택해도 법·윤리·보안, 승인, 재현성, 운영 모니터링이 빠지면 조직 절차로 보완한다.

6. 사례 적용

상황: 통신사가 고객 이탈 분석을 수행한다. 초기에는 ‘이탈률 감소’만 제시됐고 정답 라벨 정의와 활용 부서가 불명확하다.

주어진 조건: 업무 목표와 평가 기준을 먼저 정해야 하며, 여러 원천 데이터의 품질도 확인해야 한다.

판단 과정: CRISP-DM의 업무 이해에서 이탈의 정의, 예측 시점, 조치 가능 고객, 비용 기준을 정한다. 데이터 이해에서 원천별 고객 식별자와 결측·대표성을 점검한다. 데이터 준비에서는 예측 시점 이후 정보가 들어가는 라벨 누수를 막고 변환 규칙과 데이터 버전을 남긴다. 모형화에서는 단순 기준선과 후보 모형을 같은 검증 조건에서 비교한다. 평가에서는 기술 성능뿐 아니라 상담 용량과 기대 순이익을 확인하고, 전개에서는 캠페인 절차·책임자·모니터링·중단 기준을 설계한다.

결론: 이 사례는 업무 이해와 전개를 명시적으로 포함하는 CRISP-DM 흐름이 유용하다. 그러나 이것이 KDD나 SEMMA를 사용할 수 없다는 뜻은 아니다. 다른 방법론을 적용한다면 업무 정의와 전개·운영 절차를 별도로 보완하며, 데이터나 평가 문제가 드러나면 앞 단계로 돌아간다.

오답 함정: 방법론을 선택했으므로 목표 정의와 검증이 자동으로 완료됐다고 판단하거나, 단계 순서를 되돌릴 수 없는 승인 절차로 해석하지 않는다.

KDD는 지식발견 전체 과정 안에 데이터 마이닝을 포함하고, CRISP-DM은 업무 이해에서 전개까지를 다룬다. SEMMA는 표본·탐색·수정·모델링·평가의 분석 절차에 초점을 두며 단계 이름이 비슷해도 범위가 완전히 같지는 않다.

CRISP-DM 단계는 직선으로 한 번만 끝나는 체크리스트가 아니다. 평가에서 업무 목표를 충족하지 못하면 데이터 이해·준비·모델링 등 필요한 단계로 돌아가며 전개 뒤 운영 결과도 다음 반복의 입력이 된다.

시험 판단 포인트

• 데이터 마이닝은 KDD의 한 단계이며 KDD 전체와 동일하지 않다.
• CRISP-DM은 업무 이해부터 전개까지 6단계를 반복적으로 연결한다.
• SEMMA는 Sample·Explore·Modify·Model·Assess의 흐름이다.
• 방법론 단계는 실제 분석에서 반복될 수 있다.
• 평가에는 기술 성능과 업무 목표 충족 여부가 함께 포함되어야 한다.
• 방법론마다 명시적 범위가 다르므로 빠진 업무·운영 절차를 보완한다.
• 단계별 산출물뿐 아니라 통과 기준과 반복 조건을 정한다.

자주 틀리는 부분

• KDD의 전처리·변환과 데이터 마이닝을 같은 단계로 보지 않는다.
• CRISP-DM의 전개를 운영 서버 배포로만 한정하지 않는다.
• SEMMA에 업무 이해 단계가 명시되지 않았다는 이유로 업무 목표가 불필요하다고 보지 않는다.
• 방법론 이름이 다르면 공통 활동이 전혀 없다고 판단하지 않는다.
• CRISP-DM만 업무 목표를 고려할 수 있고 다른 방법론은 고려할 수 없다고 단정하지 않는다.
• 평가가 끝났다는 이유로 전개·운영·모니터링을 자동 완료로 보지 않는다.