핵심 요약
What·
본문
분석 문제 정의, What·
분석 기획은 알고리즘을 고르는 일보다 어떤 의사결정을 바꾸려는지를 명확히 하는 일에서 시작한다. 막연한 업무 표현은 대상·기간·행동·임계값·성공지표가 있는 운영적 정의로 바꾼다.
분석 대상(What)과 방법(How)의 알려짐 여부에 따라 다음 네 유형으로 볼 수 있다.
- What Known / How Known: Optimization
- What Known / How Unknown: Solution
- What Unknown / How Known: Insight
- What Unknown / How Unknown: Discovery
이 분류는 프로젝트의 출발 방향을 정하는 데 쓰며, 진행하면서 문제와 방법의 명확성은 바뀔 수 있다.
필요한 데이터가 없거나 접근할 수 없다면 원래 질문을 그대로 검증했다고 가정하면 안 된다. 사용 가능한 변수로 대리 가능한 질문을 재정의하고 한계와 향후 수집 계획을 명시하거나, 권한이 허용된 파생 데이터·다른 설계를 검토한다.
분석 가설은 결론을 미리 확정하는 문장이 아니라 데이터로 반증·검증할 수 있는 주장이어야 한다. 대상·조건·측정지표와 예상 관계를 명시한다. 예를 들어 ‘오후 2~5시에 대기시간이 10분을 넘는 매장은 구매 포기율이 더 높을 것이다’처럼 쓰면 무엇을 측정하고 비교할지 분명해진다.
성공 기준·운영 제약·결과 활용 시점과 책임 주체 설계
모델 AUC·정확도 같은 기술 지표는 업무 성공과 같지 않다. 성공 기준에는 실제 목표 지표와 운영 제약을 함께 둔다.
예를 들어 재문의 위험 모델이 하루 8,000건을 경고하지만 상담팀은 1,000건만 처리할 수 있다면 재현율만 높이는 것이 목표가 아니다. 처리 가능한 경고량, 개입 비용, 실제 재문의 감소를 함께 고려해 임계값과 모델을 비교해야 한다.
또한 결과를 누가 언제 어떻게 사용할지 정한다. 승인 전 사기 차단을 하려는데 데이터가 하루 한 번만 갱신된다면 데이터 주기와 의사결정 시점이 맞지 않으므로 파이프라인 또는 활용 목표를 조정해야 한다.
KDD 절차와 전처리·변환·마이닝·평가
KDD의 대표 흐름은 다음과 같다.
데이터셋 선택 → 전처리 → 변환 → 데이터 마이닝 → 해석·평가
- 선택: 목적에 맞는 데이터를 정한다.
- 전처리: 결측·오류·중복 등 품질 문제를 정리한다.
- 변환: 분석에 적합한 표현이나 파생변수를 만든다.
- 데이터 마이닝: 패턴·모델을 찾는다.
- 해석·평가: 결과가 의미 있고 유효한지 판단한다.
예를 들어 중복 행 제거는 전처리에, 로그 변환 변수를 만드는 일은 변환에 가깝다.
CRISP-DM의 여섯 단계와 반복적 피드백
CRISP-DM은 다음 여섯 단계로 설명한다.
- Business Understanding
- Data Understanding
- Data Preparation
- Modeling
- Evaluation
- Deployment
업무 이해에서 목표·성공 기준·제약을 분석 문제로 바꾸고, 데이터 이해에서 분포·품질·초기 패턴을 살핀다. 데이터 준비에서 모델용 데이터셋을 만들고, 모델링에서 알고리즘·파라미터를 비교한다. 평가는 통계 성능뿐 아니라 업무 목적 충족 여부를 본다. 전개에서는 사용자·업무 절차·모니터링·유지보수까지 계획한다.
CRISP-DM은 일방향 절차가 아니다. 모델링 중 잘못된 파생변수를 발견하면 데이터 준비로 돌아가 수정하고 다시 검증할 수 있다.
빅데이터 분석 방법론, Phase·
큰 생명주기를 분석 기획 → 데이터 준비 → 데이터 분석 → 시스템 구현 → 평가 및 전개로 볼 수 있다. 모델을 웹 서비스에서 호출할 API와 규칙으로 구현하는 일은 시스템 구현에 가깝다.
방법론을 관리 수준으로 나누면 다음처럼 볼 수 있다.
- Phase: 큰 생명주기 구간
- Task: 단계 안의 업무 단위
- Step: 태스크를 수행하는 구체 절차
방법론은 모든 프로젝트에 같은 알고리즘을 강제하는 규칙이 아니다. 공통 단계와 산출물의 목적은 유지하되 데이터·위험·프로젝트 규모에 따라 세부 활동의 깊이와 반복 횟수를 조정한다.
KDD와 CRISP-DM은 데이터 준비·모델링·평가와 비슷한 흐름이 있지만 단계 수와 강조점이 다르므로 이름만으로 완전한 1:1 대응을 가정하지 않는다.
ADsP 시험 핵심 보충
- 분석 대상을 What, 분석 방법을 How라 한다. 둘 다 알면 최적화(Optimization), 대상만 알면 솔루션(Solution), 방법만 알면 통찰(Insight), 둘 다 모르면 발견(Discovery)이다.
- 과제 중심 접근은 당면 과제의 해결을, 장기적 마스터 플랜 접근은 지속적인 분석 역량의 확보를 강조한다.
- SEMMA의 순서는 Sample(표본 추출)→Explore(탐색)→Modify(변형)→Model(모형화)→Assess(평가)다. CRISP-DM의 업무 이해·전개 단계와 혼동하지 않는다.
- 폭포수 방법론은 단계 순서와 산출물을 강조하고, 프로토타입 방법론은 시제품에 대한 사용자 피드백을 반영하며, 나선형 방법론은 반복과 위험 분석을 강조한다.
복습 문제
답을 생각한 뒤 정답과 근거를 펼쳐 보세요.
분석 대상은 명확하지만 방법이 정해지지 않았다. What/How 유형은 무엇인가?
정답과 근거
Solution 유형이다. What은 Known이고 How는 Unknown이다.
분석 가설은 결론을 미리 확정하는 문장이 아니라 데이터로 반증·검증할 수 있는 주장이어야 한다. 대상·조건·측정지표와 예상 관계를 명시한다. 예를 들어 ‘오후 2~5시에 대기시간이 10분을 넘는 매장은 구매 포기율이 더 높을 것이다’처럼 쓰면 무엇을 측정하고 비교할지 분명해진다.
KDD에서 중복 제거와 로그 변환 변수 생성은 각각 어느 단계에 가까운가?
정답과 근거
중복 제거는 전처리, 로그 변환 변수 생성은 변환에 가깝다.
예를 들어 중복 행 제거는 전처리에, 로그 변환 변수를 만드는 일은 변환에 가깝다.
CRISP-DM 모델링 중 파생변수 오류를 발견했다. 어떻게 해야 하는가?
정답과 근거
데이터 준비 단계로 돌아가 생성 규칙을 수정한 뒤 다시 모델링·평가한다. CRISP-DM은 단계 간 반복을 허용한다.
분석 가설은 결론을 미리 확정하는 문장이 아니라 데이터로 반증·검증할 수 있는 주장이어야 한다. 대상·조건·측정지표와 예상 관계를 명시한다. 예를 들어 ‘오후 2~5시에 대기시간이 10분을 넘는 매장은 구매 포기율이 더 높을 것이다’처럼 쓰면 무엇을 측정하고 비교할지 분명해진다.
Phase·
정답과 근거
Phase → Task → Step 순이다. Phase가 큰 생명주기 구간이고 Step이 구체 실행 절차다.