시험 직전 요약장

출력이 수치 → 회귀
출력이 범주 → 분류
레이블 없음 → 군집·차원축소

추가 고려:
데이터 크기
특성 수·형식
선형성
해석 가능성
학습·추론 비용
결측·이상치
불균형
운영 제약

가장 복잡한 모델보다 목표·데이터·운영 조건에 맞고 검증된 모델을 선택한다.

문제를 잘못 정의하면 좋은 알고리즘을 사용해도 목적에 맞는 결과를 얻지 못한다.

kNN과 k-means는 거리 크기에 민감하다. 두 점 (1,2), (4,6)의 유클리드 거리는 sqrt(3²+4²)=5이다. 한 변수가 천 단위이고 다른 변수가 0~1이면 스케일이 큰 변수가 거리를 지배할 수 있다.

이진 노드에서 양성 비율이 p이면 Gini 불순도는 1-p²-(1-p)²이다. p=0.5일 때 0.5로 가장 크고, 한 클래스만 있으면 0이다. 분할 후 불순도는 자식 표본 수로 가중 평균한다.

k-means는 각 점과 할당 중심 사이 제곱거리 합인 SSE를 줄인다.

할당 단계: 가장 가까운 중심 선택
갱신 단계: 군집별 좌표 평균으로 중심 이동
반복: 할당이 안정되거나 개선이 작을 때까지