군집분석(Clustering)

핵심 요약

거리·스케일링, 계층 군집 연결법, k-means의 중심·SSE, 혼합분포 군집과 SOM의 기본을 비교한다.

본문

군집 목적, 유클리드·맨해튼 거리와 스케일링

군집분석은 정답 집단 없이 관측치 사이의 유사성·비유사성을 이용해 비슷한 대상을 묶는 비지도학습 방법이다.

두 점 A=(1,2), B=(4,6)의 거리는 다음과 같다.

• 유클리드 거리: √((4-1)²+(6-2)²)=5
• 맨해튼 거리: |4-1|+|6-2|=7

거리 기반 군집은 변수 단위에 민감하다. 연소득이 수만 단위이고 방문 횟수가 한 자릿수라면 연소득이 거리를 지배할 수 있다. 변수들을 비슷한 중요도로 보려는 목적이라면 표준화를 검토한다.

표준화가 끝났더라도 업무 목적에 따라 변수별 가중치를 둘 수 있다. 유클리드 거리에서 한 변수 좌표에 가중치 w를 곱하면 제곱거리에서 그 변수의 기여는 w²배가 된다. 따라서 안전위험점수에 2를 곱하면 같은 표준화 차이에 대한 제곱거리·SSE 기여가 4배가 될 수 있으므로 다른 가중치에 대한 민감도와 군집 해석을 비교한다.

계층 군집과 단일·완전·평균·Ward 연결법

병합적 계층 군집은 각 관측치를 하나의 군집으로 시작해 가까운 군집을 차례로 합친다. 군집 간 거리는 연결법에 따라 달라진다.

• 단일연결: 두 군집 관측치 쌍 거리의 최솟값
• 완전연결: 최댓값
• 평균연결: 평균
• Ward: 병합 후 군집 내 제곱합 증가가 작은 조합 선호

두 군집 사이 관측치 쌍 거리가 2,8,5,7이면 단일연결 거리는 2, 완전연결은 8, 평균연결은 (2+8+5+7)/4=5.5다.

단일연결은 가까운 점 하나를 따라 길게 이어지는 chaining 현상이 나타날 수 있고, 완전연결은 상대적으로 조밀한 군집을 선호하는 경향이 있다.

전통적인 계층 군집은 관측치 수가 매우 커지면 많은 쌍별 거리의 계산·저장과 반복 병합 갱신이 필요해 계산량과 메모리 부담이 커질 수 있다. 수십만 건처럼 큰 자료에서는 표본화, 사전 요약, 더 확장 가능한 군집 방법을 검토할 수 있다.

덴드로그램과 군집 절단 해석

덴드로그램은 병합 과정을 나무 형태로 나타낸다. 병합 높이는 선택한 거리·연결법에 따른 비유사성 수준이다.

특정 높이에서 가로로 자르면 그 아래에 남는 가지 묶음 수를 군집 수 후보로 볼 수 있다. 계층 군집은 처음부터 k를 확정하지 않고 전체 병합 구조를 만든 뒤 절단 위치를 검토할 수 있다는 장점이 있다.

k-means 배정·중심 갱신, SSE·초기값·이상값 민감도

k-means는 계층 트리를 만들지 않고 관측치를 직접 k개로 나누는 대표적인 비계층 군집 방법이며, 수치형 관측치를 k개 군집에 배정하고 각 군집의 평균 벡터를 중심으로 사용한다.

절차:

1. k와 초기 중심을 정한다.
2. 각 관측치를 가장 가까운 중심에 배정한다.
3. 각 군집 평균으로 중심을 갱신한다.
4. 배정·중심이 안정될 때까지 반복한다.

값이 1,2,9,10, 초기 중심이 2와 9라면 첫 배정은 {1,2}, {9,10}이고 새 중심은 1.5, 9.5다.

SSE는 각 관측치와 군집 중심의 제곱거리 합이다.

(1-1.5)²+(2-1.5)²+(9-9.5)²+(10-9.5)² = 1

k-means는 초기값에 따라 지역해가 달라질 수 있어 여러 초기화 결과를 비교한다. 평균과 제곱거리를 사용하므로 극단값과 스케일에도 민감하다.

k-means의 군집 번호 1, 2, …에는 고유한 순서 의미가 없다. 두 실행에서 중심과 구성원이 서로 대응하고 단지 라벨 1↔2가 바뀐 것이라면 같은 분할을 다른 번호로 표현한 것일 수 있다. 실행 결과를 비교할 때는 번호 자체가 아니라 중심·구성원·목적함수를 대응시킨다.

군집 수 선택과 엘보·실루엣 평가

k가 커지면 SSE는 보통 감소하거나 같아진다. 따라서 SSE가 가장 작다는 이유로 가장 큰 k를 선택하면 지나치게 많은 군집을 만들 수 있다.

엘보 방법은 k를 늘릴 때 SSE 감소폭이 급격히 완만해지는 지점을 후보로 본다. 기계적인 정답 공식은 아니다.

실루엣 계수는 관측치 i에 대해

• a(i): 같은 군집 내 평균 거리
• b(i): 가장 가까운 다른 군집까지 평균 거리

로 두고

s(i) = (b(i)-a(i)) / max(a(i),b(i))

로 계산한다.

a=2, b=5면 s=(5-2)/5=0.6이다. 1에 가까울수록 현재 군집 내부는 가깝고 다른 군집과는 잘 분리된 편이며, 음수면 다른 군집에 더 가까울 가능성이 있다.

ADsP 시험 핵심 보충: 혼합분포 군집과 SOM

• 혼합분포 군집은 여러 확률분포의 혼합으로 자료를 표현하고 관측치의 군집 소속 확률을 추정한다. 대표적인 추정 방법인 EM은 소속에 대한 기대를 계산하는 E단계와 모수를 갱신하는 M단계를 반복한다.
• SOM(자기조직화지도)은 비지도 신경망으로 고차원 입력을 낮은 차원의 격자에 대응시킨다. 입력에 가장 가까운 승자 노드와 이웃 노드의 가중치를 함께 갱신하여 입력의 인접 관계를 반영한다. 정답 범주를 이용하는 지도 분류와 구분한다.