다변량 분석

핵심 요약

주성분·요인분석과 다차원척도법의 목적, 설명분산·요인적재량·스트레스를 비교하고 차원 축소 결과를 해석한다.

본문

주성분분석의 목적·중심화·표준화

주성분분석(PCA)은 서로 상관된 여러 수치 변수를 원래 변수의 선형결합인 소수의 주성분으로 바꾸어 정보 손실을 줄이면서 차원을 축소하는 방법이다.

PCA를 적용할 때 평균을 빼는 중심화가 기본적으로 중요하다. 변수 단위가 크게 다르면 분산이 큰 변수가 주성분을 지배할 수 있으므로 상관행렬 기반 PCA 또는 표준화를 검토한다.

PCA는 목표변수 Y를 이용해 예측력을 최대화하는 방법이 아니라 입력 변수 자체의 분산·공분산 구조를 요약하는 비지도 차원축소다. 따라서 큰 분산이 업무적으로 중요한 예측 신호라는 보장은 없다. 공분산 기반 PCA는 평균·공분산에 의존하므로 극단값이 주성분 방향을 크게 바꿀 수 있다는 점도 확인한다.

고유값·고유벡터·설명분산비·주성분 점수와 차원축소

공분산·상관행렬의 고유벡터가 주성분 방향, 고유값이 그 방향이 설명하는 분산과 연결된다.

전체 고유값이 4, 1, 0.5라면 전체 분산은 5.5다.

• PC1 설명분산비 = 4/5.5 ≈ 72.73%
• PC1+PC2 누적 설명분산비 = 5/5.5 ≈ 90.91%

주성분 점수는 각 관측값에 주성분 계수를 적용한 값이다. 주성분의 부호는 고유벡터 전체에 -1을 곱해도 같은 축을 나타낼 수 있으므로 부호 자체보다 변수 간 상대적 방향과 크기를 본다.

주성분 수를 정할 때는 설명분산비뿐 아니라 고유값을 순서대로 그린 스크리 플롯(scree plot)에서 감소폭이 완만해지는 elbow를 후보로 볼 수 있다. 단일 규칙으로 자동 확정하지는 않는다.

서로 다른 주성분은 직교 고유벡터를 사용하므로 중심화된 자료에서 서로 다른 주성분 점수의 공분산은 0이다. 앞 k개 성분만 남기면 생략한 성분의 양의 고유값만큼 분산 정보를 잃는다. 따라서 생략된 고유값이 모두 0이면 해당 부분공간에서는 정확한 재구성이 가능하지만, 양의 고유값을 버리면 재구성 손실이 남는다.

같은 고유값이 반복되면 그 고유값에 대응하는 부분공간은 정해져도 그 안의 개별 축 방향은 유일하지 않을 수 있다. 예를 들어 표준화 후 상관행렬이 단위행렬이라 두 고유값이 모두 1이면 PC1 방향을 하나로 고정할 근거가 없다.

요인분석의 잠재요인·요인적재량·공통성·고유성

요인분석은 관측 변수 사이의 상관 구조가 소수의 잠재요인으로 설명된다고 보는 접근이다.

• 요인적재량: 변수와 요인의 관계 강도
• 공통성: 공통요인들이 변수 분산에서 설명하는 부분
• 고유성: 공통요인으로 설명되지 않는 부분

직교 요인에서 한 변수의 적재량이 요인1에 0.8, 요인2에 0.3이라면 단순 제곱합으로 공통성을 0.8²+0.3²=0.73으로 볼 수 있다. 요인모형과 회전 방식에 따라 해석 세부는 달라질 수 있다.

요인 수는 고유값 하나만으로 기계적으로 정하지 않고 고유값, 스크리 플롯, 이론적 의미, 적재 구조의 해석 가능성을 함께 본다. 너무 많은 요인은 요약 효과를 약화시키고, 너무 적으면 중요한 공통 구조를 놓칠 수 있다.

직교·사각 회전과 요인 해석

요인 회전은 더 해석하기 쉬운 적재 구조를 얻기 위해 축을 돌리는 과정이다.

• 직교 회전: 요인 간 상관을 0으로 유지
• 사각 회전: 요인 간 상관을 허용

현실의 잠재요인이 서로 관련될 수 있다면 사각 회전이 더 자연스러울 수 있다. 회전 후에는 단순히 가장 큰 적재량 하나만 보지 말고 교차 적재와 업무 의미를 함께 본다.

Varimax는 대표적인 직교회전이다. 같은 요인 부분공간 안에서 직교행렬로 회전하면 한 변수의 적재 벡터 길이, 즉 적재량 제곱합으로 보는 공통성이 보존된다. 예를 들어 (0.6,0.8)의 제곱합은 1이고, 직교회전 후 (1,0)이 되어도 제곱합은 1이다.

판별분석, LDA·QDA·마할라노비스 거리·사전확률

판별분석은 미리 알려진 집단 정보를 이용해 새 관측이 어느 집단에 속하는지 구분하는 지도학습 방법이다.

• LDA: 집단들이 공통 공분산 구조를 가진다는 가정 아래 선형 판별경계를 형성
• QDA: 집단별 공분산을 다르게 허용해 이차 형태의 경계를 만들 수 있음

마할라노비스 거리는 변수의 분산과 변수 간 상관을 고려한 거리다.

D² = (x-μ)' Σ⁻¹ (x-μ)

사전확률(prior probability)은 각 집단이 나타날 기본 가능성을 반영하며, 불균형 집단에서 판별 기준에 영향을 줄 수 있다.

두 집단 Fisher LDA의 대표적인 판별 방향은 상수배를 무시하면

w ∝ S_w^{-1}(μ1-μ2)

로 쓸 수 있다. 예를 들어 S_w=diag(4,1), μ1-μ2=(2,1)이면 S_w^{-1}=diag(1/4,1)이므로 w는 (0.5,1)에 비례한다.

ADsP 시험 핵심 보충: 다차원척도법

다차원척도법(MDS)은 대상 간 거리·비유사성을 가능한 한 보존하면서 대상을 낮은 차원의 좌표로 배치하는 방법이다. 가까운 대상이 좌표상에서도 가깝게 나타나도록 한다. 주성분분석은 변수의 분산·공분산 구조를 요약하는 반면 MDS는 대상 간 거리 정보가 출발점이다.

계량적 MDS는 비유사성의 수치적 크기를, 비계량적 MDS는 비유사성의 순서 관계를 주로 반영한다. 스트레스(stress)는 원래 비유사성과 저차원 표현의 불일치를 평가하는 척도로, 같은 자료·정의에서 값이 작을수록 더 잘 맞는다. 서로 다른 정의나 자료의 스트레스를 단일 절대 기준으로 비교하지 않는다.

유클리드 거리는 d(x,y)=√Σ(xj−yj)²다. 예를 들어 (0,0)과 (3,4)의 거리는5다. 일반적인 거리행렬은 자기 자신까지의 거리가0이므로 대각 원소가0이고, d(i,j)=d(j,i)이므로 대칭이다.

좌표 전체를 회전·반사·평행이동해도 대상 간 거리는 같으므로 축의 방향 자체를 고정된 업무 의미로 해석하지 않는다.