다변량 분석과 차원 해석

핵심 요약

다변량 분석은 여러 변수를 동시에 쓴다는 공통점만 있을 뿐 목적과 데이터 역할이 서로 다르다. PCA는 목표 라벨 없이 관측변수의 총분산을 압축한다. 요인분석은 변수 사이 공분산을 잠재 공통요인으로 설명한다. 판별분석은 알려진 집단 라벨로 분류축을 학습하고, MANOVA는 집단별 여러 연속형 결과의 평균벡터를 비교한다.

저차원 그림에서 집단이 분리돼 보이거나 누적 설명분산이 높다는 사실만으로 예측성능·잠재원인·인과관계가 증명되지는 않는다. 질문→변수 역할→전처리→가정→차원·모형 선택→독립 검증을 순서대로 확인한다.

학습 목표

• PCA·요인분석·LDA/QDA·MANOVA의 질문과 지도 여부를 구분한다.
• 공분산행렬과 상관행렬 기반 PCA의 차이를 판별한다.
• 고유값·고유벡터·성분점수·적재량·설명분산을 계산한다.
• 요인 적재량·공통성·고유성·직교/사각회전의 의미를 설명한다.
• 판별차원의 수, 공분산 가정과 MANOVA 통계량·후속분석을 판단한다.
• 교차검증에서 스케일링·차원축소를 분석 폴드 안에 맞춰 누수를 방지한다.

1. 질문에 맞는 방법 선택

flowchart TD
    A["분석 질문과 변수 역할"] --> B{"주된 목적"}
    B --> C["총분산 압축: PCA"]
    B --> D["잠재구조 설명: 요인분석"]
    B --> E["라벨 분류: LDA 또는 QDA"]
    B --> F["평균벡터 비교: MANOVA"]

PCA를 한 뒤 분류기를 붙일 수는 있지만 PCA 자체가 지도 분류법으로 바뀌는 것은 아니다. 목표 예측에 중요한 저분산 방향을 PCA가 버릴 수도 있으므로 최종 목적에 맞게 전체 파이프라인을 검증한다.

2. PCA의 전처리와 행렬 선택

PCA는 수치형 데이터 행렬 X에서 변수별 평균을 빼 중심화한 뒤 공분산행렬 또는 상관행렬을 분해한다. 결측 대치·이상치 처리·변환도 결과를 바꾸므로 분석 목적과 함께 기록한다.

상관행렬 PCA는 각 변수를 표준화한 공분산 PCA와 같다. 표준화된 p개 변수의 상관행렬은 대각합이 p이므로 고유값 합도 p다. 단위가 중요한데 무조건 표준화하거나, 단위가 다른데 원 공분산을 그대로 쓰는 두 극단을 피한다.

3. 고유값·고유벡터·성분점수

중심화된 데이터의 공분산행렬 S에 대해 다음을 푼다.

S vₖ = λₖ vₖ,        λ₁ ≥ λ₂ ≥ … ≥ 0
vₖᵀvₗ = 0 (k≠l),    ||vₖ||=1
관측치 i의 성분점수: tᵢₖ = (xᵢ-x̄)ᵀvₖ
설명분산비: EVRₖ = λₖ / Σⱼλⱼ
누적설명분산비: Σₖ₌₁ᴷ EVRₖ

고유벡터 vₖ는 성분을 만드는 계수 방향이고, 고유값 λₖ는 그 성분점수의 분산이다. 서로 다른 고유값의 고유벡터는 직교하며 성분점수도 표본 공분산 기준으로 비상관이다. 직교는 독립을 뜻하지 않으며, 다변량 정규성 같은 추가 조건에서만 비상관과 독립이 연결된다.

2변수 계산 예제

공분산행렬이 다음과 같다고 하자.

S = [[4, 2],
     [2, 4]]

λ₁=6,  v₁=(1,1)/√2
λ₂=2,  v₂=(1,-1)/√2

중심화된 관측치가 (2,0)이면 PC1 점수와 PC2 점수는 모두 2/√2=√2다. PC1 하나만 남길 때 평균 제곱 재구성 오차는 사용하는 공분산 분모 관례 아래 버린 고유값 2와 연결된다. 일반적으로 K개 성분의 최소 제곱 재구성 손실은 버린 고유값의 합으로 해석한다.

4. 적재량 해석의 주의점

“적재량”은 소프트웨어에 따라 고유벡터 계수 vⱼₖ를 뜻하기도 하고, 원변수와 성분점수의 상관을 뜻하기도 한다. 후자의 일반식은 다음과 같다.

corr(Xⱼ, PCₖ) = √λₖ · vⱼₖ / √Sⱼⱼ
표준화 변수에서는 √λₖ · vⱼₖ

따라서 적재량 표를 비교할 때 정의와 스케일을 먼저 확인한다. 절댓값이 크면 해당 축과 강하게 연결되지만, 부호는 축의 방향을 나타낼 뿐 절대적 의미가 없다.

• vₖ 대신 -vₖ를 써도 같은 PCA 해이며 모든 점수·적재량 부호만 함께 바뀐다.
• 고유값이 같거나 매우 비슷하면 해당 부분공간 안의 축 방향이 비고유적·불안정할 수 있다.
• 변수 선택, 표본 또는 시점이 바뀌면 적재량 순서와 부호가 달라질 수 있으므로 재표본 안정성을 본다.
• 성분에 이름을 붙이는 것은 해석 편의를 위한 것이며 실제 잠재원인의 존재를 증명하지 않는다.

5. 차원 수 선택과 검증

차원 수 K는 하나의 규칙으로 확정하지 않는다.

훈련·검증·테스트가 있으면 평균·표준편차·대치값·PCA 축은 훈련 데이터에서만 추정한다. 교차검증에서는 각 훈련 폴드 안에서 전처리와 PCA를 다시 맞춘 뒤 검증 폴드를 변환한다. 시계열·집단 데이터는 시간·그룹 분할까지 반영한다.

6. PCA와 요인분석

탐색적 요인분석의 대표 모형은 다음과 같다.

x = Λf + ε
Cov(x) = ΛΦΛᵀ + Ψ

Λ는 요인적재량, Φ는 요인 공분산, Ψ는 변수별 고유분산이다. 표준화 변수에서 공통성 hⱼ²은 공통요인이 설명하는 분산이고 고유성은 보통 1-hⱼ²로 연결된다. 요인점수는 잠재요인의 추정치이지 직접 관측된 참값이 아니다.

KMO는 편상관과 상관 구조를 이용해 요인분석 적합성을 진단하고, Bartlett 구형성 검정은 상관행렬이 단위행렬인지 검정한다. 그러나 큰 표본에서는 작은 상관도 유의할 수 있으므로 이 둘만으로 요인모형을 확정하지 않는다.

회전과 비식별성

회전은 선택한 요인공간을 해석하기 쉽게 재표현하지만 새 증거를 만들거나 자료 적합성을 임의로 보장하지 않는다. 요인 순서·부호·회전은 유일하지 않으며, 교차적재·공통성·적합도와 다른 표본에서의 재현성을 함께 본다. 탐색적 요인분석에서 얻은 구조를 같은 자료만으로 확정하지 말고 가능하면 독립 표본의 확인적 요인분석으로 검증한다.

7. 판별분석: LDA와 QDA

두 방법은 클래스별 다변량 정규성을 기반으로 한 확률모형이며 사전확률과 오분류 비용이 결정에 영향을 줄 수 있다. LDA에서 가능한 판별축 수는 최대 min(p, g-1)이다. 즉 변수가 10개여도 집단이 3개면 판별축은 최대 2개다.

다중공선성·고차원·작은 표본에서는 공분산행렬이 불안정하거나 특이해질 수 있다. 변수 선택, 규제·축소 공분산, 차원축소를 검토하되 모두 훈련 폴드 안에서 수행한다. 정확도만 보지 말고 클래스 불균형, 사전확률, 비용, 혼동행렬과 독립 평가 성능을 함께 본다.

8. MANOVA

MANOVA는 집단요인이 여러 연속형 결과변수의 평균벡터에 영향을 주는지 검정한다.

H₀: μ₁ = μ₂ = … = μg  (결과 평균벡터가 같음)
H₁: 적어도 한 집단의 평균벡터가 다름

주요 조건은 관측 독립성, 집단별 다변량 정규성, 공분산행렬 동질성, 심한 다변량 이상치·완전 다중공선성 부재다. 결과변수 사이 적당한 상관을 함께 활용하지만 완전히 중복되는 결과는 행렬을 특이하게 만들 수 있다. 불균형 표본과 공분산 이질성이 함께 있으면 검정이 민감할 수 있다.

전체 검정이 유의하면 어떤 결과변수·집단·대비가 차이를 만드는지 사전 대비 또는 후속 단변량 분석으로 확인하고 다중검정을 보정한다. 결과별 효과크기와 신뢰구간도 보고한다. 전체 유의는 모든 결과가 유의하거나 같은 방향으로 변한다는 뜻이 아니다.

9. 사례 적용

상황: 만족도 설문 20문항, 고객등급, 재구매·추천·불만점수를 분석한다.

조건: 문항 단위가 같지만 상관이 높고, 등급은 이미 알려져 있으며 등급별 표본 수가 다르다.

판단: 단순 압축이면 중심화한 PCA를 검토하고 고유값·재구성·적재 안정성으로 차원 수를 고른다. 잠재 만족요인 해석이면 KMO·Bartlett만이 아니라 평행분석·공통성·회전·교차적재와 독립 확인을 본다. 등급 분류는 LDA/QDA의 공분산 가정과 사전확률을 비교해 교차검증한다. 세 결과의 등급별 평균벡터는 MANOVA로 검정하고 Pillai·Wilks, 공분산 동질성과 후속비교를 확인한다.

결론: 같은 변수 집합이라도 총분산 압축, 잠재구조, 분류, 평균벡터 검정의 질문을 분리하고 모든 전처리·축 선택을 독립 평가 안에서 검증한다.

주성분은 중심화된 변수의 선형결합이며 PC1은 분산이 가장 큰 방향, PC2는 PC1과 직교하면서 남은 분산이 가장 큰 방향이다. 변수 단위가 크게 다르면 공분산 대신 표준화 후 상관행렬 기반 PCA를 고려한다.

누적 85%는 예시 기준이며 예측·해석 목적과 검증 결과로 성분 수를 정한다.

시험 판단 포인트

• PCA의 고유값은 성분 분산이고 설명분산비는 고유값/고유값 합이다.
• 공분산 PCA와 상관행렬 PCA는 변수 단위·분산을 다르게 반영한다.
• 고유벡터와 요인의 부호·순서는 절대적이지 않다.
• PCA는 총분산 압축, 요인분석은 공통분산의 잠재구조 설명이 목적이다.
• LDA 판별축 수는 최대 min(p,g-1)이고 QDA는 클래스별 공분산을 추정한다.
• MANOVA 유의 뒤에는 결과·집단별 후속분석과 다중비교 보정이 필요하다.

자주 틀리는 부분

• 표준화를 무조건 적용하거나 단위가 다른데 공분산 PCA를 자동 선택하지 않는다.
• 적재량의 소프트웨어 정의와 고유벡터 부호 비식별성을 무시하지 않는다.
• 누적 설명분산이 높다는 이유만으로 예측 라벨 정보도 보존됐다고 단정하지 않는다.
• PCA 성분을 검증 없이 실제 잠재원인으로 명명하지 않는다.
• 저차원 산점도의 분리를 독립 테스트 분류성능으로 해석하지 않는다.
• MANOVA 전체 유의를 모든 결과변수의 개별 유의로 바꾸지 않는다.