변수 선택과 다중공선성

핵심 요약

변수가 많다고 모형이 항상 좋아지는 것은 아니다. 잡음·중복 변수는 과대적합과 비용을 늘리고, 목표값이나 미래 결과를 간접적으로 담은 변수는 평가 성능을 부풀리는 데이터 누수가 된다. 변수 선택은 분석 목적, 변수의 사용 가능 시점, 업무 의미를 먼저 확인한 뒤 필터·래퍼·임베디드 방법을 훈련 데이터 안에서 적용해야 한다.

다중공선성은 설명변수 사이의 선형 의존 때문에 개별 회귀계수의 분산이 커지는 현상이다. 두 변수의 상관계수만으로는 충분히 진단할 수 없으며 VIF, 조건수, 계수·표준오차의 안정성을 함께 본다. 예측이 목적이면 규제로 안정성을 높일 수 있지만, 설명·인과 목적에서는 필수 통제변수를 통계 수치만으로 제거하지 않는다.

학습 목표

• 필터·래퍼·임베디드 변수 선택을 구분하고 평가 위치를 설명한다.
• 변수 선택과 변수 추출의 차이를 설명한다.
• 상관과 다중공선성의 차이, VIF의 계산·경계조건을 판정한다.
• 완전 다중공선성, 더미 변수 함정, 규제의 척도 민감성을 설명한다.
• 교차검증과 중첩 검증에서 선택·전처리 누수를 방지한다.

1. 변수 선택의 목적과 판단 기준

변수 선택의 목적은 단순히 열의 수를 줄이는 것이 아니다.

• 잡음 변수를 줄여 일반화 성능과 추정 안정성을 높인다.
• 수집·저장·전처리·추론 비용을 줄인다.
• 중복 정보를 줄이고 설명을 단순화한다.
• 예측 시점에 사용할 수 없는 사후 정보와 목표 누수 변수를 제거한다.
• 규제·모형 복잡도와 함께 과대적합을 통제한다.

예측 목적에서는 미지 데이터의 성능과 운영 가능성을 우선한다. 설명·인과 목적에서는 교란변수, 설계변수, 정책상 필수 변수를 단순 상관이나 VIF만으로 제거하면 추정 대상 자체가 달라질 수 있다. 선택 기준을 적용하기 전에 예측 시점, 변수 생성 시점, 업무상 필수 여부를 문서화한다.

2. 변수 선택 방법

필터 통계는 변수형과 목표형에 맞아야 한다. 예를 들어 피어슨 상관은 수치형 변수의 선형 관계를 주로 보고, 카이제곱 기반 선택은 빈도·범주형 연관 구조와 기대빈도 조건을 확인해야 한다. 낮은 분산 필터도 드문 사기 신호처럼 빈도는 낮지만 중요한 변수를 제거할 수 있으므로 업무 의미를 함께 본다.

전진선택은 빈 모형에서 변수를 추가하고, 후진제거는 전체 변수에서 시작해 제거한다. 단계선택은 추가와 제거를 반복할 수 있다. 같은 데이터에서 여러 후보를 탐색한 뒤 선택된 모형의 p값을 탐색 전 p값처럼 해석하면 선택 불확실성을 과소평가할 수 있다. 선택 기준, 종료 조건, 후보 수와 재표본화 안정성을 함께 보고한다.

3. 변수 선택과 변수 추출

변수 선택은 원래 변수의 일부를 남긴다. 반면 주성분분석(PCA)은 원래 변수의 선형결합인 새 성분을 만드는 변수 추출이다.

PCA 성분은 학습 자료에서 서로 직교하도록 만들 수 있어 공선성 완화에 도움이 되지만, 목표변수를 사용하지 않는 기본 PCA가 예측에 중요한 방향을 반드시 보존하는 것은 아니다. 평균·척도와 주성분 방향은 훈련 데이터에서만 학습하고 검증·시험 데이터에는 그대로 적용한다.

4. 상관과 다중공선성

상관계수는 주로 두 변수의 선형 관계를 요약한다. 다중공선성은 한 설명변수가 여러 설명변수의 선형결합으로 잘 설명되는 현상이므로 모든 두 변수의 상관이 매우 높지 않아도 발생할 수 있다.

예를 들어 서로 독립인 $X_1$, $X_2$에 대해 $X_3=X_1+X_2$라면 세 변수 사이에는 완전한 선형 의존이 생긴다. $X_1$과 $X_2$의 상관은 0이어도 설계행렬은 완전 다중공선성을 가진다.

다중공선성이 강하면 다음 현상이 나타날 수 있다.

• 개별 회귀계수의 표준오차가 커진다.
• 표본이 조금 바뀌어도 계수의 크기와 부호가 달라질 수 있다.
• 변수별 효과를 분리해 해석하기 어려워진다.
• 훈련 범위 안의 예측은 비교적 안정적이어도 외삽과 개별 계수 해석은 불안정할 수 있다.

높은 모형 결정계수는 다중공선성이 없다는 증거가 아니다. 또한 다중공선성은 설명변수 사이의 문제이며 목표변수와의 높은 상관 자체를 뜻하지 않는다.

5. VIF의 계산과 해석

설명변수 $j$의 분산팽창요인은 다음과 같다.

$R_j^2$는 설명변수 $X_j$를 나머지 설명변수들로 회귀했을 때의 결정계수다. 공선성이 없다는 기준 상황과 비교할 때 해당 회귀계수 분산의 팽창 배수를 나타내며, 표준오차의 팽창 배수는 다음과 같다.

예를 들어 $R_j^2=0.84$이면 $VIF_j=1/(1-0.84)=6.25$이고 표준오차 팽창 배수는 $\sqrt{6.25}=2.5$다.

경계조건도 함께 해석한다.

• $R_j^2=0$이면 $VIF_j=1$로, 나머지 설명변수에 의한 선형 분산 팽창이 없다.
• $R_j^2\rightarrow1$이면 VIF는 매우 커진다.
• $R_j^2=1$이면 분모가 0이므로 VIF는 무한대로 발산하며 완전 다중공선성을 뜻한다. 일반적인 최소제곱 계수는 유일하게 정해지지 않는다.

VIF 5 또는 10은 관행적인 조사 기준일 뿐 절대 삭제선이 아니다. 표본 크기, 추론 목적, 변수의 필수성, 상호작용·다항항의 구조를 함께 본다. 상호작용이나 제곱항 때문에 생긴 비본질적 공선성은 원변수를 중심화하면 완화될 수 있지만, 완전 중복 변수를 중심화만으로 해결할 수는 없다.

범주형 변수를 $k$개의 더미 변수로 만들고 절편까지 포함하면, 모든 더미의 합이 1이어서 완전 다중공선성이 생긴다. 이를 더미 변수 함정이라 하며 보통 기준 범주 하나를 제외한 $k-1$개 더미를 사용한다. 여러 자유도를 가진 범주형 변수는 개별 더미 하나의 VIF만으로 전체 효과를 단정하지 않는다.

6. 처리 방법과 규제

L2 규제는 일반적으로 계수를 함께 축소하지만 정확히 0으로 만들지는 않아 변수 선택과 동일하지 않다. L1 규제는 일부 계수를 0으로 만들 수 있지만, 강하게 상관된 변수 중 어느 하나를 선택할지가 표본에 따라 불안정할 수 있다. Elastic Net은 L1과 L2를 결합해 상관된 변수군에 대한 안정성을 높일 수 있다.

규제 페널티는 계수 크기에 적용되므로 변수 척도가 다르면 큰 척도의 변수가 불공정하게 유리하거나 불리해질 수 있다. 평균·표준편차 같은 스케일링 파라미터도 훈련 데이터에서만 추정하고, 규제 강도는 검증 절차 안에서 선택한다.

7. 누수 없는 평가 절차

변수 선택은 모형 평가와 분리된 사전 정답지가 아니다. 목표값을 사용하는 필터, 래퍼 탐색, 임베디드 규제 강도, PCA와 스케일링을 모두 하나의 학습 파이프라인으로 취급한다.

1. 최종 성능 평가용 바깥 훈련·검증 폴드를 나눈다.
2. 각 바깥 훈련 폴드 안에서 결측 처리·스케일링·변수 선택을 다시 학습한다.
3. 후보 변수 집합이나 규제 강도를 튜닝한다면 바깥 훈련 폴드 내부의 검증 또는 안쪽 교차검증을 사용한다.
4. 확정된 파이프라인을 바깥 검증 폴드에 한 번 적용해 성능을 계산한다.

이와 같은 중첩 검증은 많은 변수 조합과 하이퍼파라미터 중 가장 좋은 것을 고른 뒤 같은 검증 결과를 최종 성능처럼 보고하는 선택 편향을 줄인다. 시계열 자료는 무작위 분할 대신 시간 순서를 지키고, 예측 시점 이후에 생성되는 변수는 선택 후보에서 제외한다.

8. 사례 적용

상황: 주택가격 회귀에 면적(㎡), 면적(평), 방 수, 총면적과 지역 더미가 포함되어 있다. 표본을 바꾸면 면적 계수의 부호가 달라진다.

판단 과정:

1. 면적(㎡)과 면적(평)은 상수배 관계이므로 하나를 제거한다.
2. 절편을 포함한다면 지역 더미는 기준 범주 하나를 제외한다.
3. 나머지 변수의 VIF, 표준오차, 계수 부호의 재표본화 안정성을 확인한다.
4. 예측 목적이면 훈련 폴드 안에서 스케일링한 뒤 L2·L1·Elastic Net의 검증 성능을 비교한다.
5. 면적 효과 해석이 목적이면 통제변수의 업무 의미와 추정 대상이 바뀌지 않는지 우선 확인한다.

결론: 높은 상관 변수를 기계적으로 모두 삭제하지 않는다. 완전 중복, 변수 사용 목적, 해석 대상, 검증 성능을 구분해 처리한다.

X1과 X2는 상관 0.94와 VIF 약 9를 함께 보여 계수 불안정 가능성을 점검해야 한다. 상관이 높다는 이유만으로 자동 삭제하지 않고 예측 목적·해석 목적·업무 의미와 규제·결합 대안을 검토한다.

설명변수 $X_j$를 나머지 변수로 회귀한 결정계수를 $R_j^2$라 하면 다음과 같다.

변수 선택은 학습 과정이므로 전체 데이터에서 선택한 뒤 교차검증하면 검증 정보가 새어 나간다. 각 학습 폴드 안에서 필터·래퍼·임베디드 선택을 수행하고 검증 폴드에서 성능과 선택 안정성을 평가한다.

시험 판단 포인트

• 필터는 사전 통계, 래퍼는 변수 집합별 성능, 임베디드는 학습 과정에서 선택한다.
• PCA는 원변수를 고르는 선택이 아니라 새 성분을 만드는 변수 추출이다.
• VIF는 $1/(1-R_j^2)$이고 표준오차 팽창 배수는 $\sqrt{VIF}$다.
• $R_j^2=1$이면 완전 다중공선성으로 VIF가 무한대로 발산한다.
• 절편과 모든 범주 더미를 동시에 넣으면 더미 변수 함정이 생긴다.
• L1은 일부 계수를 0으로 만들 수 있고, L2는 일반적으로 계수를 축소하되 0으로 만들지 않는다.
• 선택·스케일링·PCA·튜닝은 각 훈련 폴드 안에서 수행한다.

자주 틀리는 부분

• 목표변수와 상관이 낮으면 상호작용에서도 쓸모없다고 단정하지 않는다.
• 높은 모형 결정계수를 다중공선성이 없다는 뜻으로 해석하지 않는다.
• VIF 임곗값 하나만으로 필수 통제변수를 자동 삭제하지 않는다.
• PCA가 원래 변수 일부를 그대로 남기는 방법이라고 보지 않는다.
• L1과 L2가 모두 같은 방식으로 계수를 0으로 만든다고 보지 않는다.
• 전체 데이터로 변수 선택·스케일링한 뒤 교차검증하지 않는다.