시험 직전 요약장

변수 선택의 목적은 단순히 열의 수를 줄이는 것이 아니다.

• 잡음 변수를 줄여 일반화 성능과 추정 안정성을 높인다.
• 수집·저장·전처리·추론 비용을 줄인다.
• 중복 정보를 줄이고 설명을 단순화한다.
• 예측 시점에 사용할 수 없는 사후 정보와 목표 누수 변수를 제거한다.
• 규제·모형 복잡도와 함께 과대적합을 통제한다.

예측 목적에서는 미지 데이터의 성능과 운영 가능성을 우선한다. 설명·인과 목적에서는 교란변수, 설계변수, 정책상 필수 변수를 단순 상관이나 VIF만으로 제거하면 추정 대상 자체가 달라질 수 있다. 선택 기준을 적용하기 전에 예측 시점, 변수 생성 시점, 업무상 필수 여부를 문서화한다.

설명변수 $j$의 분산팽창요인은 다음과 같다.

$R_j^2$는 설명변수 $X_j$를 나머지 설명변수들로 회귀했을 때의 결정계수다. 공선성이 없다는 기준 상황과 비교할 때 해당 회귀계수 분산의 팽창 배수를 나타내며, 표준오차의 팽창 배수는 다음과 같다.

예를 들어 $R_j^2=0.84$이면 $VIF_j=1/(1-0.84)=6.25$이고 표준오차 팽창 배수는 $\sqrt{6.25}=2.5$다.

경계조건도 함께 해석한다.

• $R_j^2=0$이면 $VIF_j=1$로, 나머지 설명변수에 의한 선형 분산 팽창이 없다.
• $R_j^2\rightarrow1$이면 VIF는 매우 커진다.
• $R_j^2=1$이면 분모가 0이므로 VIF는 무한대로 발산하며 완전 다중공선성을 뜻한다. 일반적인 최소제곱 계수는 유일하게 정해지지 않는다.

VIF 5 또는 10은 관행적인 조사 기준일 뿐 절대 삭제선이 아니다. 표본 크기, 추론 목적, 변수의 필수성, 상호작용·다항항의 구조를 함께 본다. 상호작용이나 제곱항 때문에 생긴 비본질적 공선성은 원변수를 중심화하면 완화될 수 있지만, 완전 중복 변수를 중심화만으로 해결할 수는 없다.

범주형 변수를 $k$개의 더미 변수로 만들고 절편까지 포함하면, 모든 더미의 합이 1이어서 완전 다중공선성이 생긴다. 이를 더미 변수 함정이라 하며 보통 기준 범주 하나를 제외한 $k-1$개 더미를 사용한다. 여러 자유도를 가진 범주형 변수는 개별 더미 하나의 VIF만으로 전체 효과를 단정하지 않는다.