시험 직전 요약장

• 선형회귀는 연속형 목표의 조건부 평균을 계수의 선형결합으로 추정한다.
• 최소제곱은 잔차제곱합을 최소화하며 극단 오차의 영향이 크다.
• 회귀계수는 다른 변수를 고정한 조건부 관계이고 인과효과를 자동 보장하지 않는다.
• 정규성은 설명변수 자체가 아니라 주로 조건부 오차와 소표본 추론에 관련된다.
• 이분산은 통상 표준오차와 효율에 영향을 줄 수 있으나 OLS 계수가 언제나 편향된다는 뜻은 아니다.
• 검증·테스트 $R^2$는 음수가 될 수 있고 $SST=0$이면 정의에 주의한다.
• 다중공선성은 개별 계수의 분산·안정성에 영향을 주며 예측을 반드시 악화시키지는 않는다.
• 리지·라쏘는 훈련 폴드에서 표준화하고 $\lambda$를 검증으로 선택한다.

• 예측 목적: 새 데이터의 연속형 값을 정확히 예측하는지가 핵심이다. 훈련 밖의 MAE·RMSE와 시간·그룹 구조를 반영한 검증을 우선한다.
• 설명·추론 목적: 다른 변수를 고정했을 때 계수의 방향·크기와 불확실성을 해석한다. 표본추출, 모형 형태, 외생성, 오차 구조와 표준오차가 중요하다.
• 인과 목적: 회귀계수가 인과효과가 되려면 시간 순서, 교란 통제, 처치 배정이나 식별 가정 같은 추가 설계가 필요하다. 회귀 적합만으로는 충분하지 않다.

같은 선형회귀라도 목적에 따라 가정 위반의 영향과 대응이 달라진다. 예측이 잘돼도 계수를 인과적으로 해석할 수 없고, 일부 추론 가정이 약해도 검증 예측은 유용할 수 있다.

설명변수가 하나이고 $S_{xx}=\sum_i(x_i-\bar{x})^2>0$이면 다음과 같다.

$b_1=\frac{\sum_i(x_i-\bar{x})(y_i-\bar{y})}{\sum_i(x_i-\bar{x})^2} =\frac{S_{xy}}{S_{xx}},\qquad b_0=\bar{y}-b_1\bar{x}$

예제 데이터가 $x=[1,2,3,4,5]$, $y=[2,3,5,4,6]$이면 $\bar{x}=3$, $\bar{y}=4$, $S_{xx}=10$, $S_{xy}=9$다. 따라서 $b_1=0.9$, $b_0=1.3$, 적합식은 $\hat{y}=1.3+0.9x$다.

절편을 포함한 OLS에서는 훈련 잔차의 합이 수치 오차를 제외하면 0이다. 잔차제곱합은 0.04+0.01+1.00+0.81+0.04=1.90이다. $S_{xx}=0$, 즉 모든 $x$가 같으면 기울기를 식별할 수 없다.

막대는 실제값, 선은 적합값이다. 두 값의 세로 차이가 잔차이며, 관측치 3과 4에서 차이가 상대적으로 크다.

전체 맞춤원본 크기새 창 보기