빅데이터분석기사 필기
시험 직전 요약장
판단 기준과 헷갈리는 개념, 대표 예제를 짧게 확인하세요.
결측값 진단과 처리
원래 이론 →판단 기준
표를 좌우로 밀어 나머지 열을 확인하세요. 키보드: ←·→, Home·End
| 방법 | 적절한 상황 | 주요 한계·확인 사항 |
|---|---|---|
| 행 삭제 | 결측이 적고, 표본이 충분하며, 삭제로 인한 집단 편향이 작을 때 | 표본 감소, 완전 사례만 남는 선택 편향 가능 |
| 변수 삭제 | 결측이 많고 분석 역할이 낮으며 다른 변수로 대체 가능한 정보일 때 | 중요한 설명력과 업무 의미 손실 가능 |
| 평균 대체 | 수치형 분포가 대칭에 가깝고 빠른 기준선이 필요할 때 | 분산·상관 축소, 불확실성 과소평가 |
| 중앙값 대체 | 수치형 분포가 치우치거나 극단값 영향이 클 때 | 변수 간 관계와 집단 차이를 보존하지 못함 |
| 최빈값·고정 범주 대체 | 범주형에서 대표 범주 또는 미상 자체가 의미 있을 때 | 가장 많은 범주가 더 과대표현될 수 있음 |
| 집단별 대체 | 예측 시점에 알 수 있는 관측 집단 차이가 뚜렷할 때 | 그룹 정의가 부정확하면 편향, 작은 그룹은 불안정 |
| 회귀·최근접 이웃 등 모형 대체 | 다른 변수와의 관계를 활용할 수 있을 때 | 모형 오차, 과대적합, 계산 비용, 누수 방지 필요 |
| 다중 대체 | 추론에서 대체 불확실성을 반영해야 할 때 | 메커니즘 가정, 반복 분석과 결합 절차가 필요 |
| 결측 지표 추가 | 결측 발생 자체가 예측 신호일 수 있을 때 | 원인 변화 시 성능 저하, 대체법과 함께 검증 필요 |
삭제와 대체 중 하나를 자동으로 고르지 않는다. 예측 성능뿐 아니라 평균·회귀계수 등 추정량의 편향, 분산, 집단별 영향과 결과 해석 가능성을 비교한다.
헷갈리는 개념
- 설명변수 결측: 훈련 데이터에서 학습한 삭제·대체·결측 지표 규칙을 검증·테스트·운영 데이터에 동일하게 적용한다.
- 목표변수 결측: 지도학습에서 정답을 알 수 없는 행이므로 일반적으로 단순 평균으로 목표값을 채워 학습하지 않는다. 재라벨링, 해당 행의 지도학습 제외, 별도의 반지도학습 설계 등을 검토한다.
- 평가 데이터의 목표값 결측: 정답이 없으므로 해당 행은 성능 지표 계산에 직접 사용할 수 없다. 평가 가능 표본과 제외 기준을 보고한다.
목표변수를 대체한 값으로 성능을 평가하면 모형이 실제 정답이 아니라 만들어 낸 값을 얼마나 잘 맞추는지 측정하게 된다.
대표 계산·예제
예를 들어 미혼 응답자의 배우자 소득은 구조적 결측일 수 있다. 이를 실제 누락과 합쳐 평균으로 대체하면 존재하지 않는 배우자 소득을 만들어 낸다. 반대로 매출액 0은 영업하지 않은 날의 실제 관측값일 수 있으므로 빈칸과 같은 의미로 처리하면 안 된다.
내 최근 연습 오답
현재 브라우저의 연습 채점 기록에서 공개된 단원과 연결된 오답을 확인합니다.
오답 기록을 확인하고 있습니다.