빅데이터분석기사 필기
시험 직전 요약장
판단 기준과 헷갈리는 개념, 대표 예제를 짧게 확인하세요.
학습·검증·테스트 데이터 분할
원래 이론 →판단 기준
표를 좌우로 밀어 나머지 열을 확인하세요. 키보드: ←·→, Home·End
| 분할 방법 | 보존하는 구조 | 적합한 상황 | 한계·주의점 |
|---|---|---|---|
| 무작위 | 전체 분포의 무작위 표본 | 관측치가 독립·교환 가능하고 운영 분포가 유사 | 중복·그룹·시간·공간 의존성을 해결하지 못함 |
| 층화 | 클래스·주요 범주의 비율 | 희귀 클래스가 각 세트·폴드에 필요 | 비율만 보존하며 그룹·시간 누수를 막지 못함 |
| 그룹 | 동일 개체의 경계 | 새 고객·환자·장비 일반화 | 그룹 수가 적으면 점수 변동이 큼 |
| 시간 | 과거→미래 순서 | 예측·정책 변화·드리프트가 있는 운영 | 미래 분포를 억지로 층화하면 현실성이 깨질 수 있음 |
| 공간 블록 | 인접 지역의 분리 | 새 지역에 대한 공간적 일반화 | 블록 정의에 따라 표본 수와 난이도가 크게 달라짐 |
여러 조건이 동시에 존재하면 일반화 목표를 직접 지키는 구조 제약을 먼저 적용하고 그 안에서 가능한 범위로 클래스 비율을 맞춘다. 예를 들어 미래 예측이 목표라면 시간 순서를 먼저 지키고, 미래 분포를 과거와 같게 만들기 위해 무리하게 층화하지 않는다.
헷갈리는 개념
표를 좌우로 밀어 나머지 열을 확인하세요. 키보드: ←·→, Home·End
| 데이터 범위 | 주된 역할 | 허용되는 작업 | 금지·주의 작업 |
|---|---|---|---|
| 훈련 | 변환과 모수 학습 | 대치·스케일링 적합, 변수 생성 규칙 학습, 모형 적합 | 검증·테스트 분포를 보고 기준을 바꾸지 않음 |
| 검증·안쪽 폴드 | 후보 선택 | 변수 집합, 하이퍼파라미터, 임곗값·보정 방법 비교 | 최종 일반화 성능처럼 단정하지 않음 |
| 테스트·바깥 폴드 | 선택 절차 평가 | 잠긴 파이프라인의 성능과 불확실성 측정 | 후보·전처리·임곗값을 다시 선택하지 않음 |
대표 계산·예제
시간 분할에서는 행의 기준 시점뿐 아니라 특징 관측 종료일과 라벨 관측 종료일을 확인한다. 예를 들어 기준일 이후 90일 내 재입원을 목표로 할 때, 훈련 행의 90일 라벨 창이 검증 시작일 뒤까지 이어지면 분할 경계 이후 정보로 훈련 라벨이 확정될 수 있다.
내 최근 연습 오답
현재 브라우저의 연습 채점 기록에서 공개된 단원과 연결된 오답을 확인합니다.
오답 기록을 확인하고 있습니다.