빅데이터분석기사 필기
시험 직전 요약장
판단 기준과 헷갈리는 개념, 대표 예제를 짧게 확인하세요.
모형 전개·모니터링·리모델링
원래 이론 →판단 기준
| 방식 | 예측 시점 | 적합한 상황 | 핵심 제약 |
|---|---|---|---|
| 배치 | 시간·일·주 단위 일괄 | 정기 점수·대량 대상 선정 | 최신성·재처리·부분 실패 |
| 온라인 API | 요청마다 동기 응답 | 승인·추천·실시간 위험판정 | 지연·가용성·동시성·시간초과 |
| 스트리밍 | 이벤트 흐름에서 연속 처리 | 이상·사기·센서 감지 | 순서·중복·상태·이벤트 시간 |
| 기기 내 | 단말·센서에서 추론 | 네트워크 제한·낮은 지연 | 메모리·전력·업데이트·보안 |
| 하이브리드 | 배치 특징+온라인 추론 등 결합 | 대규모 집계와 즉시 판단 | 특징 신선도·버전·접속 실패 |
배치는 동일한 입력 집합을 재실행했을 때 중복 행동이 생기지 않도록 멱등성과 체크포인트가 필요하다. 스트리밍은 처리 시간이 아니라 이벤트 발생 시각, 늦게 도착한 이벤트와 중복 제거 정책을 정한다. 온라인은 평균 지연만 보지 않고 p95·
헷갈리는 개념
| 변화 | 수식 관점 | 예시 | 성능 영향 |
|---|---|---|---|
| 데이터·공변량 드리프트 | P(X) 변화 | 고객 구성·센서 범위·유입 채널 | 관계가 유지되면 영향이 작을 수도 있음 |
| 라벨·사전확률 변화 | P(Y) 변화 | 사기율·불량률·수요율 변화 | 정밀도·보정·최적 임곗값 변화 가능 |
| 개념 드리프트 | P(Y|X) 변화 | 공격 적응·소비 행동 변화 | 과거 관계가 약화되어 성능 저하 가능 |
| 데이터 품질 장애 | 측정·파이프라인 오류 | 단위 변경·결측 급증·조인 실패 | 먼저 파이프라인 복구 대상 |
이 변화들은 동시에 발생할 수 있다. 라벨 없이 관측 가능한 P(X)와 점수 분포만으로 P(Y|X) 변화를 직접 확정할 수 없다. 드리프트 탐지는 원인 분석의 시작이며 재학습 명령이 아니다.
대표 계산·예제
분포 변화는 범주 비율, 요약통계·분위수, KS 거리, PSI, Jensen-Shannon 거리 등으로 볼 수 있다. 지표는 자료형·표본 크기·구간 설정과 업무 민감도에 맞춰 선택한다.
기준 구간 비율을 p_b, 현재 구간 비율을 q_b라 할 때 PSI는 다음과 같다.
PSI = Σ_b (q_b - p_b) × ln(q_b / p_b)
기준 p=(0.5, 0.5), 현재 q=(0.7, 0.3)이면 다음과 같다.
PSI
= (0.7-0.5)ln(0.7/0.5) + (0.3-0.5)ln(0.3/0.5)
≈ 0.0673 + 0.1022 = 0.1695
같은 구간 경계를 사용해야 하며 p_b 또는 q_b가 0이면 로그가 정의되지 않으므로 사전에 정한 작은 값, 구간 병합 또는 별도 새 범주 정책을 사용한다. 구간 수와 경계를 바꾸면 값도 바뀐다.
PSI의 0.1, 0.25 같은 관행적 경계는 표본 크기·오탐비용과 무관한 보편 법칙이 아니다. 기준 기간의 정상 변동, 표본 수, 다중 특징 경보와 실제 성능 관계를 이용해 자체 임계값과 지속 조건을 검증한다.
내 최근 연습 오답
현재 브라우저의 연습 채점 기록에서 공개된 단원과 연결된 오답을 확인합니다.
오답 기록을 확인하고 있습니다.