빅데이터분석기사 필기
시험 직전 요약장
판단 기준과 헷갈리는 개념, 대표 예제를 짧게 확인하세요.
데이터 품질 검증과 저장 구조
원래 이론 →판단 기준
- 품질 차원은 목적에 맞게 선택하며 완전성·유효성·정확성은 서로 다른 개념이다.
- 품질률에는 계산식·분모·임계치·예외가 필요하고 분모 0은 자동 100%가 아니다.
- 프로파일링은 문제 후보 탐색, 규칙 검증은 허용 조건 판정, 대사는 원천-목표 비교다.
- 평균 품질 점수가 높아도 치명적 규칙은 별도 하드 게이트로 차단할 수 있다.
- 데이터웨어하우스·데이터레이크는 활용 구조이고 분산 저장은 구현 방식이므로 함께 조합될 수 있다.
- 관계형 DB와 NoSQL은 데이터 크기만이 아니라 거래·제약·조회·갱신 패턴으로 선택한다.
- 파티션은 분할, 복제는 가용성, 백업은 복구가 목적이다.
- 저장 완료는 내용·대사·스키마·파티션·계보·보안·복구까지 검증해야 한다.
헷갈리는 개념
표를 좌우로 밀어 나머지 열을 확인하세요. 키보드: ←·→, Home·End
| 개념 | 목적 | 잘못된 판단 | 필수 검증 |
|---|---|---|---|
| 파티션 | 데이터를 키·범위·시간 등으로 나눠 병렬 처리와 가지치기 지원 | 파티션 수가 많을수록 항상 빠름 | 키 편중, 작은 파일, 누락 파티션, 조회 조건 |
| 복제 | 여러 사본을 두어 노드 장애 시 가용성 확보 | 복제본이 있으므로 삭제·오염도 복구 가능 | 복제 수, 배치 위치, 복제 지연, 일관성 |
| 백업 | 별도 시점·매체에 복구 가능한 사본 보존 | 백업 파일 존재만으로 복구 보장 | 보존주기, 암호화, 무결성, 실제 복원 시험 |
| 체크포인트·로그 | 마지막 안전 상태와 변경 이력으로 재개·재처리 | 체크포인트를 성공 전에 전진 | 성공 기준, 멱등성, 로그 보존, 재실행 범위 |
분산 파일시스템은 파일을 블록으로 나누고 복제해 장애에 대응할 수 있다. 복제는 가용성을 높이지만 사용자 삭제, 잘못된 갱신, 논리적 오염도 함께 복제할 수 있으므로 버전·백업·복구 절차가 별도로 필요하다.
대표 계산·예제
예를 들어 고객 주소 서울시 ...가 형식 규칙을 통과하면 유효할 수 있다. 그러나 고객이 이사했다면 정확성과 적시성이 낮다. 품질 차원은 서로 대체되지 않으므로 ‘결측률 0%’ 하나로 전체 품질을 판정하지 않는다.
내 최근 연습 오답
현재 브라우저의 연습 채점 기록에서 공개된 단원과 연결된 오답을 확인합니다.
오답 기록을 확인하고 있습니다.