시공간·다변량·비정형 데이터 탐색

핵심 요약

시계열·공간·고차원·비정형 자료는 “각 행이 서로 독립이고 각 열이 같은 의미의 정형 수치”라는 단순 가정을 그대로 적용하기 어렵다. 시계열은 앞뒤 시점, 공간 자료는 좌표계와 이웃, 고차원 자료는 변수 간 공분산, 텍스트·이미지·음성은 표현 단위와 원본 개체가 탐색 결과를 좌우한다.

탐색의 첫 단계는 인덱스·표본 단위·해상도·누락·중복·생성 과정을 확인하고 의존 구조를 보존하는 것이다. 모든 행을 무작위로 섞거나 전체 데이터에서 전처리·차원 축소·특징 선택을 학습하면 계산은 가능해도 미래·인접 지점·동일 원본의 정보가 검증에 새어 성능이 부풀 수 있다.

시각화와 요약값은 전처리 설정에 의존한다. 시간 창, 좌표참조체계(CRS), 공간 가중치, 스케일링, 토큰화, 이미지 방향·색공간, 음성 표본화율과 분할 단위를 기록해야 결과를 재현하고 일반화 범위를 판단할 수 있다.

학습 목표

• 시계열·공간·고차원·비정형 자료의 의존 구조와 분석 단위를 구분한다.
• 이동요약·자기상관의 계산과 미래 정보 누수 경계를 판정한다.
• 공간 좌표계·분모·이웃 가중치·공간 자기상관을 설명한다.
• 고차원 쌍별 비교 수와 차원 축소의 전처리·검증 조건을 계산한다.
• 텍스트·이미지·음성의 표현 단위, 중복, 메타데이터 지름길을 탐색한다.
• 시간·공간·개체·원본 경계를 보존하는 평가 분할을 선택한다.

1. 자료 유형별 보존 단위

같은 원본에서 잘라낸 여러 창·문장·프레임은 행이 달라도 독립 표본이 아니다. 훈련·검증 분할 전에 고객, 매장, 환자, 문서, 촬영 대상, 화자, 녹음 세션 같은 원본 그룹을 식별한다.

2. 시계열 데이터 탐색

2.1 시간 인덱스와 관측 간격

먼저 시각을 정렬하고 중복 타임스탬프, 누락 시점, 시간대, 서머타임, 관측 간격의 규칙성을 확인한다. “시점이 없음”과 “시점은 있으나 측정값이 결측”은 다르다. 재표본화할 때 판매량은 합계, 가격은 마지막 값 또는 평균처럼 변수의 의미에 맞는 집계가 필요하다.

2.2 이동요약과 누수

길이 $w$의 과거 지향 이동평균은 다음과 같다.

예측 시점 $t$에서 $y_t$를 아직 알 수 없다면 특징은 $y_{t-1}$까지만 사용하도록 한 시점 더 이동해야 한다. 중심 이동평균은 $t$ 이후 값까지 포함할 수 있어 과거 예측 특징으로 쓰면 누수가 된다. 첫 $w-1$개 시점의 창이 불완전한 경우 최소 관측 수, 결측 처리, 창 정렬 방식을 기록한다.

추세·계절성을 보기 위한 평활은 창 길이와 방법에 따라 모양이 달라진다. 원계열과 평활계열, 시점별 관측 수를 함께 보고 휴일·정책·센서 교체 같은 사건 시점을 표시한다. 탐색 결과로 정한 변환·창 길이도 테스트 구간을 보지 않고 훈련·검증 범위에서 선택한다.

2.3 자기상관

다음은 평균을 전체 관측에서 계산하는 흔한 표본 자기상관 추정식의 한 형태다.

$y=(1,2,3,4)$이면 $\bar y=2.5$이고 시차 1의 분자는 $0.75-0.25+0.75=1.25$, 분모는 5이므로 이 정의에서 $\widehat\rho_1=0.25$다. 도구마다 정규화·평균 제거·결측 처리 정의가 다를 수 있으므로 설정을 기록한다. 계열이 상수이면 분모가 0이어서 ACF가 정의되지 않고, $k\ge n$이면 유효한 시차 쌍이 없다.

높은 ACF는 선형 시차 의존의 신호이지 원인을 증명하지 않는다. 추세나 계절성이 ACF를 크게 만들 수 있으므로 원계열·추세 제거·계절 차분 등을 목적에 맞게 비교한다. 약정상성은 평균·분산이 시간에 따라 일정하고 자기공분산이 시차에만 의존한다는 개념이며, 한 개의 ACF 그림만으로 확정하지 않는다.

시간 예측 평가는 과거로 학습하고 뒤의 기간으로 검증하는 순서를 지킨다. 스케일링, 결측 대치, 계절 기준값, 특징 선택도 각 훈련 창에서만 학습한다.

3. 공간·시공간 데이터 탐색

3.1 좌표계와 거리

위도·경도는 각도 단위의 지리좌표이며 평면의 미터 좌표가 아니다. 경도 1도의 실제 거리는 위도에 따라 달라지므로 위도·경도에 단순 유클리드 거리를 적용하지 않는다. 거리·면적 분석에는 지역과 목적에 맞는 투영 좌표계 또는 지구 곡률을 고려한 거리를 사용하고 원 CRS, 변환 CRS, 단위를 기록한다.

좌표 순서가 (경도, 위도)인지 (위도, 경도)인지, 도 단위인지 라디안인지 확인한다. 공간 결합에서는 경계선 위 점, 겹치는 다각형, 유효하지 않은 도형, 행정구역 개편 시점을 점검한다.

3.2 건수·비율·지도의 선택

지역 $i$의 사건 수 $c_i$, 노출량 또는 대상 인구 $e_i$, 표시 배율 $K$가 있을 때 조율은 다음과 같다.

지역 A의 사건이 20건, 인구가 10,000명이면 10만 명당 200건이다. 지역 B는 5건, 1,000명이므로 10만 명당 500건이다. 절대 건수는 A가 많지만 조율은 B가 높다. 다만 B처럼 분모가 작으면 비율의 변동성이 커질 수 있으므로 원 건수·분모·불확실성을 함께 제시하고 필요하면 기간 통합이나 적절한 평활을 검토한다.

행정구역 단위와 경계 선택에 따라 패턴이 달라지는 수정 가능 지역 단위 문제(MAUP)와, 지역 수준 관계를 개인 수준에 그대로 적용하는 생태학적 오류를 구분한다.

3.3 공간 자기상관과 검증

공간 가중치 $w_{ij}$와 편차 $z_i=x_i-\bar x$를 사용하는 전역 Moran의 $I$는 다음과 같이 표현할 수 있다.

양수는 비슷한 값의 공간 군집, 음수는 이웃 간 대비를 시사할 수 있지만 기대값과 유의성은 가중치 정의와 무작위화 가정에 의존한다. 인접·거리 임곗값·최근접 이웃, 행 표준화 여부, 대각 원소를 기록한다. 모든 $x_i$가 같으면 $\sum z_i^2=0$이고, 가중치 합 $S_0=0$이어도 $I$를 계산할 수 없다. 고립 지역의 처리도 명시한다.

가까운 지점이나 같은 지역의 반복 시점이 훈련과 검증에 함께 들어가면 공간 일반화 성능이 낙관적일 수 있다. 적용 목적에 따라 공간 블록, 지역 그룹, 완충 거리, 시간 순서를 결합한 시공간 분할을 사용한다. 블록 크기와 완충 폭은 실제 예측 거리와 의존 범위를 근거로 정한다.

4. 다변량·고차원 데이터 탐색

변수 수가 $p$일 때 모든 변수 쌍의 수는 다음과 같다.

$p=1{,}000$이면 1,000×999/2=499,500쌍이다. 실제 관계가 없어도 일부 큰 상관이나 작은 p-value가 우연히 나타날 가능성이 커진다. 탐색한 쌍 수, 선택 기준, 다중 비교 조정과 별도 검증을 기록한다.

공분산 행렬의 고유값을 $\lambda_j$라 할 때 PCA의 $j$번째 설명분산비는 다음과 같다.

단위가 큰 변수가 PCA를 지배할 수 있으므로 표준화 여부를 기록한다. 표준편차가 0인 변수는 표준화할 수 없고 공분산 구조에도 정보를 더하지 않으므로 원인을 확인한다. 설명분산비가 높아도 목표변수 예측력이나 집단 분리를 보장하지 않는다.

t-SNE·UMAP 그림의 군집 간 거리·면적과 축 방향을 원공간의 전역 거리나 효과크기로 해석하지 않는다. 난수 시드와 파라미터를 바꾼 안정성을 확인한다. 결측 대치, 스케일링, PCA, 변수 선택은 각 훈련 폴드에서 학습하고 검증·테스트에는 고정 적용한다.

5. 비정형 데이터 탐색

5.1 텍스트

문서 수, 문자·토큰 길이, 언어, 인코딩, 유니코드 정규화, 빈 문서, 완전·근접 중복, 템플릿 문구, 작성자·시점을 확인한다. 라벨명이 본문·파일명·경로에 직접 들어가거나 라벨별 문서 길이가 다르면 목표를 우회적으로 노출할 수 있다.

한 가지 TF-IDF 정의는 다음과 같다.

$N$은 문서 수, $df(t)$는 단어 $t$가 등장한 문서 수다. 로그 밑, 문서빈도 평활, TF 정규화에 따라 값이 달라지므로 도구 설정을 기록한다. $df(t)=0$인 단어는 학습 어휘에 없으므로 단순식이 정의되지 않으며, 실제 구현은 평활 또는 미등록 토큰 처리를 사용한다. 어휘·IDF는 훈련 문서에서만 학습한다.

5.2 이미지

해상도, 가로세로비, 채널 수, 색공간, 알파 채널, EXIF 방향, 파일 형식, 손상 여부, 완전·근접 중복을 확인한다. 클래스별 배경·워터마크·촬영 장치·압축률·파일명이 다르면 대상이 아닌 지름길을 학습할 수 있다. 동일 대상의 연속 프레임과 증강 이미지는 원본 기준으로 같은 분할에 둔다. 증강은 훈련 자료에만 적용한다.

5.3 음성·센서 신호

표본 수 $N$, 표본화율 $f_s$, 지속시간 $T$의 관계와 나이퀴스트 조건은 다음과 같다.

표본 16,000개를 8 kHz로 기록하면 길이는 2초다. 3 kHz 성분을 보존하려면 이론적으로 6 kHz보다 높은 표본화율이 필요하며 실제 재표본화에는 앨리어싱 방지 필터를 사용한다. 서로 다른 표본화율의 배열 길이를 같은 시간 길이로 오인하지 않는다.

무음 비율, 클리핑, 진폭·잡음, 채널 수, 장치·화자·세션, 끊김과 타임스탬프 드리프트를 확인한다. 겹치는 시간 창을 만든 뒤 무작위 행 분할하면 같은 원신호가 훈련과 검증에 섞일 수 있으므로 원본 녹음·사람·장치 그룹을 기준으로 먼저 분할한다.

5.4 비정형 자료 공통 감사

6. 다중 모달 정렬과 평가 분할

전국 매장의 일별 수요처럼 시간·좌표·텍스트·이미지가 함께 있으면 결합 키와 기준 시점이 핵심이다. 행사 문구와 사진이 실제 예측 시점 전에 제공됐는지, 날씨가 관측값인지 예보값인지, 매장 좌표가 이전됐는지 확인한다. 서로 다른 시간대와 집계 주기를 맞추는 과정에서 미래 관측을 과거 행에 붙이지 않는다.

한 번의 분할이 모든 일반화 질문에 답하지 않는다. 미래의 기존 매장과 완전히 새로운 지역의 성능은 다른 과제이므로 운영 목표에 맞는 검증 시나리오를 분리한다.

7. 사례 적용

상황: 전국 매장의 미래 4주 일별 수요를 예측하기 위해 날짜, 매장 좌표, 판매량, 날씨, 행사 문구와 매장 사진을 수집했다.

판단 과정:

1. 매장-날짜 키, 시간대, 누락·중복 날짜, 실제 예측 시점에 이용 가능한 날씨·행사 정보를 확인한다.
2. 과거 지향 이동요약과 계절 패턴을 매장별로 계산하고 미래 구간은 탐색 통계 학습에서 제외한다.
3. CRS를 통일하고 사건 수·노출량·인접 매장의 공간 의존을 확인한다.
4. 행사 문구의 템플릿·근접 중복과 사진의 동일 대상·배경·워터마크를 검사한다.
5. 전처리·PCA·어휘는 훈련 범위에서만 학습하고, 시간 순서와 매장·공간 블록을 반영한 검증을 비교한다.

결론: 자료형별 의존 구조와 원본 단위를 보존한 탐색을 바탕으로 특징 생성과 평가 설계를 정하고, 미래 기존 매장과 새 지역 일반화를 구분해 보고한다.

오답 함정: 모든 매장-날짜 행과 동일 사진의 변형본을 무작위로 섞으면 같은 매장·인접 지역·동일 원본 정보가 훈련과 검증에 동시에 들어가 성능이 부풀 수 있다.

시계열에서는 관측 순서를 보존해 추세·계절성·이상 신호를 구분한다. 무작위 분할은 미래 패턴을 과거 학습에 섞을 수 있으므로 시간 순서 검증을 사용한다.

시공간 자료는 가까운 시점·위치의 의존성, 다변량 자료는 공선성·차원·군집, 비정형 자료는 표현 방법과 임베딩의 학습 범위를 확인한다. 표현·차원축소도 학습 데이터에서 적합해 누수를 막는다.

시험 판단 포인트

• 이동요약은 창 방향과 예측 시점의 정보 가용성을 확인한다.
• ACF는 시차 선형 의존을 요약하며 추세·계절성과 계산 정의의 영향을 받는다.
• 공간 거리 계산 전 CRS·좌표 순서·단위를 확인한다.
• 등치지역도는 일반적으로 건수가 아니라 적절한 분모의 비율·지표에 사용한다.
• Moran의 I는 공간 가중치 정의와 상수값·고립 지역 경계에 의존한다.
• $p$개 변수의 쌍은 $p(p-1)/2$개이므로 고차원에서 우연 탐색 위험이 커진다.
• PCA·t-SNE·UMAP 그림은 전처리·파라미터에 의존하며 집단 분리의 증명이 아니다.
• 텍스트 어휘·IDF와 모든 전처리는 훈련 범위에서만 학습한다.
• 이미지 증강본·겹친 음성 창은 원본 그룹을 넘어 분할하지 않는다.
• 평가는 시간·공간·개체·원본 의존 구조와 실제 일반화 목표를 반영한다.

자주 틀리는 부분

• 미래값을 포함한 중심 이동평균을 과거 예측 특징으로 사용하지 않는다.
• 불규칙 시계열에 등간격 ACF를 설명 없이 적용하지 않는다.
• 위도·경도 각도에 평면 유클리드 거리를 그대로 적용하지 않는다.
• 지역별 절대 건수와 노출량 대비 비율을 같은 위험도로 해석하지 않는다.
• Moran의 I가 양수라는 이유만으로 공간 인과관계를 확정하지 않는다.
• 2차원 차원 축소 그림을 원래 공간의 완전한 분리 증거로 보지 않는다.
• 전체 데이터에서 변수 선택·PCA·IDF를 학습한 뒤 검증하지 않는다.
• 이미지 배경·파일명과 텍스트 템플릿 같은 라벨 지름길을 놓치지 않는다.
• 서로 다른 표본화율에서 같은 배열 길이를 같은 지속시간으로 보지 않는다.
• 동일 원본의 증강 이미지나 겹친 신호 창을 무작위로 나누지 않는다.