모형 전개·모니터링·리모델링

핵심 요약

분석모형 전개는 모형 파일을 서버에 복사하는 작업이 아니다. 훈련 때의 입력 시점·특징 정의·전처리·모형·보정·임곗값·업무 규칙을 운영에서 같은 의미로 재현하고, 사용자가 결과를 어떤 행동에 쓰는지와 실패 시 대체 절차까지 설계하는 과정이다. 활용 시나리오에는 입력·의사결정 시점·사용자·행동·책임자·서비스 수준·안전 규칙·성과지표가 연결돼야 한다.

운영 뒤에는 데이터 품질, 입력·예측 분포, 실제 성능, 지연·가용성, 비용·사업 결과와 집단별 영향을 계층적으로 감시한다. P(X) 변화, P(Y) 변화와 P(Y|X) 변화를 구분하며, 분포 변화 하나만으로 성능 하락이나 개념 드리프트를 확정하지 않는다. 라벨이 늦게 도착하면 대리지표는 조기 경보로만 쓰고 동일 예측 코호트의 성숙한 라벨로 후행 성능을 확인한다.

경보의 원인에 따라 데이터 파이프라인 복구, 롤백, 재보정, 임곗값 조정, 재학습 또는 리모델링을 선택한다. 새 버전은 과거 기간 후향검증·운영 부하·집단별 성능·롤백 가능성을 통과한 뒤 그림자·카나리·챔피언-챌린저 방식으로 단계적으로 전개한다. 자동 재학습도 변경이므로 데이터·코드·모형·승인 기록과 중단 기준이 필요하다.

학습 목표

• 활용 시나리오의 입력·결정·행동·책임·대체 절차를 설계한다.
• 배치·온라인·스트리밍·기기 내 전개의 적용 조건을 구분한다.
• 훈련-운영 일치와 시점 정합성·스키마·버전 계약을 설명한다.
• 그림자·카나리·A/B·챔피언-챌린저의 목적을 구분한다.
• 데이터·예측·성능·운영·사업 모니터링 지표를 연결한다.
• 데이터·라벨·개념 드리프트와 성능 저하를 구분한다.
• PSI 계산과 빈 구간·표본 크기·임계값의 한계를 설명한다.
• 지연 라벨 코호트를 정렬해 실제 성능을 후행 검증한다.
• 재보정·임곗값 조정·재학습·리모델링·롤백을 원인별로 선택한다.

1. 분석결과 활용 시나리오

활용 시나리오는 “누가 점수를 본다”가 아니라 예측이 실제 의사결정으로 바뀌는 전체 경로다.

활용 대상과 행동을 정의하지 않으면 좋은 예측도 가치를 만들지 못한다. 자동화 수준, 사람 검토의 권한, 고위험 사례의 보류·거부·추가확인 정책과 고객 이의제기를 함께 설계한다.

입력 발생 → 스키마·시점 검증 → 특징·모형 추론
→ 보정·임곗값·업무 규칙 → 자동/사람 행동
→ 결과·이의제기·최종 라벨 → 모니터링·개선

2. 전개 방식 선택

배치는 동일한 입력 집합을 재실행했을 때 중복 행동이 생기지 않도록 멱등성과 체크포인트가 필요하다. 스트리밍은 처리 시간이 아니라 이벤트 발생 시각, 늦게 도착한 이벤트와 중복 제거 정책을 정한다. 온라인은 평균 지연만 보지 않고 p95·p99 같은 꼬리 지연과 종속 서비스 시간초과를 본다.

3. 훈련-운영 일치와 산출물 계약

훈련과 운영의 특징 계산이 다르면 훈련-서빙 불일치가 생긴다. 같은 열 이름이어도 계산 시점이나 단위가 다르면 다른 특징이다.

• 기준 시간대, 사건시각과 처리시각
• 집계창의 시작·종료와 지연 허용치
• 결측 대치·범주 사전·미등록 범주 처리
• 단위·로그·표준화·클리핑 기준
• 예측 시점에 실제 사용할 수 있었던 정보만 쓰는 시점 정합성
• 전처리·특징 코드와 의존 라이브러리 버전

운영 산출물은 최소한 다음 버전을 연결한다.

배포 버전
= 입력 스키마 + 특징 정의 + 전처리 + 모형
+ 보정기 + 임곗값 + 업무 규칙 + 코드·환경
+ 학습 데이터 기간·스냅샷 + 승인 기록

입력 계약에는 이름·자료형·단위·허용 범위·필수 여부·결측·새 범주 정책을 둔다. 오류 값을 조용히 0으로 바꾸면 장애가 정상 예측처럼 숨을 수 있으므로 거부·격리·기본값·대체 규칙과 경보를 정한다.

훈련 자료를 다시 만들 때 미래에 확정된 정보가 과거 예측 시점의 특징에 들어가지 않도록 point-in-time 조인을 검증한다. 오프라인 특징과 운영 특징의 표본을 같은 기준시점에서 대조하는 패리티 테스트를 유지한다.

4. 배포 전 검증과 단계적 롤아웃

배포 전에는 대표 입력·경계값·결측·새 범주, 이전 버전과의 예측 차이, 의존성 호환, 처리량·지연·메모리·비용, 장애와 시간초과, 개인정보 최소 로그와 멱등성을 시험한다.

롤백은 문서만 존재하면 충분하지 않다. 이전 모형·전처리·임곗값·업무 규칙이 복구 가능하고, 새 스키마와 이전 버전이 호환되는지 실제 리허설한다. 데이터베이스나 특징 저장소의 비가역 변경이 있으면 모형만 되돌려도 복구되지 않는다.

5. 모니터링 계층과 기준선

기준선은 하나로 고정하지 않을 수 있다. 계절 업무는 직전 주보다 전년 동기·휴일·캠페인별 기준이 더 적합할 수 있다. 모형·임곗값·정책 버전이 다른 데이터를 한 그래프에 섞지 않고 변경 시점을 표시한다.

서비스 수준 지표(SLI)는 실제 측정값, 서비스 수준 목표(SLO)는 허용 목표다. 가용성 SLO가 99.9%라면 30일의 단순 오류예산은 다음과 같다.

허용 비가용 비율 = 1 - 0.999 = 0.001
30일 오류예산 = 30×24×60×0.001 = 43.2분

계획 정지 포함 여부, 측정 대상 요청과 기간을 먼저 정의한다. 100% 목표는 현실적인 변경과 복구를 막을 수 있으므로 업무 위험에 맞는 SLO와 오류예산을 정한다.

6. 드리프트의 구분

이 변화들은 동시에 발생할 수 있다. 라벨 없이 관측 가능한 P(X)와 점수 분포만으로 P(Y|X) 변화를 직접 확정할 수 없다. 드리프트 탐지는 원인 분석의 시작이며 재학습 명령이 아니다.

7. 분포 변화 지표와 PSI 계산

분포 변화는 범주 비율, 요약통계·분위수, KS 거리, PSI, Jensen-Shannon 거리 등으로 볼 수 있다. 지표는 자료형·표본 크기·구간 설정과 업무 민감도에 맞춰 선택한다.

기준 구간 비율을 p_b, 현재 구간 비율을 q_b라 할 때 PSI는 다음과 같다.

PSI = Σ_b (q_b - p_b) × ln(q_b / p_b)

기준 p=(0.5, 0.5), 현재 q=(0.7, 0.3)이면 다음과 같다.

PSI
= (0.7-0.5)ln(0.7/0.5) + (0.3-0.5)ln(0.3/0.5)
≈ 0.0673 + 0.1022 = 0.1695

같은 구간 경계를 사용해야 하며 p_b 또는 q_b가 0이면 로그가 정의되지 않으므로 사전에 정한 작은 값, 구간 병합 또는 별도 새 범주 정책을 사용한다. 구간 수와 경계를 바꾸면 값도 바뀐다.

PSI의 0.1, 0.25 같은 관행적 경계는 표본 크기·오탐비용과 무관한 보편 법칙이 아니다. 기준 기간의 정상 변동, 표본 수, 다중 특징 경보와 실제 성능 관계를 이용해 자체 임계값과 지속 조건을 검증한다.

8. 지연 라벨과 코호트 정렬

라벨이 30일 뒤 확정되는 예측을 오늘의 라벨과 비교하면 다른 대상·기간을 섞게 된다. 예측 시점 코호트를 보존하고 라벨 성숙 창이 끝난 뒤 같은 코호트의 결과를 결합한다.

예측일 t: 입력·점수·정책·모형 버전 저장
      ↓ 30일 라벨 성숙
평가일 t+30: 같은 예측 코호트의 확정 라벨 결합
      ↓
재현율·정밀도·보정·비용·집단별 성능 계산

아직 확정되지 않은 라벨을 음성으로 간주하면 성능이 왜곡된다. 즉시 확인 가능한 입력·점수·경보율·운영 지표는 조기 신호이고, 최종 성능은 성숙 라벨로 후행 확인한다. 라벨이 특정 행동 대상에서만 관측되면 선택적 라벨 문제가 생기므로 무작위 감사 표본·외부 결과·추적 설계를 검토한다.

9. 경보 설계와 대응 선택

경보에는 심각도, 지속 시간, 영향 범위, 담당자, 조사 기한과 자동 행동을 연결한다. 순간적인 한 번의 초과보다 연속 구간·이동창·오류예산 소진률을 사용할 수 있다. 너무 많은 특징별 경보는 우연한 초과와 경보 피로를 만들므로 집계·우선순위·중복 억제를 설계한다.

10. 재보정·재학습·리모델링

재보정은 점수 순위 구조를 유지하면서 확률과 실제 빈도의 대응을 다시 맞춘다. 임곗값 조정은 비용·용량·정책 경계를 바꾼다. 재학습은 같은 문제·특징·알고리즘 구조에 최신 데이터를 다시 적합하고, 리모델링은 문제 정의·라벨·특징·알고리즘·평가·활용 정책까지 재검토한다.

경보·정기검토
→ 데이터·인프라·정책·라벨·성능 원인 분석
→ 복구 / 재보정 / 임곗값 / 재학습 / 리모델링 선택
→ 시점 정합 학습자료 생성과 후향검증
→ 성능·보정·집단·운영·사업 게이트
→ 승인·단계적 배포·롤백 준비
→ 변경 효과와 부작용 모니터링

정기 재학습은 단순하지만 항상 더 최신이거나 더 좋지 않다. 최근 창이 일시적 사건에 치우치거나 라벨이 덜 성숙했을 수 있다. 확장창·고정 길이 이동창·계절 표본을 비교하고, 기존 모델과 같은 과거 기간에서 후향검증한 뒤 독립된 최신 기간을 사용한다.

새 버전이 평균 성능만 높고 특정 집단·꼬리 지연·비용이 악화될 수 있다. 배포 게이트와 중단 기준을 사전에 정하고, 학습 데이터 기간·코드·특징·모형·평가·승인과 배포 이력을 연결한다.

11. 피드백 루프·사람 감독·폐기

모형의 행동은 미래 데이터 생성과 라벨 관측을 바꾼다. 위험 대상만 검사하면 검사하지 않은 대상의 실제 라벨이 사라지고, 추천한 항목의 노출이 늘어 다음 학습 데이터가 자기강화될 수 있다.

• 예측 점수·정책·사람 결정·최종 행동·결과를 분리 기록한다.
• 일부 무작위 탐색·감사 표본으로 미관측 결과를 확인한다.
• 사람의 수정·보류·이의제기와 이유를 기록하고 과신 여부를 점검한다.
• 집단별 오류·서비스 접근·거부율과 위해를 모니터링한다.
• 로그의 민감정보·접근권한·보존기간을 최소화한다.

더 이상 목적에 적합하지 않거나 대체된 모형은 트래픽을 끊고 소비자를 확인한 뒤 폐기한다. 보존 의무가 있는 산출물·결정 로그는 유지하되 불필요한 개인정보와 자격증명은 제거한다. 폐기와 복구도 버전·승인·책임자를 기록한다.

12. 통합 사례

상황: 실시간 카드 사기 탐지 모형을 새 버전으로 교체한다.

조건: 사기 라벨은 평균 30일 뒤 확정되고 휴가철 해외거래가 증가한다. p99 지연 목표는 50ms, 일부 거래는 추가인증으로 보낼 수 있다.

판단 과정:

1. 입력→점수→차단·추가인증·통과→재심→확정 라벨의 활용 시나리오와 책임자를 고정한다.
2. 오프라인·운영 특징의 기준시점과 예측을 대조하고 스키마·새 범주·시간초과를 시험한다.
3. 그림자 배포로 점수·p99 지연·오류를 비교한 뒤 일부 카나리 트래픽에 적용한다.
4. 즉시 지표는 결측·해외거래 비율·점수·경보율·지연·오류로 제한한다.
5. 30일 뒤 같은 예측 코호트에서 재현율·정밀도·보정·비용·집단별 성능을 확인한다.
6. 해외거래 비율 변화만으로 개념 드리프트를 확정하지 않고 관계 변화와 성능 영향을 확인한다.
7. 지연 초과는 롤백, 순위 안정·보정 악화는 재보정, 관계 변화는 재학습, 라벨·정책 변경은 리모델링한다.

결론: 분포 경보 하나로 자동 재학습하지 않는다. 데이터·운영·성숙 라벨·사업 결과를 연결해 원인에 맞는 대응을 선택하고, 이전 전체 정책으로 실제 복구 가능한 상태를 유지한다.

입력 품질·드리프트·예측 분포는 정답 없이 빠르게 볼 수 있지만, AUC·RMSE 같은 성능은 실제 정답이 도착해야 계산할 수 있다. 따라서 경보에 기준선, 지속시간, 영향 범위, 담당자를 함께 두고 즉시 지표와 지연 지표를 구분한다.

예시에서 PSI는 6월에 0.20 기준을 넘고 AUC는 뒤이어 낮아진다. 두 현상이 함께 나타나도 인과를 곧바로 확정하지 말고 입력 파이프라인, 정책, 레이블 정의와 집단별 변화를 함께 진단한다.

분포 구간 $b$에서 기준 비율을 $p_b$, 운영 비율을 $q_b$라 하면 PSI는 다음과 같이 계산할 수 있다.

데이터 오류라면 파이프라인 수정과 백필이 우선이고, 관계가 유지된 데이터 드리프트라면 새 표본 재학습을 검토한다. 목표·정책·입출력 관계 자체가 바뀌었다면 특징과 모형 구조를 다시 설계해야 하며, 모든 조치는 독립 검증과 승인 후 단계적으로 배포한다.

시험 판단 포인트

• 활용 시나리오는 입력·예측뿐 아니라 행동·책임·예외·SLO·성과를 포함한다.
• 전개 방식은 예측 시점·최신성·지연·상태·업데이트 제약으로 구분한다.
• 훈련-운영 일치에는 특징 값뿐 아니라 기준시점과 데이터 가용성도 포함된다.
• 그림자 배포는 행동에 반영하지 않아 사업효과를 직접 측정하지 못한다.
• 카나리는 위험 제한, A/B는 정책의 증분 효과, 챔피언-챌린저는 교체 비교에 초점이 있다.
• 데이터 드리프트는 P(X), 라벨 변화는 P(Y), 개념 드리프트는 P(Y|X) 변화다.
• 분포 변화가 항상 성능 저하나 재학습 필요를 뜻하지 않는다.
• PSI는 구간·0 비율·표본 크기·기준 기간에 민감하고 보편 임계값이 없다.
• 지연 라벨은 예측 코호트와 성숙 라벨을 같은 대상·기간으로 정렬한다.
• 순위가 안정되고 보정만 나빠지면 재학습 전에 재보정을 검토할 수 있다.
• 목표·라벨·업무 정책이 바뀌면 단순 재학습보다 리모델링이 필요할 수 있다.
• 단계적 배포에는 실제 복구 가능한 롤백과 폐기·감사 기록이 포함된다.

자주 틀리는 부분

• 모형 파일 배포만으로 활용 시나리오와 전개가 끝났다고 본다.
• 평균 지연만 보고 p99 시간초과와 일부 사용자 장애를 놓친다.
• 운영 특징이 같은 이름이면 시점·단위·집계창도 같다고 가정한다.
• 그림자 배포 결과만으로 사용자 행동의 인과효과를 확정한다.
• PSI 하나가 임계값을 넘으면 개념 드리프트와 성능 저하를 확정한다.
• 아직 도착하지 않은 라벨을 음성으로 처리해 당일 실제 성능을 계산한다.
• 입력 분포 변화가 없으면 개념 드리프트도 없다고 본다.
• 정기 재학습이 항상 최신 성능을 보장한다고 생각한다.
• 새 버전 모형만 되돌리면 비호환 스키마·특징·정책도 자동 복구된다고 본다.
• 모형 선택으로 관측된 라벨만 전체 모집단의 편향 없는 성능으로 해석한다.