IDS·IPS와 Snort 탐지 | 정보보안기사 필기

1. 방화벽·IDS·IPS의 역할

구분	핵심 목적	대표 동작
방화벽	정책상 허용할 통신 결정	주소·포트·상태 등에 따라 허용·차단
IDS	침입 징후 탐지	트래픽 사본·로그 등을 분석해 경보
IPS	탐지와 실시간 방지	통과 경로에서 검사하고 차단

한 제품이 여러 기능을 제공할 수 있지만 접근통제, 탐지, 차단이라는 역할은 구분한다. 경보가 생긴 것과 실제 침해가 성공한 것은 다르다.

2. Passive IDS와 Inline IPS

Passive IDS

Passive Sensor는 실제 통신 경로에서 Packet의 복사본을 받는다.

Network TAP이나 Switch SPAN·Port Mirroring으로 Packet을 전달받을 수 있다.
Sensor 장애가 일반적으로 운영 트래픽 자체를 끊지는 않는다.
탐지 시점에 원본 Packet은 이미 목적지로 전달됐을 수 있다.
복제 경로의 Packet Loss, SPAN Oversubscription, 잘못된 VLAN·방향 선택은 가시성을 낮춘다.
TCP Reset 전송이나 방화벽 Rule 변경 같은 Out-of-Band 대응은 가능하지만, 원본 흐름보다 늦거나 공격자가 무시할 수 있어 Inline 차단과 같지 않다.

Inline IPS

Inline Sensor는 Client와 Server 사이의 실제 데이터 경로에 놓인다.

Packet이 통과하기 전에 검사하고 Allow·Drop·Block·Reject를 적용할 수 있다.
Sensor의 처리량·지연·Session Capacity가 실제 서비스 품질에 영향을 준다.
오탐은 정상 요청을 즉시 차단할 수 있다.
장애 시 통신을 허용하는 Fail-Open, 차단하는 Fail-Closed, Hardware Bypass 등 가용성 정책이 필요하다.

IPS가 IDS보다 항상 우수하다고 볼 수 없다. 서비스 중단 위험이 큰 초기 단계에서는 IDS 또는 IPS의 Alert-Only로 학습한 뒤, 충분히 검증된 고신뢰 규칙만 단계적으로 차단에 적용할 수 있다.

3. 네트워크 기반과 호스트 기반

NIDS·NIPS는 네트워크 패킷과 흐름에서 여러 장치의 공격 징후를 관찰한다. 센서를 지나지 않는 통신과 복호화할 수 없는 암호문 내용은 사각지대가 된다.

HIDS·HIPS는 호스트의 로그·프로세스·파일·계정 변화 등을 본다. 시스템 내부 행위를 알 수 있지만 각 호스트의 센서가 필요하다. 두 방식은 서로 보완한다. 무선 IDS·IPS는 802.11 프레임과 AP·단말 상태에서 비인가 AP 등을 관찰한다.

4. 대표 탐지 방법

Signature-Based Detection

Signature는 알려진 위협이나 정책 위반에 대응하는 Pattern·조건 집합이다.

특정 Packet Field, 문자열, Byte Sequence, Protocol 상태, File 특징, Log 값 등을 사용할 수 있다.
알려진 공격에 대해 설명 가능한 경보를 만들기 쉽다.
규칙이 정확하면 오탐을 낮출 수 있다.
변형, Encoding, 암호화, 아직 규칙이 없는 공격은 놓칠 수 있다.
규칙 갱신·시험·배포가 지속적으로 필요하다.

Signature를 단순 문자열 한 개로만 이해하면 안 된다. 현대 규칙은 방향, 연결 상태, 정규화된 Protocol Field, 여러 Content 관계, 임계값 등을 함께 사용할 수 있다.

Anomaly-Based Detection

Anomaly 탐지는 정상으로 간주한 기준선이나 통계적 Profile과 현재 행위의 차이를 찾는다.

평소보다 급격히 증가한 요청량
평소 통신하지 않던 국가·Network·Service로의 연결
사용자·Host의 시간대·전송량·대상 변화
장기간 일정한 간격의 작은 외부 연결

새로운 공격이나 규칙화되지 않은 행위를 찾는 데 도움이 될 수 있지만, 이상 = 악성은 아니다. 배포·Backup·장애 복구·정기 점검·행사 트래픽 같은 정상 변화도 이상으로 보일 수 있다. 기준선은 환경 변화에 맞춰 관리하되, 공격 기간의 데이터를 정상으로 학습하지 않도록 통제해야 한다.

Stateful Protocol Analysis

Protocol의 정상 상태 전이와 Field 관계를 이해하고, 관찰된 흐름이 그 규칙을 위반하는지 판단한다.

예를 들어 TCP 연결 상태, HTTP Request·Response 관계, DNS Query·Response ID, TLS Handshake 순서 등을 추적할 수 있다. 단순 문자열보다 문맥을 이해하는 장점이 있지만 다음 한계가 있다.

Protocol 구현과 확장 기능이 다양하다.
암호화된 내부 Field는 복호화 지점 없이는 볼 수 없다.
많은 Session 상태를 유지하므로 Memory·CPU 부담이 커질 수 있다.
Sensor와 실제 Server의 Protocol 해석 차이는 회피 가능성을 만든다.

Hybrid Detection

실제 시스템은 Signature·Anomaly·Stateful Protocol Analysis·Reputation·자산 Context를 함께 사용할 수 있다. 한 경보의 심각도를 높이는 근거는 탐지 방법 이름이 아니라 서로 독립적인 증거가 얼마나 일관되게 같은 결론을 지지하는가이다.

5. 오탐과 미탐

False Positive: 정상 행위를 공격으로 잘못 탐지한다.
False Negative: 실제 공격을 탐지하지 못한다.

예를 들어 이상 점수가 기준을 넘을 때 경보하는 방식에서 임계값을 낮추면 탐지량과 오탐이 늘 수 있고, 높이면 미탐이 늘 수 있다. Rule 하나만으로 Incident를 확정하지 않고 자산·취약점·Host Log·Packet을 함께 확인한다.

6. Snort Rule의 기본 구조

Snort Rule은 크게 Header와 Option으로 구성된다.

CODE코드 영역 안에서 좌우로 이동할 수 있습니다.

alert tcp $EXTERNAL_NET any -> $HOME_NET 80 (msg:"LAB pattern match"; content:"/admin"; sid:1000001; rev:1;)

Action: alert·drop 등 처리 방식
Protocol·Address·Port·Direction: 검사 대상 Traffic
msg: Alert 설명
content: 찾을 Pattern
sid·rev: Rule 식별자와 Revision

이 예시는 규칙 구조 학습용이며 /admin은 정상 요청에도 나타날 수 있어 공격 판정 규칙으로 그대로 사용하지 않는다. alert는 경보 동작으로, 그 자체가 인라인 차단을 뜻하지 않는다.

세부 옵션과 배포 절차는 제외하고, 시험에서는 Header가 대상을 정하고 Option이 탐지 조건을 정한다는 구조를 우선 이해한다.

7. 탐지의 한계

조각난 IP 패킷·TCP 스트림: 적절한 재조립 없이 한 패킷만 보면 패턴을 놓칠 수 있다.
다양한 인코딩: 정규화한 내용과 실제 응용의 해석을 맞춰야 한다.
암호화: 외부에서 내용이 보이지 않으면 평문 패턴을 검사하기 어렵다.
비대칭 경로·수집 손실: 요청과 응답을 모두 보지 못할 수 있다.
처리량 초과: 일부 패킷이 분석에서 빠질 수 있다.

정상 요청에도 같은 문자열이 있을 수 있다. 규칙 일치만으로 침해를 확정하지 않고 서버의 응답과 호스트 기록을 대조한다.

8. Honeypot과 탐지 보조 기술

Honeypot은 정상 업무 사용을 기대하지 않는 미끼 시스템·Service를 통제된 환경에 배치해 공격 탐색·침입 시도를 관찰하는 기술이다.

정상 접근이 드물어 작은 상호작용도 조사 가치가 높을 수 있다.
공격자 도구·명령·목표를 관찰하는 데 도움이 된다.
실제 업무 자산을 대신 보호하거나 전체 망을 자동 탐지하지는 않는다.
침해된 Honeypot이 다른 시스템 공격에 악용되지 않도록 격리·Egress 통제·초기화·증거 보존이 필요하다.
공격자를 유인하는 목적과 조직의 법적·운영 정책을 검토해야 한다.

Honeynet은 여러 Honeypot과 감시·통제 기반을 하나의 미끼 네트워크처럼 구성한 형태다. IDS·IPS와 결합할 수 있지만 운영 목적과 위험을 분명히 해야 한다.