메모리 취약점과 방어

1. 프로세스 메모리의 기본 구조

프로세스의 가상 주소 공간은 개념적으로 다음 영역으로 나눌 수 있다.

실제 주소 방향과 배치는 운영체제·CPU·컴파일러에 따라 달라질 수 있다. 시험에서는 각 영역의 역할을 중심으로 이해한다.

2. Buffer overflow의 정의

Buffer overflow는 버퍼가 저장할 수 있는 범위를 넘어서 데이터를 기록하는 취약점이다.

버퍼 크기: 8바이트
기록하려는 데이터: 12바이트
→ 4바이트가 버퍼 밖의 메모리를 침범할 수 있음

원인은 단순히 입력이 길다는 사실만이 아니다.

• 입력 길이 검사 누락
• 종료 문자 공간 미고려
• 바이트 수와 요소 수 혼동
• 잘못된 크기 계산
• 변환·압축 해제 후 데이터 증가 미고려
• 안전하지 않은 메모리 복사

3. 스택 기반 버퍼 오버플로

스택 기반 버퍼 오버플로는 스택에 놓인 지역 버퍼의 유효 범위를 넘어 쓰는 문제다. 주변의 다른 지역 변수, 함수 호출 관련 정보, 보호값 등이 손상될 수 있다.

가능한 결과는 다음과 같다.

• 프로그램 비정상 종료
• 변수·권한 판단 값 변조
• 제어 흐름 변경
• 공격자 코드 실행 가능성

지역 버퍼 바로 옆에 항상 반환 주소가 놓인다고 단정하지 않는다. 실제 배치는 컴파일러와 보호기법에 따라 다르다.

4. 힙 기반 버퍼 오버플로

힙 기반 버퍼 오버플로는 동적으로 할당한 객체의 경계를 넘어 쓰는 문제다. 인접 객체와 메모리 관리 정보가 손상될 수 있다.

스택과 힙은 메모리 영역, 할당·관리 방식, 대표 손상 대상이 다르다.

5. 관련 메모리 오류와 구분

이들은 모두 메모리 안전 문제지만 Buffer overflow와 같은 개념은 아니다.

6. 포맷 문자열 취약점

포맷 문자열 취약점은 외부 입력을 출력 함수의 형식 문자열로 직접 사용할 때 발생할 수 있다. 입력이 단순 데이터가 아니라 메모리 읽기·쓰기 동작을 지시하는 형식으로 해석될 수 있다.

안전하지 않은 개념: 사용자 입력을 형식 문자열로 사용
안전한 개념: 고정된 형식 문자열에 사용자 입력을 데이터로 전달

포맷 문자열 취약점은 버퍼의 크기를 넘는 쓰기가 없어도 발생할 수 있으므로 Buffer overflow와 구분한다.

7. 대표 방어기법

안전한 구현

• 입력·출력 길이와 버퍼 용량 확인
• 종료 문자와 인코딩 변환 후 크기 고려
• 안전한 라이브러리와 메모리 안전 언어 사용
• 권한이 높은 프로그램의 입력을 더 엄격히 검증

Stack Canary

함수의 스택 보호값이 변경됐는지 확인해 일부 스택 손상을 탐지한다. 취약점의 원인을 제거하는 것은 아니며 힙 오버플로를 직접 막지 않는다.

DEP/NX

데이터 영역을 실행 불가능하게 표시해 스택·힙에 주입된 코드를 직접 실행하기 어렵게 한다. 기존 코드 재사용 공격이나 데이터 변조까지 모두 막는 것은 아니다.

ASLR

프로그램·라이브러리·스택·힙의 주소를 무작위화해 주소 예측을 어렵게 한다. 경계 밖 쓰기 자체는 남아 있다.

최소권한과 격리

취약한 프로세스가 침해되더라도 사용할 수 있는 파일·계정·네트워크 권한을 줄여 피해 범위를 제한한다.

좌우로 이동해 그림을 확인하세요.그림 크게 보기

8. 방어기법의 역할 비교

하나의 방어기법만으로 메모리 취약점이 사라지는 것은 아니다.