보안 운영체제와 보호 경계

1. 보호의 출발점은 분리다

분리(separation)는 한 주체의 오류나 악성 행위가 다른 주체와 자원으로 쉽게 번지지 않도록 경계를 두는 개념이다.

대표적인 분리 대상은 다음과 같다.

• 사용자 모드와 커널 모드
• 프로세스별 가상 메모리
• 사용자·그룹별 파일 권한
• 일반 계정과 관리자 계정
• 업무망과 관리망

분리만으로 최종 접근 허용 여부가 정해지는 것은 아니다. 분리는 영향 범위를 나누는 구조이고, 접근통제는 주체가 객체에 어떤 동작을 할 수 있는지 정책에 따라 결정하는 기능이다.

2. TCB는 보안 정책을 지키기 위해 신뢰해야 하는 전체다

TCB(Trusted Computing Base)는 보안 정책을 집행하는 데 필요한 하드웨어·펌웨어·소프트웨어 보호 메커니즘의 전체다.

TCB의 일부가 공격자에게 변경되면 접근통제 결과나 감사 기록을 믿기 어려워질 수 있다. 따라서 TCB는 가능하면 다음 특성을 가져야 한다.

• 범위가 명확하다.
• 불필요하게 크지 않다.
• 변경 권한이 제한된다.
• 시험과 검증이 가능하다.

TCB는 운영체제 전체와 항상 같은 말은 아니다. 보안 정책 집행에 직접 필요한 부분을 중심으로 본다.

3. 보안 커널과 참조 모니터의 관계

참조 모니터(Reference Monitor)는 모든 주체의 객체 접근을 정책에 따라 중재해야 한다는 추상적 개념이다. 보안 커널(Security Kernel)은 참조 모니터 개념을 구현하는 TCB의 핵심 하드웨어·펌웨어·소프트웨어 요소다. 운영체제 커널 전체와 항상 같은 뜻은 아니다.

참조 모니터가 갖추어야 할 대표 성질은 세 가지다.

1. 완전한 중재: 모든 관련 접근이 통제 지점을 거쳐야 한다.
2. 변조 방지: 공격자나 일반 사용자가 통제 기능을 마음대로 바꿀 수 없어야 한다.
3. 검증 가능성: 설계와 구현을 분석·시험할 수 있어야 한다.

주체의 접근 요청
      ↓
참조 모니터 역할의 통제 지점
      ↓
보안 정책·권한 확인
   ↙              ↘
허용              거부
  ↓                 ↓
객체 접근         접근 차단
       ↘          ↙
      정책에 따른 감사

좌우로 이동해 그림을 확인하세요.그림 크게 보기

4. 접근 판정은 주체·동작·객체·정책으로 본다

접근통제 문제는 다음 네 요소로 정리하면 쉽다.

인증에 성공했다는 사실은 주체가 누구인지 확인했다는 뜻이다. 실제 자원 접근은 별도의 인가 판단을 거쳐야 한다.

5. 보안 경계와 신뢰 경로

보안 경계(Security Perimeter)는 TCB처럼 신뢰해야 하는 영역과 그 밖의 영역을 구분하는 개념이다. 네트워크 방화벽 경계와 비슷하게 들리지만, 보안 경계는 운영체제 내부 코드와 하드웨어까지 포함할 수 있다.

신뢰 경로(Trusted Path)는 사용자와 보안 기능 사이의 통신이 다른 프로그램에 의해 위조되거나 가로채지기 어렵도록 만든 경로다. 대표적인 목적은 다음과 같다.

• 로그인 화면이 가짜 프로그램이 아님을 보장
• 관리자 명령이 실제 보안 기능에 전달됨을 보장
• 비밀번호 같은 인증정보의 탈취 위험 감소

시험에서는 신뢰 경로를 특정 제품의 화면이나 단축키로만 외우기보다 사용자와 TCB 사이의 신뢰 가능한 직접 통신으로 이해한다.

6. 보안 운영체제가 제공해야 할 핵심 기능

객체 재사용 보호의 예는 해제된 메모리나 저장공간을 다른 주체에게 배정할 때 이전 데이터가 그대로 보이지 않도록 처리하는 것이다.