[논문분석]트래픽 분석을 통한 악성코드 감염PC 및 APT 공격탐지 방안

KCI_FI001891622.pdf

0.33MB

 

선정이유

최근 SKT 해킹 사건을 통해 APT 공격의 위험성과 실제 피해 사례를 접하면서, 이런 공격을 어떻게 사전에 탐지할 수 있을지에 대한 궁금증이 생겼다. 특히 APT는 일반적인 보안 솔루션으로는 쉽게 탐지되지 않아, 트래픽 분석 같은 새로운 접근 방식이 중요하다고 느꼈는데 이 논문이 궁금증을 해결하는데 도움을 줄 것 같아 선정하게 되었다.

 

서론

APT(ADvanced Persistent Threat)는 지능적이고 지속적인 공격으로, 기존 보안 솔루션을 우회한다. 긴 시간 동안 시스템에 침투하여 정보를 수집하고 유출하는 특징을 가지고 있으며 탐지하기 어렵고 공격이 조용하고 은밀하게 진행된다는 특징이 있다.

APT 공격의 일반적인 단계는 4단계로 나눌 수 있다.

 

[1단계] 악성코드를 웹사이트나 이메일로 유포해 내부 PC를 감염.

↓

[2단계] 내부망 조사 및 인프라 정보 수집.

↓

[3단계] 계정 탈취 및 추가 감염 확산.

↓

[4단계] C&C 명령을 통해 정보 유출 및 시스템 파괴 수행.

 

APT 공격은 탐지가 매우 어렵기 때문에, 이를 조기에 인지하고 대응하기 위해서는 악성 URL 탐지, 이메일 첨부파일 분석, 감염된 내부 PC 식별, C&C 서버와의 통신 분석 등 다층적인 보안 기술이 필요하다. 특히, 내부망에서 발생하는 이상 행위를 포착하기 위해 대용량 로그의 연관 분석 및 실시간 트래픽 모니터링 기술이 중요하다.

본 논문은 이러한 배경을 바탕으로 APT 공격을 효과적으로 탐지할 수 있는 이상행위 기반 알고리즘을 제안하고, 실제 환경에서 시스템을 구현하여 탐지 가능성과 효율성을 검증하는 것을 목적으로 한다.

 

관련 연구

1. 보안 로그 연관 분석 접근법 분류

(1) 유사도 기반: 비슷한 경고드를 묶어 중복 알람을 줄인다. 하지만 다단계 공격 탐지에 한계가 있다.

(2) 시나리오 기반: 공격 전에 일어날 수 있는 이벤트를 설정하여 탐지한다. 하지만 정의된 시나리오 이외의 공격은 탐지하지 못한다.

(3) 공격 기반: 개별 공격의 선행조건 및 결과를 기준으로 탐지한다. 하지만 오탐 가능성이 높다.

(4) 통계 기반: 시간 흐름이나 데이터 분포를 기반으로 원인을 분석한다. 하지만 정확한 상관분석이 어렵다.

↓

대부분 실시간 탐지를 지향하지만 APT는 이벤트 빈도가 낮은 공격이라서 효과가 떨어진다. 또한 분석 시간 범위가 좁고 다단계 공격의 복잡성을 다루기 어렵다.

 

2. 효과적인 APT 탐지를 위한 요건

• 대용량 로그 분석을 위한 로그 병합 기술 필요.
• 로그 간의 연관성을 부여할 수 있는 핵심 요소 식별.
• 다단계 공격 식별 가능성.
• 오탐을 최소화할 수 있는 알고리즘.
• 빅데이터 수준의 로그 처리 인프라 필요.

이상공격 징후 탐지 방안

1. 시스템 구성

• TAP 장비를 이용해 조직의 내·외부 트래픽을 수집.
• 수집된 원본 트래픽은 HDFS (Hadoop File System)에 저장.
• 탐지 알고리즘에 필요한 데이터는 전처리 후 NoSQL DB에 저장.
• 탐지 결과는 분석 Scheme을 통해 조회·검증하며, 악성으로 판단되면 해당 IP를 차단해 사고를 예방

 

 

2. 이상공격 탐지 알고리즘

APT 공격의 전형적인 행위를 네트워크 트래픽 기반으로 식별하고, 실시간 또는 준실시간으로 이상 행위를 탐지할 수 있는 세 가지 알고리즘을 제안하고 있다. 각 알고리즘은 APT 공격의 특정 단계나 행위를 겨냥하고 있으며, 주기적 접속, 포트 스캐닝, 대용량 데이터 기반 이상징후 감지라는 세 가지 축으로 구성된다.

 

(1) 주기적 접속 기반 탐지

감염된 PC는 C&C 서버와 정기적으로 통신한다. 이를 분석하여 평균 접속 간격이 일정한 경우, 비정상 통신으로 간주한다. 특정 임게값(예: 평균편차 5초 이하)이면, 해당 IP를 C&C 서버로 의심 가능하다. 이 방식은 HDFS기반 저장소와 NoSQL 분석 시스템에서 효율적으로 작동하며 접속패턴을 많은 단위로 분석할 수 있어 장기적인 이상행위 탐지에 적합하다.

 

(2) 스캐닝 시도 기반 감염 의심 IP 탐지

• 트래픽 로그에서 특정 Source IP가 다수의 Destination IP나 다수의 포트 번호에 접속 시도하는 패턴을 식별.
• 특히, 동일한 Source IP에서 20개 이상의 포트 또는 IP 대상 접속이 짧은 시간에 집중되면 스캐닝으로 간주.
• 일반적인 사용자 트래픽은 특정 포트/서비스에만 국한되기 때문에, 이러한 다중 접속 패턴은 이상 징후로 판단.
• 스캐닝은 내부에서 내부로도 발생할 수 있기 때문에, 조직 내부의 감염된 PC가 다른 시스템을 탐색하는 징후도 포착 가능.
• 탐지된 Source IP는 추가 조사를 통해 악성코드 감염 여부를 판단하고, 필요한 경우 격리 조치로 이어질 수 있다.

(3) 대용량 로그 기반 이상행위 탐지 시스템(빅데이터 플랫폼 활용)

시스템 구성

 

• 수집: 네트워크 TAP을 통해 트래픽을 실시간 수집.
• 저장: 원본 트래픽은 HDFS에, 분석용 데이터는 NoSQL DB에 저장.
• 처리: Batch 작업을 통해 일정 주기마다 이상징후를 분석하고, 의심 트래픽을 원본에서 재확인함.

저장 포맷

 

• Destination IP를 Row Key로 지정하고, Source IP, Port, Protocol, PPS, BPS, 세션 지속시간 등을 Column으로 구성.
• 모든 항목은 Time Stamp를 통해 시계열로 관리되어, 시간에 따른 이상징후 추적이 가능함.

 

 

 

 

 

실험 결과 요약

 

• 실제 A사 네트워크에서 적용 (직원 약 45명, 디바이스 약 100대)
• 일일 평균 트래픽:Outbound: 14만~37만 패킷,Inbound: 8만~25만 패킷,Destination IP: 3만~8만 개

1. 주기적 접속 탐지

 

• IP당 평균 300건의 접속 시도 확인
• 대부분 정상 통신(화이트리스트 처리 가능)
• 일부 미확인 Destination에 대한 접속은 악성코드 감염 사례로 확인됨

 

2. 스캐닝 탐지

 

• 테스트 기간에는 스캐닝 탐지 사례는 없었지만, 장기적 로그 수집 환경에서 유효할 것으로 판단.

 

3. 대용량 데이터 처리 기능

• 10개 패킷 단위 처리 시 약 10만 패킷/초 처리 가능
• 1Gbps 환경에서도 시스템이 안정적으로 작동함

결론

이 논문은 트래픽 분석을 통해 APT 공격을 탐지하는 세 가지 알고리즘을 제안하고, 이를 실제 환경에 적용해 실효성을 검증했다. 빅데이터 기반 시스템이 1Gbps 환경에서도 안정적으로 작동함을 확인했으며, 일부 악성코드 탐지 사례도 발견되었다. 다만, 실제 공격 시나리오를 완전히 재현하지 못한 점은 한계로 남았고, 향후에는 탐지 정확도와 시각화 기능을 강화할 필요가 있음을 제안한다.

1.  

 

배운점 및 느낀점

이번 논문을 통해 APT 공격이 얼마나 은밀하고 장기적으로 이루어지는지, 그리고 기존 보안 시스템으로는 이를 탐지하기 어렵다는 점을 다시 한번 실감할 수 있었다. 특히 최근 SKT 해킹 사건처럼 실제 피해가 발생하고 있다는 점에서, 이런 탐지 기술이 단순한 이론이 아니라 현실적인 보안 대응책이 될 수 있다는 생각이 들었다. 특히 C&C 서버와의 주기적인 통신을 분석해 감염된 PC를 식별하는 방식은 단순하면서도 매우 실용적인 접근이라 인상 깊었다. 앞으로 보안 공부를 하면서 이런 실질적인 대응 기술에 더 관심을 가져야겠다고 느꼈다.