[2026-05-13] Toward Generating a New Intrusion Detection Dataset and Intrusion Traffic Characterization

🦥 본문

Motivation

최근 네트워크 규모가 기하급수적으로 커짐에 따라, 침입 활동으로부터 주요 네트워크를 보호하기 위한 침입 탐지 시스템(IDS)의 중요성이 그 어느 때보다 커짐

• 유효한 데이터셋 확보의 어려움: 제안된 기법을 테스트하고 평가하기 위한 포괄적이고 유효한 데이터셋을 찾는 것이 어려움
• 개인 정보 및 공유 문제: 많은 고품질 데이터셋이 개인 정보 보호 문제로 인해 공개되지 못함
• 익명화 및 다양성 부족: 공유 가능한 데이터셋들도 과도한 익명화로 인해 현재의 트래픽 추세를 반영하지 못하며, 트래픽과 공격 시나리오의 다양성이 매우 부족
• 주기적 업데이트의 필요성: 공격 기법은 끊임없이 진화하므로, 벤치마크 데이터셋 역시 최신 트렌드를 반영하여 주기적으로 업데이트가 필요

Evaluation Framework

11가지 필수 특성 : 포괄적이고 유효한 IDS 데이터셋을 위한 특성

공격 다양성, 익명성, 사용 가능한 프로토콜, 완전한 캡처, 완전한 상호 작용, 완전한 네트워크 구성, 완전한 트래픽, 특징 집합(Feature Set), 이질성(Heterogeneity), 레이블링 및 메타데이터.

Previous Studies Problem

• 최신성 부족 : 현대 네트워크 인프라와 공격 유형을 반영하기에 오래됨.
  • 오늘날에는 HTTPS가 70%인데, 해당 프로토콜의 분포와 다르거나 없는 것도 있음
• 실제 네트워크 트래픽과의 괴리 : 인위적으로 공격 트래픽을 주입하거나, CTF 대회 트래픽만을 사용함 → 배경트래픽과 대조적
  • Injection : 정상 데이터와 공격 데이터를 각각 만든 뒤에 시간대 별로 섞어서 하나의 파일로 만듦
• 중복 및 손상 : 중복 레코드를 포함하거나 데이터가 손상되는 경우
• 제한된 시야: 허니팟을 향한 관찰은 네트워크 전체 상황을 대변하지 못함
• 볼륨 및 다양성 부족 : 공격 시나리오가 단조롭거나 트래픽 양 부족
• 레이블링 : 공격과 정상이 명확하게 구분되지 않음.

Experiments

네트워크 설계: Attack-Network와 Victim-Network라는 두 개의 분리된 네트워크를 구축함.

• Victim-Network : 방화벽, 라우터, 스위치 및 다양한 운영 체제를 갖춘 보안 인프라로, 에이전트를 통해 정상 동작을 제공함.
• Attack-Network : 공격 시나리오 실행에 필요한 다양한 OS와 PC 세트로 구성된 인프라

Benign profile agent (B-Profile) : 사용자가 생성한 네트워크 이벤트를 머신러닝 및 통계 기법으로 캡슐화

• 추출 특징: 프로토콜별 패킷 크기 분포, 플로우당 패킷 수, 페이로드 패턴/크기, 요청 시간 분포 등.
• 실행: Java로 개발된 에이전트를 통해 Victim-Network에서 5가지 프로토콜(HTTP, HTTPS, FTP, SSH, Email)에 대해 현실적인 정상 이벤트를 생성.

Attack Profile and Scenarios

• Brute Force: 패스워드 및 해시 크래킹 공격을 포함하며 Patator 도구 등을 활용함.
• Heartbleed: OpenSSL 취약점을 악용하며, Heartleech 도구를 통해 웹 서버 프로세스의 메모리 덤프를 검색함.
• Botnet: 원격 쉘 및 키로깅 기능을 갖춘 Python 기반의 Ares를 사용하여 공격을 수행함.
• DoS: Slowloris, Slowhttptest 등 도구를 사용하여 웹 서버 리소스를 소모시키고 다운시킴.
• DDoS & Portscan: LOIC를 사용해 대규모 요청을 보내고, Nmap 스위치를 활용해 전방위적인 포트 스캔을 실행함.
• Web Attack: DVWA와 Selenium 프레임워크를 사용하여 SQL Injection, XSS 공격을 자동화함.
• Infiltration Attack: 소프트웨어 취약점을 악용해 백도어를 실행하고 네트워크 전체에 대해 정찰 및 스캔을 수행함.

Analysis

• 특징 추출 및 테스트: CICFlowMeter로 80개 특징을 추출한 뒤 RandomForestRegressor를 사용하여 중요도를 계산하고 최적의 특징 세트를 선별함.

공격별 핵심 특징(Best Selected Features)

• DoS: Flow IAT 관련 특징(Min, Mean, Max) 및 Flow Duration이 최적임.
• Heartbleed: Flow Duration, 하위 흐름 바이트, 패킷 길이 특징(후방 패킷 표준편차 등)이 영향력이 큼.
• Brute Force (SSH/FTP): 초기 윈도우 바이트(Initial window bytes) 및 TCP 플래그(ACK, PSH, SYN)가 유용함.
• Web Attack: 초기 윈도우 바이트(순방향/역방향), 순방향 하위 흐름 바이트 및 패킷 길이가 선정됨.
• Infiltration Attack: 순방향 하위 흐름 바이트/패킷 길이, 흐름 지속 시간 및 활성 시간 평균이 중요함.
• Botnet: 순방향 하위 흐름 바이트/패킷 길이 및 역방향 패킷 평균이 핵심임.
• DDoS: 역방향 패킷 길이, 평균 패킷 크기, 패킷 도착 간 시간(IAT) 관련 특징이 선택됨.

Evaluation CIC-IDS2017

• 완전한 구성: 다양한 장비와 OS가 포함된 토폴로지를 가짐.
• 완전한 트래픽: 프로파일링 에이전트와 실제 공격의 결합으로 구현됨.
• 레이블링: 날짜별 정상 및 공격 레이블과 세부 타이밍 정보를 제공함.
• 완전한 상호작용: 내부 LAN 및 인터넷 통신을 모두 포함함.
• 완전한 캡처: 미러 포트를 통해 모든 트래픽을 스토리지 서버에 기록함.
• 사용 가능한 프로토콜: 모든 일반적인 프로토콜(HTTP, HTTPS 등)의 존재를 제공함.
• 공격 다양성: 최신 보고서 기반의 다양한 공격군을 포함함.
• 이질성: 네트워크 트래픽, 메모리 덤프, 시스템 호출 데이터를 모두 수집함.
• 특징 집합: 80개 이상의 흐름 특징을 추출하여 CSV로 제공함.
• 메타데이터: 데이터셋의 세부 정보를 완전하게 설명하고 제시함.