An Empirical Comparison Study on Attack Detection Mechanisms Using Data Mining

데이터 마이닝을 이용한 공격 탐지 메커니즘의 실험적 비교 연구

  • 김미희 (이화여자대학교 컴퓨터학과) ;
  • 오하영 (이화여자대학교 컴퓨터학과) ;
  • 채기준 (이화여자대학교 컴퓨터학과)
  • Published : 2006.02.01

Abstract

In this paper, we introduce the creation methods of attack detection model using data mining technologies that can classify the latest attack types, and can detect the modification of existing attacks as well as the novel attacks. Also, we evaluate comparatively these attack detection models in the view of detection accuracy and detection time. As the important factors for creating detection models, there are data, attribute, and detection algorithm. Thus, we used NetFlow data gathered at the real network, and KDD Cup 1999 data for the experiment in large quantities. And for attribute selection, we used a heuristic method and a theoretical method using decision tree algorithm. We evaluate comparatively detection models using a single supervised/unsupervised data mining approach and a combined supervised data mining approach. As a result, although a combined supervised data mining approach required more modeling time, it had better detection rate. All models using data mining techniques could detect the attacks within 1 second, thus these approaches could prove the real-time detection. Also, our experimental results for anomaly detection showed that our approaches provided the detection possibility for novel attack, and especially SOM model provided the additional information about existing attack that is similar to novel attack.

본 논문에서는 최신의 공격 유형을 잘 분류해 내고, 기존 공격의 변형이나 새로운 공격에도 탐지 가능하도록 데이터 마이닝 기법을 이용한 공격 탐지 모델 생성 방법들을 소개하고, 다양한 실험을 통해 탐지율 및 탐지 시간 측면에서 이 모델들의 성능을 비교한다. 이러한 탐지 모델을 생성하는데 중요한 요소로 데이터, 속성, 탐지 알고리즘을 꼽을 수 있는데, 실제 네트워크에서 수집된 NetFlow 데이터와 대량의 KDD Cup 1999 데이터를 사용하였다. 또한 탐지 알고리즘으로서 단일 지도/비지도학습 데이터 마이닝 기법 및 결합된 방법을 이용하여 탐지 모델을 생성, 비교 실험하였다. 시험 결과, 결합된 지도학습 알고리즘을 사용한 경우 모델링 시간은 길었지만 가장 탐지율이 높았고, 모든 경우 탐지 시간이 1초 내외로 실시간 탐지 가능성을 입증할 수 있었다. 또한 새로운 공격에 대한 이상탐지 결과로도 92$\%$ 이상의 탐지율을 보임으로 탐지 가능성을 입증할 수 있었고, SOM 기법을 사용하는 경우에는 새로운 공격이 기존 어느 공격에 유사한 특성을 갖는지에 대한 부과적인 정보도 제공하였다.

Keywords

References

  1. Wenke Lee, Salvatore J. Stolfo, 'Data Mining Approaches for Intrusion Detection,' Proc. of the 7th USENIX Security Symposium, pp.79-94, Jan. 1998
  2. 나현정, 김미희, 채기준, 나중찬, 'NetFlow 트래픽을 이용한 분산 서비스거부 공격 탐지 기법', 한국정보처리학회 추계학술발표대회, 제10권 제2호, pp.1957-1960, 2003년 11월
  3. Mihui Kim, Hyunjung Na, Kijoon Chae, Hyochan Bang, Jungchan Na, 'A Combined Data Mining Approach for DDos Attack Detection,' ICOIN 2004, LNCS 3090, pp.943-950, Feb. 2004
  4. Jelena Mirkovic, Gregory Prier, Peter Reiher, 'Attacking DDoS at the Source,' Proc. of ICNP 2002
  5. Joao B. D. Cabrera, Lundy Lewis, Xinzhou Qin, Wenke Lee, Ravi K. Prasanth, B. Ravichandran, Raman K. Mehra, 'Proactive Detection of Distributed Denial of Service Attacks using MIB Traffic Variables,' Proc. of ICNP 2002
  6. Laura Feinstein, Dan Schnackenberg, Ravindra Balupari, Darrell Kindred, 'Statistical Approaches to DDoS Attack Detection and Response,' Proc. of The DARPA Information Survivability Conference and Exposition, 2003
  7. Wenke Lee, Salvatore J. Stolfo, 'Data Mining Approaches for Intrusion Detection,' Proc. of the 7th USENIX Security Symposium, pp.79-94, Jan. 1998
  8. Anup K. Ghosh, Aaron Schwartzbard, 'A Study in using Neural Networks for Anomaly and Misuse Detection,' Proc. of the 8th USENIX Security Symposium, Washington, D.C., USA, Aug. 1999
  9. Susan C. Lee, David V. Heinbuch, 'Training a Neural-Network Based Intrusion Detector to Recognize Novel Attacks,' Proc. of the 2000 IEEE Workshop on Information Assurance and Security United States Military Academy, West Point, NY, 6-7 Jun. 2000
  10. P. Phaal, S. Panchen, N. McKee, 'InMon Corporation's sFlow: A Method for Monitoring Traffic in Switched and Routed Networks,' RFC 3176, 2001
  11. KDD Cup 1999 data, http://kdd.ics.uci.edu
  12. Jiawei Han, Micheline Kamber, 'Dam Mining: Concepts and Techniques,' Morgan Kaufmann Publishers
  13. 최종후, 한상태, 강현철, 김은석, 심미경, 이성건, 'SAS Enterprise Miner 4.0을 이용한 데이터 마이닝-기능과 사용법', 자유아카데미
  14. 허명회, 'SOM(자기조직화지도)의 이론과 응용', 2004년 한국통계학회 추계학술대회, 2004년 11월
  15. SOM Toolbox for Matlab, http://www.cis.hut.fi
  16. Juha Vesanto, John Himberg, Esa Alhoniemi, and Juha Parhankangas, 'SOM Toolbox for Matlab5,' SOM Toolbox Team, Helsinki University of Technology, 2000