Abstract
Recently, network technology has been used in various fields due to development of network technology. However, there has been an increase in the number of attacks targeting public institutions and companies by exploiting the evolving network technology. Meanwhile, the existing network intrusion detection system takes much time to process logs as the amount of network log increases. Therefore, in this paper, we propose a Spark-based network log analysis system that detects unstructured network attack pattern. by using Snort. The proposed system extracts and analyzes the elements required for network attack pattern detection from large amount of network log data. For the analysis, we propose a rule to detect network attack patterns for Port Scanning, Host Scanning, DDoS, and worm activity, and can detect real attack pattern well by applying it to real log data. Finally, we show from our performance evaluation that the proposed Spark-based log analysis system is more than two times better on log data processing performance than the Hadoop-based system.
최근 네트워크 기술의 발달로 인해 다양한 분야에서 네트워크 기술이 사용되고 있다. 그러나 발전하는 네트워크 기술을 악용하여 공공기관, 기업 등을 대상으로 하는 공격 사례가 증가하였다. 한편 기존 네트워크 침입 탐지 시스템은 네트워크 로그의 양이 증가함에 따라 로그를 처리하는데 많은 시간이 소요된다. 따라서 본 논문에서는 Snort를 이용한 비정형 네트워크 공격패턴 탐지를 수행하는 Spark 기반의 네트워크 로그 분석 시스템을 제안한다. 제안하는 시스템은 대용량의 네트워크 로그 데이터에서 네트워크 공격 패턴탐지를 위해 필요한 요소를 추출하여 분석한다. 분석을 위해 Port Scanning, Host Scanning, DDoS, Worm 활동에 대해 네트워크 공격 패턴을 탐지하는 규칙을 제시하였으며, 이를 실제 로그 데이터에 적용하여 실제 공격 패턴 탐지를 잘 수행함을 보인다. 마지막으로 성능평가를 통해 제안하는 Spark 기반 로그분석 시스템이 Hadoop 기반 시스템에 비해 로그 데이터 처리 성능이 2배 이상 우수함을 보인다.
