• Title/Summary/Keyword: 네트워크 로그 분석

Search Result 141, Processing Time 0.024 seconds

Real-time log analysis system for detecting network attacks in a MapReduce environment (MapReduce 환경에서 네트워크 공격 탐지를 위한 실시간 로그 분석 시스템 개발)

  • Chang, Jin-Su;Shin, Jae-Hwan;Chang, Jae-Woo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2017.11a
    • /
    • pp.37-40
    • /
    • 2017
  • 네트워크 기술의 발전으로 인터넷의 보급률이 증가함에 따라, 네트워크 사용량 또한 증가하고 있다. 그러나 네트워크 사용량이 증가함에 따라 악의적인 네트워크 접근 또한 증가하고 있다. 이러한 악의적인 접근은 네트워크에서 발생하는 보안 로그를 분석함으로써 탐지가 가능하다. 그러나 대규모의 네트워크 트래픽이 발생함에 따라, 보안 로그의 처리 및 분석에 많은 시간이 소요된다. 본 논문에서는 MapReduce 환경에서 네트워크 공격 탐지를 위한 실시간 로그 분석 시스템을 개발한다. 이를 위해, Hadoop의 MapReduce를 통해 보안 로그의 속성을 추출하고 대용량의 보안 로그를 분산 처리한다. 아울러 처리된 보안 로그를 분석함으로써 실시간으로 발생하는 네트워크 공격 패턴을 탐지하고, 이를 시각적으로 표현함으로써 사용자가 네트워크 상태를 보다 쉽게 파악할 수 있도록 한다.

Spark-based Network Log Analysis Aystem for Detecting Network Attack Pattern Using Snort (Snort를 이용한 비정형 네트워크 공격패턴 탐지를 수행하는 Spark 기반 네트워크 로그 분석 시스템)

  • Baek, Na-Eun;Shin, Jae-Hwan;Chang, Jin-Su;Chang, Jae-Woo
    • The Journal of the Korea Contents Association
    • /
    • v.18 no.4
    • /
    • pp.48-59
    • /
    • 2018
  • Recently, network technology has been used in various fields due to development of network technology. However, there has been an increase in the number of attacks targeting public institutions and companies by exploiting the evolving network technology. Meanwhile, the existing network intrusion detection system takes much time to process logs as the amount of network log increases. Therefore, in this paper, we propose a Spark-based network log analysis system that detects unstructured network attack pattern. by using Snort. The proposed system extracts and analyzes the elements required for network attack pattern detection from large amount of network log data. For the analysis, we propose a rule to detect network attack patterns for Port Scanning, Host Scanning, DDoS, and worm activity, and can detect real attack pattern well by applying it to real log data. Finally, we show from our performance evaluation that the proposed Spark-based log analysis system is more than two times better on log data processing performance than the Hadoop-based system.

Real-time Network Attack Pattern Analysis System using Snort Log on MapReduce Environment (MapReduce 환경에서 Snort 로그를 이용한 실시간 네트워크 공격패턴 분석 시스템)

  • Kang, Moon-Hwan;Jang, Jin-Su;Shin, Young-Sung;Chang, Jae-Woo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2017.04a
    • /
    • pp.75-77
    • /
    • 2017
  • 최근 급격히 증가하고 있는 네트워크 로그 상에서 보안위협에 신속히 대응하기 위해 기업들은 방화벽, IDS 등의 네트워크 보안 로그를 분석하여 보안 위협을 파악한다. Snort는 이러한 보안 위협에 대응하기 위해 네트워크 로그를 수집하는 도구 중 하나이다. 그러나 보안 관제 담당자는 방대한 양의 보안 관련 로그를 분석하기 위해 많은 시간이 필요하기 때문에, 관제 결과를 보고하고 대응하기까지 시간이 지체되는 문제가 존재한다. 이러한 문제를 해결하기 위해, 본 논문에서는 Snort 로그를 이용한 실시간 네트워크 공격패턴 분석 시스템을 제안한다. 제안하는 시스템은 대용량 데이터 처리에 효과적인 MapReduce 분산 처리를 활용하여 방대한 네트워크 로그를 추출 및 분석하기 때문에 보안 위협 상황 발생 여부를 실시간으로 빠르게 인지할 수 있다.

The detection of threats using loging data analing of network resource (네트워크 자원의 로그 분석을 통한 보안 위협 탐지)

  • Kim Jin-Hong;Lee Haeng-Gon;Jo In-June
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2006.05a
    • /
    • pp.179-182
    • /
    • 2006
  • 정부, 기관(연구기관, 교육기관 등) 심지어 일반 개인 생활에서 인터넷의 활용도가 증가하면서 네트워크 장비의 중요성은 한층 강조되고 있다. 현재 네트워크 장비의 보안은 방화벽, 침입탐지장치에 의존하고 있으나, 이 장비들은 잘 알려진 공격을 기준으로 패턴 매정 방식으로 검출한다. 따라서 잘 알려지지 않은 공격에는 취약하다. 본 논문에서는 네트워크 보안장비를 위회한 보안위협이 탐지될 경우 네트워크 자원에서 발생하는 로그를 실시간으로 수집하여 관리함으로써 침해사고 시 그 원인을 분석할 수 있는 근거자료를 확보하고, 실시간 로그 분석을 통해 신속한 보안 위협의 탐지 및 해결방안을 제공한다.

  • PDF

Development of Log Processing Module and Log Server for Ethernet Shipboard Integration Networks (이더넷 기반 선박 통합 네트워크를 위한 로그 처리 모듈 및 로그 서버의 개발)

  • Hwang, Hun-Gyu;Yoon, Jin-Sik;Seo, Jeong-Min;Lee, Seong-Dae;Jang, Kil-Woong;Park, Hyu-Chan;Lee, Jang-Se
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.15 no.2
    • /
    • pp.331-338
    • /
    • 2011
  • Objectives of shipboard integration networks are to exchange and manage integrated information. Shipboard integration networks use UDP(User Datagram Protocol) multicast for the exchange of information. However, such information can be missed or damaged because UDP can't guarantee reliability. The standard of shipboard integration networks defines error log functions for the missed or damaged information. In this paper, we analyze internal and external log functions. The internal log function records errors internally, and the external log function sends error messages to a log server and records them in a database. We also develop a log processing module and log server for the external log function.

An Log Visualization Method of Network Security Equipment for Private Information Security (개인정보 보호를 위한 네트워크 보안장비의 로그 가시화 방법 연구)

  • Sim, Hee-Youn;Kim, Hyung-Jong
    • Convergence Security Journal
    • /
    • v.8 no.4
    • /
    • pp.31-40
    • /
    • 2008
  • Recently, network forensic research which analyzes intrusion-related information for tracing of attackers, has been becoming more popular than disk forensic which analyzes remaining evidences in a system. Analysis and correlation of logs from firewall, IDS(Intrusion Detect System) and web server are important part in network forensic procedures. This work suggests integrated graphical user interface of network forensic for private information leakage detection. This paper shows the necessity of various log information for network forensic and a design of graphical user interface for security managers who need to monitor the leakage of private information.

  • PDF

Server Management Prediction System based on Network Log and SNMP (네트워크 로그 및 SNMP 기반 네트워크 서버 관리 예측 시스템)

  • Moon, Sung-Joo
    • Journal of Digital Contents Society
    • /
    • v.18 no.4
    • /
    • pp.747-751
    • /
    • 2017
  • The log has variable informations that are important and necessary to manage a network when accessed to network servers. These informations are used to reduce a cost and efficient manage a network through the meaningful prediction information extraction from the amount of user access. And, the network manager can instantly monitor the status of CPU, memory, disk usage ratio on network using the SNMP. In this paper, firstly, we have accumulated and analysed the 6 network logs and extracted the informations that used to predict the amount of user access. And then, we experimented the prediction simulation with the time series analysis such as moving average method and exponential smoothing. Secondly, we have simulated the usage ration of CPU, memory, and disk using Xian SNMP simulator and extracted the OID for the time series prediction of CPU, memory, and disk usage ration. And then, we presented the visual result of the variable experiments through the Excel and R programming language.

A Study on the Search Behavior of Digital Library Users: Focus on the Network Analysis of Search Log Data (디지털 도서관 이용자의 검색행태 연구 - 검색 로그 데이터의 네트워크 분석을 중심으로 -)

  • Lee, Soo-Sang;Wei, Cheng-Guang
    • Journal of Korean Library and Information Science Society
    • /
    • v.40 no.4
    • /
    • pp.139-158
    • /
    • 2009
  • This paper used the network analysis method to analyse a variety of attributes of searcher's search behaviors which was appeared on search access log data. The results of this research are as follows. First, the structure of network represented depending on the similarity of the query that user had inputed. Second, we can find out the particular searchers who occupied in the central position in the network. Third, it showed that some query were shared with ego-searcher and alter searchers. Fourth, the total number of searchers can be divided into some sub-groups through the clustering analysis. The study reveals a new recommendation algorithm of associated searchers and search query through the social network analysis, and it will be capable of utilization.

  • PDF

The Method of Analyzing Firewall Log Data using MapReduce based on NoSQL (NoSQL기반의 MapReduce를 이용한 방화벽 로그 분석 기법)

  • Choi, Bomin;Kong, Jong-Hwan;Hong, Sung-Sam;Han, Myung-Mook
    • Journal of the Korea Institute of Information Security & Cryptology
    • /
    • v.23 no.4
    • /
    • pp.667-677
    • /
    • 2013
  • As the firewall is a typical network security equipment, it is usually installed at most of internal/external networks and makes many packet data in/out. So analyzing the its logs stored in it can provide important and fundamental data on the network security research. However, along with development of communications technology, the speed of internet network is improved and then the amount of log data is becoming 'Massive Data' or 'BigData'. In this trend, there are limits to analyze log data using the traditional database model RDBMS. In this paper, through our Method of Analyzing Firewall log data using MapReduce based on NoSQL, we have discovered that the introducing NoSQL data base model can more effectively analyze the massive log data than the traditional one. We have demonstrated execellent performance of the NoSQL by comparing the performance of data processing with existing RDBMS. Also the proposed method is evaluated by experiments that detect the three attack patterns and shown that it is highly effective.

Log Data Analysis of Missing Child Location Tracking System in Hwaseong Haenggung (화성행궁 미아위치추적 시스템에서의 로그 데이터 분석)

  • Kim, Seonphil;Kim, Namgi
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2009.11a
    • /
    • pp.119-120
    • /
    • 2009
  • 본 논문에서는 RFID 기술을 수원 화성행궁 미아위치추적 시스템에 적용하였다. 적용한 결과인 로그 데이터를 분석하고, 문제점과 특징들을 파악해본다.