• 제목/요약/키워드: Log Analysis System

검색결과 557건 처리시간 0.036초

아파치 엘라스틱서치 기반 로그스태시를 이용한 보안로그 분석시스템 (A Security Log Analysis System using Logstash based on Apache Elasticsearch)

  • 이봉환;양동민
    • 한국정보통신학회논문지
    • /
    • 제22권2호
    • /
    • pp.382-389
    • /
    • 2018
  • 최근 사이버 공격은 다양한 정보시스템에 심각한 피해를 주고 있다. 로그 데이터 분석은 이러한 문제를 해결하는 하나의 방법이다. 보안 로그 분석시스템은 로그 데이터 정보를 수집, 저장, 분석하여 보안 위험에 적절히 대처할 수 있게 한다. 본 논문에서는 보안 로그 분석을 위하여 분산 검색 엔진으로 사용되고 있는 Elasticsearch와 다양한 종류의 로그 데이터를 수집하고 가공 및 처리할 수 있게 하는 Logstash를 사용하여 보안 로그 분석시스템을 설계하고 구현하였다. 분석한 로그 데이터는 Kibana를 이용하여 로그 통계 및 검색 리포트를 생성하고 그 결과를 시각화할 수 있게 하였다. 구현한 검색엔진 기반 보안 로그 분석시스템과 기존의 Flume 로그 수집기, Flume HDFS 싱크 및 HBase를 사용하여 구현한 보안 로그 분석시스템의 성능을 비교 분석하였다. 실험 결과 Elasticsearch 기반의 로그 분석시스템을 사용할 경우 하둡 기반의 로그 분석시스템에 비하여 데이터베이스 쿼리 처리시간 및 로그 데이터 분석 시간을 현저하게 줄일 수 있음을 보였다.

효과적인 웹 사용자의 패턴 분석을 위한 하둡 시스템의 웹 로그 분석 방안 (A Method for Analyzing Web Log of the Hadoop System for Analyzing a Effective Pattern of Web Users)

  • 이병주;권정숙;고기철;최용락
    • 한국IT서비스학회지
    • /
    • 제13권4호
    • /
    • pp.231-243
    • /
    • 2014
  • Of the various data that corporations can approach, web log data are important data that correspond to data analysis to implement customer relations management strategies. As the volume of approachable data has increased exponentially due to the Internet and popularization of smart phone, web log data have also increased a lot. As a result, it has become difficult to expand storage to process large amounts of web logs data flexibly and extremely hard to implement a system capable of categorizing, analyzing, and processing web log data accumulated over a long period of time. This study thus set out to apply Hadoop, a distributed processing system that had recently come into the spotlight for its capacity of processing large volumes of data, and propose an efficient analysis plan for large amounts of web log. The study checked the forms of web log by the effective web log collection methods and the web log levels by using Hadoop and proposed analysis techniques and Hadoop organization designs accordingly. The present study resolved the difficulty with processing large amounts of web log data and proposed the activity patterns of users through web log analysis, thus demonstrating its advantages as a new means of marketing.

정보 시스템 이용기록 분석을 통한 정보 서비스 개선방안 연구 (A Study on the Improvement of Information Service Using Information System Log Analysis)

  • 조재형
    • 정보관리연구
    • /
    • 제36권4호
    • /
    • pp.137-153
    • /
    • 2005
  • 정보 시스템을 이용한 정보 서비스의 향상을 위해서는 이용자의 이용기록을 저장하고, 이를 분석하고 검토함으로써 개선된 서비스를 제공할 수 있는 프로세스의 도입이 요구되고 있다. 또한, 정보센터의 기관특성과 서비스 전략에 따라 필요로 하는 이용기록 및 분석방법에도 차이점이 나타날 수 있다. 본 연구에서는 이용자가 정보 센터에서 제공하는 정보 서비스를 활용하면서 발생하는 이용기록에 대하여 유형별 특징을 살펴보았다. 또한 이를 실제로 운영하는 정보 센터의 분석사례를 통하여 정보 서비스를 개선할 수 있는 구체적인 방안을 모색하였다.

제어시스템의 내부자 위협 탐지를 위한 Event Log 타당성 및 중요도 분석에 관한 연구 (A Study on the Analysis of Validity and Importance of Event Log for the Detection of Insider Threats to Control System)

  • 김종민;김동민;이동휘
    • 융합보안논문지
    • /
    • 제18권3호
    • /
    • pp.77-85
    • /
    • 2018
  • 제어시스템은 공공 네트워크와의 통신망 융합에 따라 다양한 루트를 통해 정보유출 및 변조 등의 위협이 제어시스템에서도 그대로 나타날 수 있다. 최근 다양한 보안에 대한 이슈와 새로운 공격기법에 의한 침해 사례가 다변화됨에 따라서, 단순히 차단 및 확인 등의 학습을 통해 정보를 데이터베이스화하는 보안 시스템으로는 새로운 형태의 위협에는 대처하기 힘들어지고 있다. 현재 제어시스템에서는 이처럼 외부에서 내부로의 위협에 치중하여 보안 시스템을 운용하고 있으며, 보안 접근 권한을 가진 내부자에 의한 보안위협 탐지에 대해서는 미비한 실정이다. 이에 따라 본 연구에서는 NSA에서 발표한 "Spotting the Adversary with Windows Event Log Monitoring"의 주요 Event Log 목록을 토대로 중요도 분석을 실시하였다. 그 결과 제어시스템에 내부자 위협탐지를 위한 Event Log의 중요도 여부를 알 수 있었으며, 분석결과를 바탕으로 이 분야의 연구에 기여할 수 있을 것으로 판단된다.

  • PDF

A Log Analysis System with REST Web Services for Desktop Grids and its Application to Resource Group-based Task Scheduling

  • Gil, Joon-Min;Kim, Mi-Hye
    • Journal of Information Processing Systems
    • /
    • 제7권4호
    • /
    • pp.707-716
    • /
    • 2011
  • It is important that desktop grids should be able to aggressively deal with the dynamic properties that arise from the volatility and heterogeneity of resources. Therefore, it is required that task scheduling be able to positively consider the execution behavior that is characterized by an individual resource. In this paper, we implement a log analysis system with REST web services, which can analyze the execution behavior by utilizing the actual log data of desktop grid systems. To verify the log analysis system, we conducted simulations and showed that the resource group-based task scheduling, based on the analysis of the execution behavior, offers a faster turnaround time than the existing one even if few resources are used.

APT 해킹 공격에 대한 전조현상 분석 및 IP역추적 (A Precursor Phenomena Analysis of APT Hacking Attack and IP Traceback)

  • 노정호;박대우
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2013년도 춘계학술대회
    • /
    • pp.275-278
    • /
    • 2013
  • Log는 시스템을 사용하는 모든 자료에 남는 시스템 파일이다. 지금 IT에 이슈화 되고 있는 농협사태, Nate On 정보 유출, 언론기관 서버마비 등 해킹에 의한 범죄가 많이 일어나고 있다. 이에 로그를 전문적으로 분석하는 소프트웨어를 통해 일어나고 있는 해킹 사태에 대해 전문분석이 필요하다. 본 연구는 지능적으로 일어나는 APT 공격에 대해 로그분석으로 패턴을 분석해 이상 Log 발생 시 역추적 하여 사전에 예방하는 기술에 대해 기술한다.

  • PDF

하부요로 폐색 진단을 위한 요류음 주파수 분석 (Frequency domain analysis of the urophonography for LUTS diagnosis)

  • 정도운;전계록
    • 센서학회지
    • /
    • 제16권3호
    • /
    • pp.202-210
    • /
    • 2007
  • The aim of this study is to acquire useful information of lower urinary tract symptom (LUTS) diagnosis through urophonography signal as a noninvasive method. The hardware and software which could evaluate the function of compensatory hypertrophy with noninvasive and comfortable method was implemented to measure uroflow and urophonography signal during urination. The PSD (power spectrum density) and the log-log plot gradient analysis were accomplished in frequency domain. For evaluation of the system and analysis method, a model system for the lower urinary system of men was used. From the evaluation of the model system, the PDS and the log-log plot gradient were dependent on the occlusion degree significantly. In a pilot study on normal and abnormal male subjects, the PSD and the log-log plot gradient were highly correlated with the artificial urethral obstruction.

제어시스템 위협분석을 위한 Event Log 상관분석에 관한 연구 (A Study on Event Log Correlation Analysis for Control System Threat Analysis)

  • 김종민;김민수;이동휘
    • 융합보안논문지
    • /
    • 제17권5호
    • /
    • pp.35-40
    • /
    • 2017
  • 제어시스템은 공공 네트워크와의 통신망 융합에 따라 다양한 루트를 통해 정보유출 및 변조 등의 위협이 제어시스템에서도 그대로 나타날 수 있다. 최근 다양한 보안에 대한 이슈와 새로운 공격기법에 의한 침해 사례가 다변화됨에 따라서, 단순히 차단 및 확인 등의 학습을 통해 정보를 데이터베이스화하는 보안 시스템으로는 새로운 형태의 위협에는 대처하기 힘들어지고 있으며, 보안 접근 권한을 가진 내부자에 의한 보안위협에 대해서도 기존의 보안장비로는 대응하기가 어렵다. 내부자에 의한 위협에 대응하기 위해 내부 시스템에서 실시간으로 발생한 Event Log를 수집하고 분석하여야 한다. 이에 따라 본 연구에서는 제어시스템에서 실시간으로 발생한 Event Log들을 토대로 상관분석을 통해 Event Log간 요소들의 상관관계의 여부를 알 수 있었으며, 분석결과를 바탕으로 이 분야의 연구에 기여할 수 있을 것으로 판단된다.

Snort를 이용한 비정형 네트워크 공격패턴 탐지를 수행하는 Spark 기반 네트워크 로그 분석 시스템 (Spark-based Network Log Analysis Aystem for Detecting Network Attack Pattern Using Snort)

  • 백나은;신재환;장진수;장재우
    • 한국콘텐츠학회논문지
    • /
    • 제18권4호
    • /
    • pp.48-59
    • /
    • 2018
  • 최근 네트워크 기술의 발달로 인해 다양한 분야에서 네트워크 기술이 사용되고 있다. 그러나 발전하는 네트워크 기술을 악용하여 공공기관, 기업 등을 대상으로 하는 공격 사례가 증가하였다. 한편 기존 네트워크 침입 탐지 시스템은 네트워크 로그의 양이 증가함에 따라 로그를 처리하는데 많은 시간이 소요된다. 따라서 본 논문에서는 Snort를 이용한 비정형 네트워크 공격패턴 탐지를 수행하는 Spark 기반의 네트워크 로그 분석 시스템을 제안한다. 제안하는 시스템은 대용량의 네트워크 로그 데이터에서 네트워크 공격 패턴탐지를 위해 필요한 요소를 추출하여 분석한다. 분석을 위해 Port Scanning, Host Scanning, DDoS, Worm 활동에 대해 네트워크 공격 패턴을 탐지하는 규칙을 제시하였으며, 이를 실제 로그 데이터에 적용하여 실제 공격 패턴 탐지를 잘 수행함을 보인다. 마지막으로 성능평가를 통해 제안하는 Spark 기반 로그분석 시스템이 Hadoop 기반 시스템에 비해 로그 데이터 처리 성능이 2배 이상 우수함을 보인다.

분산 환경에서 SysLog기반의 방화벽 통합로그관리시스템 개발 (Development of the SysLog-based Integrated Log Management system for Firewalls in Distributed Network Environments)

  • 이동영;서희석;이을석
    • 디지털산업정보학회논문지
    • /
    • 제7권4호
    • /
    • pp.39-45
    • /
    • 2011
  • Application log files contain error messages; operational data and usage information that can help manage applications and servers. Log analysis system is software that read and parse log files, extract and aggregate information in order to generate reports on the application. In currently, the importance of log files of firewalls is growing bigger and bigger for the forensics of cyber crimes and the establishment of security policy. In this paper, we designed and implemented the SILAS(SysLog-based Integrated Log mAanagement System) in distribute network environments. It help to generate reports on the the log fires of firewalls - IP and users, and statistics of application usage.