• 제목/요약/키워드: 엘라스틱서치

검색결과 3건 처리시간 0.016초

역방향 인덱스 기반의 저장소를 이용한 이상 탐지 분석 (Anomaly Detection Analysis using Repository based on Inverted Index)

  • 박주미;조위덕;김강석
    • 정보과학회 논문지
    • /
    • 제45권3호
    • /
    • pp.294-302
    • /
    • 2018
  • 정보통신 기술의 발전에 따른 새로운 서비스 산업의 출현으로 개인 정보 침해, 산업 기밀 유출 등 사이버 공간의 위험이 다양화 되어, 그에 따른 보안 문제가 중요한 이슈로 떠오르게 되었다. 본 연구에서는 기업 내 개인 정보 오남용 및 내부 정보 유출에 따른, 대용량 사용자 로그 데이터를 기반으로 기존의 시그니처(Signature) 보안 대응 방식에 비해, 실시간 및 대용량 데이터 분석기술에 적합한 행위 기반 이상 탐지방식을 제안하였다. 행위 기반 이상 탐지방식이 대용량 데이터를 처리하는 기술을 필요로 함에 따라, 역방향 인덱스(Inverted Index) 기반의 실시간 검색 엔진인 엘라스틱서치(Elasticsearch)를 사용하였다. 또한 데이터 분석을 위해 통계 기반의 빈도 분석과 전 처리 과정을 수행하였으며, 밀도 기반의 군집화 방법인 DBSCAN 알고리즘을 적용하여 이상 데이터를 분류하는 방법과 시각화를 통해 분석을 간편하게 하기위한 한 사례를 보였다. 이는 기존의 이상 탐지 시스템과 달리 임계값을 별도로 설정하지 않고 이상 탐지 분석을 시도하였다는 것과 통계적인 측면에서 이상 탐지 방식을 제안하였다는 것에 의의가 있다.

변형된 TSP 및 엘라스틱서치 알고리즘 기반의 최적 여행지 코스 추천 시스템 개발 (A Development of Optimal Travel Course Recommendation System based on Altered TSP and Elasticsearch Algorithm)

  • 김준영;조경호;박준;정세훈;심춘보
    • 한국멀티미디어학회논문지
    • /
    • 제22권9호
    • /
    • pp.1108-1121
    • /
    • 2019
  • As the quality and level of life rise, many people are doing search for various pieces of information about tourism. In addition, users prefer the search methods reflecting individual opinions such as SNS and blogs to the official websites of tourist destination. Many of previous studies focused on a recommendation system for tourist courses based on the GPS information and past travel records of users, but such a system was not capable of recommending the latest tourist trends. This study thus set out to collect and analyze the latest SNS data to recommend tourist destination of high interest among users. It also aimed to propose an altered TSP algorithm to recommend the optimal routes to the recommended destination within an area and a system to recommend the optimal tourist courses by applying the Elasticsearch engine. The altered TSP algorithm proposed in the study used the location information of users instead of Dijkstra's algorithm technique used in previous studies to select a certain tourist destination and allowed users to check the recommended courses for the entire tourist destination within an area, thus offering more diverse tourist destination recommendations than previous studies.

아파치 엘라스틱서치 기반 로그스태시를 이용한 보안로그 분석시스템 (A Security Log Analysis System using Logstash based on Apache Elasticsearch)

  • 이봉환;양동민
    • 한국정보통신학회논문지
    • /
    • 제22권2호
    • /
    • pp.382-389
    • /
    • 2018
  • 최근 사이버 공격은 다양한 정보시스템에 심각한 피해를 주고 있다. 로그 데이터 분석은 이러한 문제를 해결하는 하나의 방법이다. 보안 로그 분석시스템은 로그 데이터 정보를 수집, 저장, 분석하여 보안 위험에 적절히 대처할 수 있게 한다. 본 논문에서는 보안 로그 분석을 위하여 분산 검색 엔진으로 사용되고 있는 Elasticsearch와 다양한 종류의 로그 데이터를 수집하고 가공 및 처리할 수 있게 하는 Logstash를 사용하여 보안 로그 분석시스템을 설계하고 구현하였다. 분석한 로그 데이터는 Kibana를 이용하여 로그 통계 및 검색 리포트를 생성하고 그 결과를 시각화할 수 있게 하였다. 구현한 검색엔진 기반 보안 로그 분석시스템과 기존의 Flume 로그 수집기, Flume HDFS 싱크 및 HBase를 사용하여 구현한 보안 로그 분석시스템의 성능을 비교 분석하였다. 실험 결과 Elasticsearch 기반의 로그 분석시스템을 사용할 경우 하둡 기반의 로그 분석시스템에 비하여 데이터베이스 쿼리 처리시간 및 로그 데이터 분석 시간을 현저하게 줄일 수 있음을 보였다.