한국정보처리학회:학술대회논문집 (Proceedings of the Korea Information Processing Society Conference)
- 한국정보처리학회 2015년도 춘계학술발표대회
- /
- Pages.702-705
- /
- 2015
- /
- 2005-0011(pISSN)
- /
- 2671-7298(eISSN)
DOI QR Code
하둡 시스템 정보의 이상탐지를 위한 시각화
Visualization of Anomaly Detection in Hadoop System Information
-
Yang, Seokwoo
(Dept. of Computer Science, Kangwon National University)
;
- Son, Siwoon (Dept. of Computer Science, Kangwon National University) ;
- Gil, Myeong-Seon (Dept. of Computer Science, Kangwon National University) ;
- Moon, Yang-Sae (Dept. of Computer Science, Kangwon National University) ;
-
Won, Hee-Sun
(ETRI)
- 발행 : 2015.04.22
초록
본 논문에서는 하듐 환경에서 시스템 정보의 이상탐지를 위한 시각화 기능을 설계 및 구현한다. 제안한 이상탐지 시각화 기능은 크게 세 단계로 구분된다. 먼저, 각 노드로부터 시스템 로그 데이터(캐시 및 메인 메모리)를 수집하여 하이브(Hive) 저장한다. 그리고 저장한 데이터에 3-시그마 규칙을 적용하여 이상탐지를 수행한 후 관계형 데이터베이스에 적합하도록 재가공한다. 마지막으로, 스쿱(Sqoop)을 통해 RDBMS(MariaDB)에 이상탕지 결과를 저장하고, DHTMLX 차트 라이브러리를 사용하여 이를 시각화한다. 시각화 결과, 로그 데이터의 이상탐지와 데이터간의 상관관계를 직관적으로 이해할 수 있게 되었다.
키워드