Comparison Speed of Data Filtering for Log Analysis

로그분석을 위한 데이터 필터링 속도 비교 분석

시스템 로그의 분석은 장애의 원인 분석 및 발생 가능성을 예측하는데 중요한 행위이다. 하지만, 로그의 특성상 관련 로그만을 추출하고 이를 대상으로 분석을 진행하는 것이 분석의 시간을 단축하는데 도움이 된다. 본 논문에서는 대용량의 로그파일에서 원하는 키워드를 포함하는 로그를 추출하는 여러 방식 중에서 가장 빠르게 추출할 수 있는 방식을 선택하기 위해서 슈퍼컴퓨터에서 생성된 실제 로그 파일을 대상으로 로그 필터링 속도를 비교하였다. 이를 통해서 선택된 방식을 이용하여 대규모 로그를 필터링하고 이를 기반으로 향후 구축할 로그 분석 솔루션을 구축할 예정이다.