Annual Conference of KIPS (한국정보처리학회:학술대회논문집)

  • 2024.10a
  • /
  • Pages.580-583
  • /
  • 2024
  • /
  • 2005-0011(pISSN)
  • /
  • 2671-7298(eISSN)
Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

TKAD: Transformer Networks and Kalman Filter-based Approach for Anomaly Detection in Cloud System Time-Series Logs

TKAD: 트랜스포머 구조와 칼만 필터 결합을 통한 클라우드 시스템 시계열 로그 이상 탐지 기법

  • Yongseok Heo (Dept. of Applied Artificial Intelligence, Graduate School of SW.AI Convergence, Korea University) ;
  • Heonchang Yu (Dept. of Computer Science & Engineering, Korea University)
  • 허용석 (고려대학교 SW.AI 융합대학원 ) ;
  • 유헌창 (고려대학교 정보대학 컴퓨터학과 )
  • Published : 2024.10.31
Download PDF
⟨ Previous Next ⟩

Abstract

서비스 고도화와 퍼블릭 클라우드 확산으로 인해 시스템 복잡성과 규모가 증가하면서 시계열 로그 데이터의 양과 유형이 증가하고 있다. 안정적인 시스템 운영을 위해 시계열 로그 모니터링은 필수적이며 이상 탐지에는 높은 정확도가 요구된다. 본 연구에서는 트랜스포머 구조와 칼만 필터를 결합해 시스템 장애와 무관한 로그 데이터의 노이즈를 제거하고, 시계열 데이터의 패턴을 주기적으로 학습하여 임계치를 자동으로 조정함으로써 이상 탐지의 정확도를 높이고자 한다. 제안된 방법의 성능을 검증하기 위해 운영 중인 클라우드 환경에서 발생된 시계열 로그를 기반으로 실험을 수행한 결과, 연구에 사용된 다른 4 가지 딥러닝 기반 이상 탐지 모델보다 우수한 성능을 보였다.

Keywords

References

  1. Sarah Park, "국내 퍼블릭 클라우드 서비스 시장 개요(2023-2027): 탄소 정책 및 생성형 AI 의 영향", IDC Korea Ltd, 2023.
  2. Kukjin Choi, Jihun Yi, Changhwa Park, Sungroh Yoon, "Deep Learning for Anomaly Detection in Time-Series Data: Review, Analysis, and Guidelines", IEEE Access, Vol. 9, 2021, pp. 120043-120065.
  3. R. E. Kalman, "A New Approach to Linear Filtering and Prediction Problems", J. Basic Eng., Vol. 82(1), 1960, pp. 35-45.
  4. Ashish Vaswani et al., "Attention is All You Need," Proceedings of NeurIPS, 2017, pp. 6000-6010.
  5. Pankaj Malhotra et al., "LSTM-based Encoder-Decoder for Multi-sensor Anomaly Detection", ICML 2016 Anomaly Detection Workshop, 2016.
  6. Julien Audibert et al., "USAD: UnSupervised Anomaly Detection on Multivariate Time Series", KDD 2020, pp. 3395-3404.
  7. Alexander Geiger et al., "TadGAN: Time Series Anomaly Detection Using Generative Adversarial Networks", IEEE Big Data, 2020, pp. 4275-4282.
  8. Shreshth Tuli et al., "TranAD: Deep Transformer Networks for Anomaly Detection in Multivariate Time Series Data", VLDB Endowment, Vol. 15(6), 2022, pp. 1201-1214.