• 한국정보전자통신기술학회논문지
• /
• 제14권1호
• /
• pp.22-28
• /
• 2021

화학공정, 기계공정, 발전소와 같은 다변량 공정은 여러 설비들이 복잡하게 연결되어 운영되기 때문에 특정 시스템에 고장이 발생하면 전체 공정에 치명적인 영향을 미칠 수 있다. 또한, 공정 데이터는 불안정한 환경에서 계측되므로, 데이터에 이상치가 포함될 가능성이 크다. 따라서 계측된 데이터의 이상치를 제거하고 시스템의 고장을 사전에 탐지할 수 있는 모니터링 기술이 필수적이다. 본 논문에서는 여러 종류의 공정에서 고장탐지를 수행하기 위해 다이나믹 공정과 다변량 공정 모델에서 생성된 데이터를 이용하였다. 다이나믹 공정은 자기회귀 특성을 가지는 공정을 모델링한 것이고 다변량 공정은 특정 센서의 고장이 발생했을 때 상황을 묘사한 공정이다. 본 논문에서는 두 공정에서 생성된 데이터에 마할라노비스 거리를 이용하여 데이터에 포함된 이상치를 제거한 후, 독립성분분석을 적용하여 고장탐지를 수행하였다. 제안된 방법의 성능 비교를 위해 기존의 단일모델 ICA와 성능을 비교하였다. 실험결과, 제안된 방법이 기존의 ICA 보다 다이나믹 공정의 바이어스 데이터의 경우에 0.84%p, 드리프트 데이터의 경우 6.82%p 성능이 개선되었다. 다변량 공정의 경우 3.78%p 성능이 개선되었으므로, 제안된 방법이 우수한 고장탐지 성능을 보였다.

• 대한공간정보학회지
• /
• 제19권3호
• /
• pp.49-56
• /
• 2011

도시 지역의 환경은 빠르게 변화하고 있기 때문에 그 변화를 신속하게 탐지하여 수치지도 데이터베이스에 반영하는 것이 필요하다. 이에 LiDAR 자료를 사용하여 도시지역 건물의 변화를 탐지하려는 연구가 진행되고 있다. 본 연구에서는 LiDAR 자료와 기존 수치지도를 이용하여 객체 기반으로 건물변화를 탐지하고 그 유형을 분류하고자 하였다. 점 기반으로 건물의 외곽선을 추출하고 수치지도 건물 레이어와 중첩하여 중첩비교와 형상비교를 통해 변화유형을 분류하였다. 중첩비교시 객체별 적응적 임계치를 산정하여 적용함으로써 변화탐지의 객관성과 정확도를 높이고자 하였다. 실험결과, 제안한 방법으로 도시지역 건물의 변화를 탐지하고 분류하는 것이 기존 방법에 비해 높은 분류 정확도를 보임을 확인하였다.

• 인터넷정보학회논문지
• /
• 제25권2호
• /
• pp.39-47
• /
• 2024

시계열 분석은 시간 순서로 정렬된 데이터로부터 다양한 정보와 인사이트를 발견하기 위한 방법으로 많은 조직에서 비즈니스 문제 해결을 위해 적용하고 있다. 그중에서 시계열 유사도 측정은 패턴이 비슷한 시계열들을 식별하기 위한 단계로서 시계열 검색 및 군집화와 같은 시계열 분석 응용에서 매우 중요하다. 본 연구에서는 전체 시계열이 아닌 이상치들을 중심으로 시계열 유사도 측정을 계산 효율적으로 수행하는 방법을 제안한다. 이와 관련하여 이상탐지를 통해 추출된 서브시퀀스 집합에 대한 유사도 측정 결과와 시계열 전체에 대한 유사도 측정 결과 사이의 순위 상관관계를 측정 및 분석하여 제안 방법을 검증한다. 실험 결과로써, 주식 종목 시계열 데이터에 이상치 비율 10% 을 적용한 유사도 측정으로부터 최대 0.9 이상의 스피어만 순위 상관계수를 확인하였다. 결론적으로 제안 방법을 통해 시계열 유사도 측정에 소요되는 계산량을 유의미하게 절감하는 동시에 신뢰 가능한 시계열 검색 및 군집화 결과를 기대할 수 있다.

• 문화기술의 융합
• /
• 제8권4호
• /
• pp.91-98
• /
• 2022

웨어러블 기기를 통해 지속적으로 수집되는 라이프로그 데이터는 많은 이상값을 포함할 수 있으므로 데이터품질을 향상시키기 위해서는 이상값을 찾아 제거하는 것이 필요하다. 일반적으로 이상치의 개수가 정상 데이터의 개수보다 적기 때문에 클래스 불균형 문제가 발생한다. 이러한 불균형 문제를 해결하기 위해 Variational AutoEncoder를 outlier에 적용하는 방법을 제안한다. 제안된 방법으로 이상치 데이터를 전처리한 후, 다수의 머신러닝 모델(분류)을 통해 검증한다. 체중 데이터를 이용한 검증 결과, 모든 분류 모델에서 성능이 향상됨을 확인하였다. 실험 결과를 바탕으로 라이프로그 체중 데이터 분석 시 본 연구에서 제안한 이상치 처리 방법을 이용하여 데이터를 전처리한 후 성능이 가장 좋은 LightGBM 모델을 적용할 것을 제안한다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2003년도 봄 학술발표논문집 Vol.30 No.1 (A)
• /
• pp.383-385
• /
• 2003

침입 탐지 시스템에 이상 탐지 기법(anormal detection)을 적용할 때 정상적인 시스템호출 순서에 대한 훈련이 필요하다. 이 때 발생하는 가장 큰 문제점중 하나는 침입 없는 훈련 데이터의 확보이다. 훈련 데이터에 침입이 있으면 이 침입을 정상으로 간주해서 이후에 같은 침입이 일어나도 이를 탐지해 내지 못하기 때문이다. 하지만, 침입 없는 훈련 데이터를 얻는 것은 매우 어렵다. 본 논문에서는 훈련 데이터에 침입이 포함되어 있더라도 효과적으로 침입을 탐지할 수 있는 시스템 호출 기반 침입 탐지 기법을 제안한다. 제안 기법은 훈련 데이터에 침입이 존재할 경우 침입 부분에서 빈도가 매우 적은 데이터들이 연속적으로 나타나는 성질을 이용한다. 이를 위해 훈련 데이터를 일정 개수씩 블록으로 묶은 뒤 평균 빈도를 계산해서 그 값이 임계치보다 작은 경우 이를 침입 데이터로 간주하여 훈련 데이터에서 제외하는 방법을 사용하였다. 실험 결과 블록 크기를 적절하게 잡았을 경우 기존의 Eskin 기법보다 향상된 결과를 얻을 수 있었다.

• 한국인터넷방송통신학회논문지
• /
• 제24권1호
• /
• pp.55-58
• /
• 2024

본 논문은 빅데이터 기반 미세먼지 이상 탐지 머신러닝 시스템 설계 및 구현을 제안한다. 제안하는 시스템은 빅데이터로 구성된 미세먼지 및 기상 정보를 통해 미세먼지 대기환경지수를 분류하는 시스템이다. 이 시스템은 머신러닝 기반의 대기환경지수 분류 카테고리별 이상치에 따른 이상치 탐지 알고리즘 설계를 통해 미세먼지를 분류한다. 카메라에서 수집된 영상의 심도 데이터는 미세먼지 농도에 따른 영상을 수집한 후 미세먼지 가시마스크를 생성합니다. 그리고 모노 심도 추정 알고리즘을 통한 학습 기반 핑거프린팅 기법으로 모노스코프 카메라에서 수집된 미세먼지의 가시거리를 추론하여 미세먼지 농도를 도출합니다. 본 방법의 실험 및 분석을 위해 미세먼지 농도 데이터와 지역별, 시간별 CCTV 영상 데이터를 매칭하여 학습 데이터를 생성한 후 모델을 생성하여 실제 환경에서 테스트한다.

• Journal of the Korean Data and Information Science Society
• /
• 제24권1호
• /
• pp.33-39
• /
• 2013

반응변수의 변환을 고려하는 부분선형모형에서 이상치 문제는 선형모형에서와 마찬가지로 반응변수 변환모수의 추정에 왜곡된 결과를 초래할 수 있다. 이를 해결하기 위해서는 부분선형모형에서 반응변수 변환 모수 추정과 이상치 탐지 과정이 수행되어야 하지만 모형에 포함된 비모수 함수의 비정형성에 따른 어려움이 크다. 본 연구에서는 부분선형모형의 비모수함수에 대한 추정과 순차적 검정, 최대절사우도추정 등과 같은 이상치 제거방법의 적용을 통하여 부분선형모형에서 이상치에 강건한 반응변수 변환 과정을 제안한다. 제안된 방법들은 모의실험과 예제를 통해 효과를 비교 검증한다.

• 융합정보논문지
• /
• 제11권11호
• /
• pp.57-65
• /
• 2021

본 논문은 딥 러닝(Deep Learning)을 이용하여 대기오염측정망 데이터 중 특정 증상이 나타나는 이상 데이터를 탐지하는 방법을 제시한다. 기존 방법들은 일반적으로 시계열 데이터 내에서 기존과는 다른 특이한 패턴이 나타나는 데이터를 탐지하여 이상치로 분류하며, 이는 특정 증상만을 탐지하기에는 적합하지 않다. 본 논문에서는 주로 이미지의 전경 분리(Sementic Segmentation)에 사용되는 DeepLab V3+ 모델의 2차원 합성곱 신경망 구조를 1차원 구조로 변형하여 이미지 대신 여러 센서의 시계열 측정값을 입력받고 특정 증상이 나타나는 데이터를 탐지하도록 하는 방법을 제시한다. 또한, 데이터에 '조각별 집계 근사법(Piecewise Aggregate Approximation)'을 적용하여 잡음이 많은 대기오염측정망 데이터의 복잡도를 줄임으로써 성능을 높인다. 실험 결과를 통해 준수한 성능으로 이상치 탐지를 수행할 수 있음을 확인할 수 있다.

• 한국수자원학회논문집
• /
• 제51권8호
• /
• pp.703-711
• /
• 2018

상수도관의 파열은 과도한 압력, 노후화, 온도변화 나 지진 등에 의한 지반이동에 의해 발생한다. 상수도관 파열이 대규모 단수, 싱크홀 등과 같은 더 심각한 피해 이어지지 않도록 신속하게 탐지 및 대응하는 것이 중요하다. 본 연구에서는 상수도관 파열 탐지를 위해 개선 Western Electric Company (WECO) 방법을 개발하였다. 개선 WECO 방법은 통계적공정관리기법 중 하나인 기존 WECO 방법에 임계치 조정자(w)를 추가하여 대상 네트워크에 적합한 이상탐지 의사결정을 할 수 있도록 했다. 개발된 개선 WECO 방법을 미국 텍사스 오스틴 관망에 적용 및 검증하였다. 상수도관 파열 발생 시 측정한 비정상데이터와 수요량 변동만 고려한 정상데이터를 이용하여 기존 및 개선 WECO 방법을 비교하였다. 최적 임계치 조정자 w값을 결정하기 위해 민감도 분석을 수행하였으며, 다양한 계측시간 간격 데이터(dt = 5, 10, 15분 등)의 영향도 분석하였다. 각 경우 별 탐지성능은 탐지확률, 오경보확률, 평균탐지시간을 계산하여 비교하였다. 본 연구에서는 도출된 결과를 바탕으로 WECO 방법을 실제 상수도관 파열 탐지에 적용하기 위한 가이드라인을 제공한다.

• 한국지반공학회논문집
• /
• 제38권11호
• /
• pp.87-95
• /
• 2022

국토지반정보 포털시스템이 구축된 지반정보는 최근 설계, 시공, 지하안전관리, 재해재난 평가 등 다양한 분야에서 활용되고 있다. 그러나 전국적으로 기 구축된 약 30여만공의 지반정보는 누락되거나 잘못된 정보를 다수 포함하고 있어 데이터 활용시 신뢰도를 확보하기가 어렵다. 따라서 분석 데이터의 신뢰도를 확보하기 위해서는 지반정보를 활용하기 전 단계에서 지반정보의 정제(품질관리)가 반드시 필요하다. 본 연구에서는 딥러닝 기법 중 하나인 인공신경망 기법을 활용하여 지반정보를 자동으로 품질관리 하는 방안에 대하여 제안하였다. 특히, 가장 일반적으로 사용되는 정보인 표준관입시험 결과와 지층정보를 이용하여 지반정보의 이상치를 탐지하였다. 서울시 지반정보 데이터를 이용하여 분석하였으며, 검증데이터에 대한 오분류 비율은 5.4%로 확인되었다. 신경망 모델에서 이상치 분류된 데이터만을 추후에 검사함으로써 효율적으로 이상치를 탐지할 수 있을 것으로 기대된다.