• 제목/요약/키워드: 이상데이터

검색결과 6,505건 처리시간 0.042초

Subset 샘플링 검증 기법을 활용한 MSCRED 모델 기반 발전소 진동 데이터의 이상 진단 (Anomaly Detection In Real Power Plant Vibration Data by MSCRED Base Model Improved By Subset Sampling Validation)

  • 홍수웅;권장우
    • 융합정보논문지
    • /
    • 제12권1호
    • /
    • pp.31-38
    • /
    • 2022
  • 본 논문은 전문가 독립적 비지도 신경망 학습 기반 다변량 시계열 데이터 분석 모델인 MSCRED(Multi-Scale Convolutional Recurrent Encoder-Decoder)의 실제 현장에서의 적용과 Auto-encoder 기반인 MSCRED 모델의 한계인, 학습 데이터가 오염되지 않아야 된다는 점을 극복하기 위한 학습 데이터 샘플링 기법인 Subset Sampling Validation을 제시한다. 라벨 분류가 되어있는 발전소 장비의 진동 데이터를 이용하여 1) 학습 데이터에 비정상 데이터가 섞여 있는 상황을 재현하고, 이를 학습한 경우 2) 1과 같은 상황에서 Subset Sampling Validation 기법을 통해 학습 데이터에서 비정상 데이터를 제거한 경우의 Anomaly Score를 비교하여 MSCRED와 Subset Sampling Validation 기법을 유효성을 평가한다. 이를 통해 본 논문은 전문가 독립적이며 오류 데이터에 강한 이상 진단 프레임워크를 제시해, 다양한 다변량 시계열 데이터 분야에서의 간결하고 정확한 해결 방법을 제시한다.

로터시스템의 통계적 이상진단 시스템에 대한 연구 (A Study on the Statistical Diagnosis for A Rotor System)

  • 김성철;김영진
    • 한국경영과학회:학술대회논문집
    • /
    • 대한산업공학회/한국경영과학회 2000년도 춘계공동학술대회 논문집
    • /
    • pp.717-720
    • /
    • 2000
  • 베어링을 이용한 회전축은 모든 회전축의 근간을 이루고 있다. 이러한 회전축은 발전기 터어빈, 고정밀 공작기계 등에 많이 응용되고 있다. 그런데 이러한 대규모의 회전축에 이상이 생긴 경우, 이상을 방치하고 계속 사용하게 되면 기계전체의 파손을 가져올 수 있다. 이러한 기계전체의 파손이 일어나지 않도록 미리 이상을 진단할 수 있는 시스템을 구축하면 많은 비용을 절감할 수 있다. 지금까지 여러 종류 로터시스템 여러 종류의 이상진단을 시도하여 왔으며 앞으로도 많은 종류의 이상진단이 이루어지리라 생각한다. 다양한 형태의 이상진단은 시스템에서 추출되는 데이터를 통계적으로 처리하는 기법과 추출하는 센서의 특징을 파악하여 이상진단 알고리즘을 수립하는 과정을 망라하게 된다. 특히 이상진단 알고리즘에는 측정된 데이터의 불확실성을 감안한 이론이 적용되어야 한다. 본 논문에서는 로터시스템을 이용한 베어링 진단 유무에 대한 이상진단을 통계적 패턴인식 이용하여 정상과 비정상 상태를 구분하여 여러 종류의 이상을 구분하는 작업수행을 연구하고자한다.

  • PDF

데이터 중심 저장 환경에서 소실 데이터 보정 기법을 이용한 인-네트워크 질의 처리 (In-network Query Processing using the Data-Loss Correction method in Data-Centric Storage Scheme)

  • 이효준;박준호;성동욱;유재수
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2010년도 한국컴퓨터종합학술대회논문집 Vol.37 No.1(D)
    • /
    • pp.337-342
    • /
    • 2010
  • 센서 네트워크에서 발생하는 데이터를 저장하고, 효율적으로 질의를 처리하는 기법에 대한 많은 연구가 이루어지고 있다. 대표적인 연구로 데이터 중심 저장 기법이 있다. 데이터 중심 저장 기법의 경우 질의를 효과적으로 처리하기 위해 수집한 데이터 값에 따라 저장 될 센서 노드를 지정하고, 질의 처리를 위해 질의에 해당하는 데이터를 저장하는 노드에서만 데이터를 수집한다. 하지만 노드의 결함이 발생하면 결함 노드에 저장 되어 있는 전체 데이터가 소실 됨에 따라 질의 결과 정확도가 저하 되는 문제점이 발생한다. 이러한 문제를 해결하기 위해, 본 논문에서는 데이터 중심 저장 기법에서 노드 결함에 따른 데이터 소실이 발생하여도 높은 정확도를 보이는 인-네트워크 질의 처리 기법을 제안한다. 데이터 소실이 발생 하였을 경우 선형 회귀 분석 기법을 이용하여 소실 된 영역에 해당하는 보정 모델을 생성하고, 이를 통해 가상의 데이터를 포함한 질의 결과를 반환한다. 제안하는 기법의 우수성을 보이기 위해 시뮬레이션을 통해 기존의 데이터 중심 저장 기법과 성능을 비교하였으며, 그 결과 평균 98% 이상의 질의 결과 정확도를 보였고, 질의 처리 시 기존 기법에 비교하여 약 80% 이상의 에너지 소모를 감소 시켰다.

  • PDF

시계열기반의 GPS 프로브 자료의 이상치 제거 알고리즘 개발 (A Time Series-based Algorithm for Eliminating Outliers of GPS Probe Data)

  • 최기주;장정아
    • 대한교통학회지
    • /
    • 제22권6호
    • /
    • pp.67-77
    • /
    • 2004
  • 본 연구는 구간검지체계의 GPS 프로브 원시데이터의 1차 기공을 위한 평균화과정에 있어 발생할 수 있는 문제점으로 이상치 문제에 대해 검토하고 있다. 이상치의 미 제거는 구간검지의 수집 및 가공 신뢰도를 저하시킬 수 있으므로 이상치에 대한 부문을 수집 주기별로 판단하여 제거해 주어야 한다. 연구에서는 이상치 제거 알고리즘으로 ARIMA 모형을 적용시켜 실시간적 신뢰구간 추정과정들을 검토해 보았다. 이러한 ARIMA 모형의 적용하기 위해 서울시 10개의 도로구간의 GPS 프로브 기반의 교통데이터에 대하여 모수 추정 기간 등을 변화시키면서 이상치 제거 개수들을 확인하였다. 모든 링크는 IMA(1,1)모형으로 모형이 식별이 되었으며, 모수 추정의 경우 추정기간이 짧아질수록 이상치 제거율이 낮아지는 즉 교통흐름에 보다 민감한 경향을 보이는 결과를 가져왔다. 이상치로 제거된 각 개별 원시 데이터의 확인이 불가하여 모형의 신뢰도 평가는 불가하여 모형의 우수성은 입증되지 못 하였으나 본 연구의 결과 수집 데이터 측면에서의이상치 제거의 모형으로서 시계열 모형이 적절하게 이용 가능할 것으로 판단된다.

뉴로-퍼지 알고리즘을 이용한 이상진단 시스템에 대한 연구 (A Study on Neuro-fuzzy Diagnostic System)

  • 박제현;김영진
    • 한국경영과학회:학술대회논문집
    • /
    • 대한산업공학회/한국경영과학회 2002년도 춘계공동학술대회
    • /
    • pp.871-877
    • /
    • 2002
  • 현재 공작기계의 상당부분에서 자동화 및 무인화가 이루어지고 있는 추세이며, 이러한 대부분의 산업시설들과 기계류에는 회전체 부품들을 가지고 있다. 이들 부품들에서 베어링(Bearing)은 절대적으로 매우 중요한 부분을 차지하고 있으며, 만일 회전축시스템(Rotor System)에 베어링의심각한 이상은 시스템이 정지되는 사태를 불러일으킬 수도 있다. 따라서 이상에 대한 조기 감지의 역할은 전체 시스템의 향상뿐만 아니라, 비용이나 시간적인 측면에서도 크나큰 이익을 가져다 줄 수 있다. 지금까지 이러한 회전축시스템에 대한 다양한 이상진단을 시도하여 왔으며 앞으로도 많은 종류의 이상진단이 이루어지리라 생각한다. 이런 다양한 형태의 이상진단은 시스템에서 추출되는 데이터를 여러 가지 기법과 추출하는 센서의 특징을 파악하여 이상진단 알고리즘을 수립하는 과정을 망라하게 된다. 특히 이상진단 알고리즘에는 측정된 데이터의 불확실성을 감안한 이론이 적용되어야 한다. 본 연구에서는 회전축시스템의 베어링에 대한 이상진단을 통계적 기법, Fuzzy Clustering, Neural network과 Neuro-fuzzy를 이용한 기법과의 상호비교를 통해서 여러 종류의 이상을 구분하는 작업수행을 연구하고자 한다.

  • PDF

차세대 침입탐지에서 이상탐지를 위한 추론 기반 데이터 융합 알고리즘 (Data Fusion Algorithm based on Inference for Anomaly Detection in the Next-Generation Intrusion Detection)

  • 김동욱;한명묵
    • 한국지능시스템학회논문지
    • /
    • 제26권3호
    • /
    • pp.233-238
    • /
    • 2016
  • 본 논문은 차세대 침입탐지 시스템을 위해서 데이터 융합에서의 불확실한 데이터 처리의 알고리즘을 제안한다. 차세대 침입탐지는 사이버 공간에서 생성되어지는 정보를 지식으로 만들어내기 위해 수많은 네트워크 센서로부터의 데이터가 수집되어진다. 수집된 센서 정보를 지식의 수준으로 이끌어내기 위해서 데이터 융합의 과정이 필요하다. 이를 위해 본 논문에서는 Demster-Shafer 증거이론 추론적 기법을 통하여 서로 다른 데이터들의 특징을 분석하여 불확실한 데이터가 어느 구간에서 신뢰구간을 갖는지를 분류하여, 불확실한 데이터에 대한 표현을 이루어낸다. 본 실험내용에서는 이러한 불확실성 데이터에 대한 이상탐지를 위해 iris plant 데이터세트를 이용한 신뢰구간에 따른 분류를 실행하였다. 이에 대해 각 신뢰구간을 통해서 데이터 분류가 가능하다는 것을 검증하였다.

미세먼지 수집·분석·예측 Modeling 구축을 위한 위치선정 및 알고리즘 적합성 검증 방안 연구 (For the establishment of fine dust collection, analysis, and prediction modeling A Study on the Location Selection and Algorithm Conformance Verification Method)

  • 정종진;심흥섭
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2022년도 제66차 하계학술대회논문집 30권2호
    • /
    • pp.373-376
    • /
    • 2022
  • 미세먼지 수집을 위하여 필요한 위치 선정 방안과 위치 선정시 중요한 바람길분석, 수요조사, 유동인구, 교통량 등의 중요 기준을 반영하여 최종 선정하여야 하며, 이에 따라 설치된 측정기로부터 데이터 수집을 위해 지역적, 환경적, 지형적 요소를 감안하여 수집 항목을 결정하여야 한다. 데이터 수집시 실시간 또는 배치(Batch)로 할 것인지 여부를 결정하여야 하며, 이 보고서에서는 실시간으로 데이터 수집하는 경우를 설명하였다. 데이터 수집시 정확도를 높이기 위해 결측값, 이상값인 전처리 단계를 거쳐서 분석과 Modeling 구축을 통하여 정확도가 높은 알고리즘을 선정하여야한다. 정확도가 높은 알고리즘은 검증용 데이터 셋으로 적합성을 검증하여, 측정기 설치 위치의 적합성, 데이터 수집의 적합성, Modeling 구축 및 평가가 적합함을 지표로서 제시하여 적합성 검증을 하고자 한다.

  • PDF

물 공급량 예측을 위한 데이터 마이닝 기법 (Data Mining for Water Supply Forecasting)

  • 신강욱;김연권
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2021년도 추계학술대회
    • /
    • pp.233-235
    • /
    • 2021
  • 본 논문에서는 물 공급량 예측을 위한 다양한 알고리즘 적용에 있어서 데이터 마이닝의 효용성을 검토하고자 하였다. 물 공급분야에 있어서, 물 이용 지역의 특성에 따라 공급량과 이용 시간이 매우 상이한 특성을 나타낸다. 물 이용 지역은 주택지역, 상업지역, 산업단지지역 등 다양한 형태로 분류할 수 있고, 이에 따라 물 이용 시간의 상이함에 따른 물 공급패턴이 일정하지 않게 된다. 특히, 주택지역과 상업지역이 복합적으로 이루어진 경우, 물 이용 단위인 블록 단위에서의 물 특성이 불규칙적인 패턴을 나타낸다. 따라서, 각 블록 단위 특성에 적합한 물 이용량을 예측하여 효율적 물 공급 방안을 마련할 필요가 있다. 또한, 물 이용량 데이터 중 이상 데이타 감지와 이상 데이터 보정을 통하여 물 이용량 예측의 정확도가 향상된다. 따라서, 블록 단위의 물 이용량에 대한 원시데이타의 효율적인 데이터 마이닝 방안이 요구된다. 본 연구에서는 물 공급지역의 특성에 따른 물 공급 패턴을 분석하고, 이에 적합한 데이터 마이닝 기법을 제시하고 비교 분석하였다. 제안된 데이터 마이닝 기법은 딥러닝 예측모델을 적용하여 적합성을 검증하고, 이를 물 공급량 예측알고리즘에 폭넓게 활용될 수 있음을 확인하였다.

  • PDF

가장자리 노드 재전송 기반의 소프트웨어 업데이트 이미지 데이터 전달 프로토콜 (Border Node Re-transmission based Software Updating Image Data Dissemination Protocol)

  • 김정은
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2008년도 춘계학술발표대회
    • /
    • pp.975-978
    • /
    • 2008
  • 무선 센서 네트워크에서 한번 배치된 노드들은 회수가 불가능하기 때문에 버그 수정이나 새로운 기능 추가 등을 위해 OTA 프로그래밍이 개발되었다. OTA 프로그래밍 기법들은 업데이트 이미지 데이터를 네트워크 내 모든 노드에게 전달하는 데이터 전달 프로토콜을 사용하는데, 이러한 프로토콜들은 다수의 수신노드들에게 여러 전송 노드가 동시에 데이터를 전송하고 중첩 영역이 발생함으로써 데이터 충돌 및 전송량이 늘어나 에너지 소모가 증가하게 된다. 이를 해결하기 위해 본 논문에서는 전송노드 선정 알고리즘을 이용한 BNRP 프로토콜을 제안한다. 시뮬레이션 결과 BNRP는 기존 수신 노드 요구 메시지에 의해서 전송 노드가 선정되는 방식보다 평균 11%이상 데이터 전송량이 감소하였고, 노드의 분포 밀집도가 10%인 영역에서는 16%이상 데이터 전송량 감소 결과를 보였다.

시계열을 따르는 공정데이터의 모델 모수기반 이상탐지 (Model Parameter Based Fault Detection for Time-series Data)

  • 박시저;박정술;김성식;백준걸
    • 한국시뮬레이션학회논문지
    • /
    • 제20권4호
    • /
    • pp.67-79
    • /
    • 2011
  • 본 연구에서는 시계열 공정데이터 관리를 위한 모델모수 기반 이상 탐지방법을 제안한다. 일반적인 공정관리에 널리 쓰이는 전통적인 통계적 관리기법의 관리도(SPC chart)는 측정되는 데이터가 특정 분포를 따르며 상관관계가 없는 상황을 가정한다. 따라서 공정데이터 형태가 시계열데이터와 같이 특정분포를 따르지 않고, 자기상관관계를 갖는다면 전통적인 관리도로는 관리에 한계를 보인다. 본 연구는 시계열을 따르는 공정의 이상을 탐지를 위한 MPBC(Model Parameter Based Control-chart) 방법을 제안한다. 제안된 MPBC는 시계열공정을 모델링하고, 모델모수의 변화를 감지하여 공정의 이상을 탐지하는 방법이다. 시계열 공정은 ARMA(p,q) 모델을 가정하며, RLS(Recursive Least Square)를 이용하여 시계열 모델의 모수를 추정하고, 추정된 모수를 $K^2$관리도로 관리한다. 제안된 방법은 기존 알고리즘과 비교하여 시계열 공정 변화 탐지에 우수한 성능을 보였으며 시계열 데이터에 있어서 보다 효율적인 공정관리 방향을 제시한다.