• 제목/요약/키워드: Anomaly detection

검색결과 641건 처리시간 0.021초

심층신경망 모델을 이용한 대기오염망 자료확정 알고리즘 연구 (A Study on the Air Pollution Monitoring Network Algorithm Using Deep Learning)

  • 이선우;양호준;이문형;최정무;윤세환;권장우;박지훈;정동희;신혜정
    • 융합정보논문지
    • /
    • 제11권11호
    • /
    • pp.57-65
    • /
    • 2021
  • 본 논문은 딥 러닝(Deep Learning)을 이용하여 대기오염측정망 데이터 중 특정 증상이 나타나는 이상 데이터를 탐지하는 방법을 제시한다. 기존 방법들은 일반적으로 시계열 데이터 내에서 기존과는 다른 특이한 패턴이 나타나는 데이터를 탐지하여 이상치로 분류하며, 이는 특정 증상만을 탐지하기에는 적합하지 않다. 본 논문에서는 주로 이미지의 전경 분리(Sementic Segmentation)에 사용되는 DeepLab V3+ 모델의 2차원 합성곱 신경망 구조를 1차원 구조로 변형하여 이미지 대신 여러 센서의 시계열 측정값을 입력받고 특정 증상이 나타나는 데이터를 탐지하도록 하는 방법을 제시한다. 또한, 데이터에 '조각별 집계 근사법(Piecewise Aggregate Approximation)'을 적용하여 잡음이 많은 대기오염측정망 데이터의 복잡도를 줄임으로써 성능을 높인다. 실험 결과를 통해 준수한 성능으로 이상치 탐지를 수행할 수 있음을 확인할 수 있다.

수입식품 빅데이터를 이용한 부적합식품 탐지 시스템에 관한 연구 (Study on Anomaly Detection Method of Improper Foods using Import Food Big data)

  • 조상구;최경현
    • 한국빅데이터학회지
    • /
    • 제3권2호
    • /
    • pp.19-33
    • /
    • 2018
  • FTA체결의 증가, 식품교역 증가 및 소비자의 다양한 식품 선호도 등으로 농축수산물 및 가공식품의 수입량은 매년 증가하고 있는 추세이다. 수입식품의 안전성을 확인하는 정밀검사는 전체 수입식품건수 대비 20%정도를 차지하고 계속 증가하고 있는 반면에 정부의 수입안전관리에 필요한 예산과 인력은 그 한계점에 다다르고 있다. 수입식품 안전사고가 발생하게 되면 막대한 사회적, 경제적 손실을 야기할 수 있으므로 수입식품의 수입허용여부를 정확하게 예측하여 선제 대응하는 것은 수입안전관리의 효율성과 경제성을 획기적으로 높일 수 있게 된다. 식품분야에서는 이미 엄청난 양의 정형 데이터가 과거로부터 쌓여 왔으며 이에 대한 충분한 분석을 통한 활용은 아직은 부족한 것이 현실이다. 전체 수입건수와 중량 중에서 차지하는 가공식품의 비중은 평균 75%에 달하고 있어 식품분야에서도 빅데이터의 분석, 분석기법의 적용 등으로 다량의 데이터로부터 의미 있는 정보를 추출하는 과학적이고 자동화된 부적합탐지시스템의 연구가 절실한 상황이다. 이러한 배경에서 본 연구는 기계학습분야의 다양한 부적합 예측 모형을 적용하였으며 예측 모형의 정확도를 개선시키기 위한 방편으로 새로운 파생변수의 생성을 통한 데이터 전처리 방안을 제시하였다. 또한 본 연구에서는 기계학습분야의 일반적인 기저 분류기를 적용하여 예측 모형의 성능을 비교하였으며 여러 기저분류기 중 Gaussian Naïve Bayes예측 모형이 수입식품의 부적합을 탐지하여 예측하는 가장 좋은 성과를 보여주었다. 향후 Gaussian Naïve Bayes 예측 모형을 이용한 부적합 탐지 모형을 적용하여 수입식품의 정밀검사 비중을 낮추고 부적합률을 제고시킴으로써 수입안전관리 국가사무의 효율성과 수입통관의 신속성에 지대한 효과를 거둘 수 있으리라 기대한다.

오토인코더 기반의 외부망 적대적 사이버 활동 징후 감지 (Detection of Signs of Hostile Cyber Activity against External Networks based on Autoencoder)

  • 박한솔;김국진;정재영;장지수;윤재필;신동규
    • 인터넷정보학회논문지
    • /
    • 제23권6호
    • /
    • pp.39-48
    • /
    • 2022
  • 전 세계적으로 사이버 공격은 계속 증가해 왔으며 그 피해는 정부 시설을 넘어 민간인들에게 영향을 미치고 있다. 이러한 문제로 사이버 이상징후를 조기에 식별하여 탐지할 수 있는 시스템 개발의 중요성이 강조되었다. 위와 같이, 사이버 이상징후를 효과적으로 식별하기 위해 BGP(Border Gateway Protocol) 데이터를 머신러닝 모델을 통해 학습하고, 이를 이상징후로 식별하는 여러 연구가 진행되었다. 그러나 BGP 데이터는 이상 데이터가 정상 데이터보다 적은 불균형 데이터(Imbalanced data)이다. 이는, 모델에 학습이 편향된 결과를 가지게 되어 결과에 대한 신뢰성을 감소시킨다. 또한, 실제 사이버 상황에서 보안 담당자들이 머신러닝의 정형적인 결과로 사이버 상황을 인식시킬 수 없는 한계도 존재한다. 따라서 본 논문에서는 전 세계 네트워크 기록을 보관하는 BGP(Border Gateway Protocol)를 조사하고, SMOTE(Synthetic Minority Over-sampling Technique) 활용해 불균형 데이터 문제를 해결한다. 그 후, 사이버 공방(Cyber Range) 상황을 가정하여, 오토인코더를 통해 사이버 이상징후 분류하고 분류된 데이터를 가시화한다. 머신러닝 모델인 오토인코더는 정상 데이터의 패턴을 학습시켜 이상 데이터를 분류하는 성능을 92.4%의 정확도를 도출했고 보조 지표도 90%의 성능을 보여 결과에 대한 신뢰성을 확보한다. 또한, 혼잡한 사이버 공간을 가시화하여 효율적으로 상황을 인식할 수 있기에 사이버 공격에 효과적으로 방어할 수 있다고 전망된다.

합성곱 네트워크 기반의 Conv1D 알고리즘에서 시간 종속성을 반영한 선박 연료계통 장비의 고장 진단 모델 (The Fault Diagnosis Model of Ship Fuel System Equipment Reflecting Time Dependency in Conv1D Algorithm Based on the Convolution Network)

  • 김형진;김광식;황세윤;이장현
    • 한국항해항만학회지
    • /
    • 제46권4호
    • /
    • pp.367-374
    • /
    • 2022
  • 본 연구는 자율운항 선박의 연료 계통 펌프와 청정기를 대상으로 고장을 진단 사례를 제시하였다. 계측된 신호의 시간종속성을 반영한 심층학습(Deep learning) 알고리즘 적용 절차를 구성하고, 장비의 정상 운전상태와 고장 상태에서 계측한 진동 신호를 고장 패턴 학습에 사용하였다. 특히, 진동 신호에 내포된 열화의 시간 종속성을 반영할 수 있는 방법을 찾고자 하였으며, 슬라이딩 윈도우 연산 과정을 가진 Conv1D를 이용하여고장의 시간 종속성을 반영하였다. 또한 계측된 신호의 차수를 2차원에서 3차원으로 확장하여 시간 영역의 특징을 반영할 수 있는 데이터 전처리과정을 고안하였다. Conv1D 알고리즘의 적층과 변수를 결정하는 과정에서 그리드 탐색 기법을 사용하여 초매개변수의 최적 값을 결정하였다. 마지막으로 제안한 데이터 전처리 방법과 시계열 데이터의 시간 종속성을 반영한 Conv1D 모델이 이상 감지 및 고장 진단에 타당성이 있음을 확인하였다.

실시간 이상 행위 탐지 및 시각화 작업을 위한 보안 정보 관리 시스템 구현 (Implementation of Security Information and Event Management for Realtime Anomaly Detection and Visualization)

  • 김남균;박상선
    • 예술인문사회 융합 멀티미디어 논문지
    • /
    • 제8권5호
    • /
    • pp.303-314
    • /
    • 2018
  • 지난 수년간, 정부 기관 및 기업들은 취약성을 악용하고 운영을 혼란시키며 중요한 정보를 훔칠 수 있도록 은밀하고 정교하게 설계된 사이버공격에 대하여 적절한 대응을 못하고 있는 상태이다. 보안정보 및 이벤트 관리(SIEM)는 이러한 사이버 공격에 대응할 수 있는 유용한 도구이지만, 시중에서 판매되고 있는 SIEM 솔루션은 매우 비싸며 사용하기가 어렵다. 그래서 우리는 차세대 보안 솔루션을 제공하기 위한 연구 및 개발을 진행하여 기본적인 SIEM 기능을 구현하게 되었으며 우리는 호스트로 부터 실시간 로그 수집과 집계 및 분석에 중점을 두었다. 이 툴은 포렌식을 위한 로그데이터의 파싱과 검색을 제공한다. 이는 기존의 단순한 로그관리 이외에 침입을 탐지하고 보안이벤트의 순위를 이용하여 사용자에게 경고를 할 수 있다. 이러한 보안정보의 운영과 시각화를 위해 Elastic Stack를 사용하였는데, Elastic Stack은 대량의 데이터로부터 정보를 탐색하고 상관관계를 식별하며 모니터링을 위한 풍부한 시각화를 생성 할 수 있는 유용한 툴이다. 본 논문에서는 취약성으로부터 정보를 수집하는 기능을 SIEM에 추가하는 방식을 제안하였다. 호스트를 공격하며 보안정보관리 체계를 기반으로 모니터링, 경고 및 보안감사에 대한 실시간 사용자의 대응을 확인할 수 있었다.

GEMS 위성관측에 기반한 지면반사도 산출 시에 오차 유발 변수에 대한 민감도 실험 (Sensitivity Experiment of Surface Reflectance to Error-inducing Variables Based on the GEMS Satellite Observations)

  • 신희우;유정문
    • 한국지구과학회지
    • /
    • 제39권1호
    • /
    • pp.53-66
    • /
    • 2018
  • 지면반사도 정보는 열평형 및 환경/기후 모니터링에 중요하다. 본 연구에서는 정지궤도위성의 Geostationary Environment Monitoring Spectrometer (GEMS) 관측에서 300-500 nm 파장 영역의 지면반사도 산출 시에 오차 유발 요소에 대한 민감도를 조사하였다. 장차 GEMS 지면반사도 산출 시에 오차 분석을 위하여 극궤도 위성의 MODerate resolution Imaging Spectroradiometer (MODIS; 공간 해상도 $1km{\times}1km$) 자료 및 Ozone Mapping Instrument (OMI; $12km{\times}24km$) 자료 그리고 복사전달모델 수치실험도 분석에 사용하였다. 본 연구에서 오차 유발 요소는 구름, 레일리 산란, 에어로졸, 오존 그리고 지면 특성이다. GEMS 저해상도($8km{\times}7km$)에서의 구름 탐지율은 MODIS 대비 약 79%이었으나, GEMS 화소의 운량이 40% 이하에서는 상대적으로 낮았다. 이러한 경향은 구름 이외의 다른 효과(에어로졸, 지면 특성)로 인하여 주로 발생하였다. RGB 영상과 복사전달모델 계산을 기초로 조사된 레일리 산란 효과는 육지에 비하여 해양 지역에서 뚜렷하였다. 지면반사도가 0.2보다 작은 경우에 위성관측 대기상단 반사도는 에어로졸 양에 비례하였으나, 0.2보다 큰 경우에는 그 반대 경향을 보였다. 또한 에어로졸 양에 의한 지면반사도 산출 오차는 자외선 영역에서 파장에 따라 급격하게 증가하였으나, 가시광선에서는 일정하거나 다소 감소하였다. 오존 흡수는 자외선 영역(328-354 nm) 중 328 nm에서 가장 크게 나타났다. 지면반사도가 0.15인 육지 경우에 음의 오존전량 아노말리(-100 DU)로 인한 지면반사도 산출 오차는 +0.1이었다. 본 연구는 GEMS 위성관측을 이용한 지면반사도 원격탐사의 정확도를 높이는데 기여할 수 있다.

가스 하이드레이트 부존층의 구조파악을 위한 탄성파 AVO 분석 AVO모델링, AVO역산 (Seismic AVO Analysis, AVO Modeling, AVO Inversion for understanding the gas-hydrate structure)

  • 김건득;정부흥
    • 한국신재생에너지학회:학술대회논문집
    • /
    • 한국신재생에너지학회 2005년도 춘계학술대회
    • /
    • pp.643-646
    • /
    • 2005
  • The gas hydrate exploration using seismic reflection data, the detection of BSR(Bottom Simulating Reflector) on the seismic section is the most important work flow because the BSR have been interpreted as being formed at the base of a gas hydrate zone. Usually, BSR has some dominant qualitative characteristics on seismic section i.e. Wavelet phase reversal compare to sea bottom signal, Parallel layer with sea bottom, Strong amplitude, Masking phenomenon above the BSR, Cross bedding with other geological layer. Even though a BSR can be selected on seismic section with these guidance, it is not enough to conform as being true BSR. Some other available methods for verifying the BSR with reliable analysis quantitatively i.e. Interval velocity analysis, AVO(Amplitude Variation with Offset)analysis etc. Usually, AVO analysis can be divided by three main parts. The first part is AVO analysis, the second is AVO modeling and the last is AVO inversion. AVO analysis is unique method for detecting the free gas zone on seismic section directly. Therefore it can be a kind of useful analysis method for discriminating true BSR, which might arise from an Possion ratio contrast between high velocity layer, partially hydrated sediment and low velocity layer, water saturated gas sediment. During the AVO interpretation, as the AVO response can be changed depend upon the water saturation ratio, it is confused to discriminate the AVO response of gas layer from dry layer. In that case, the AVO modeling is necessary to generate synthetic seismogram comparing with real data. It can be available to make conclusions from correspondence or lack of correspondence between the two seismograms. AVO inversion process is the method for driving a geological model by iterative operation that the result ing synthetic seismogram matches to real data seismogram wi thin some tolerance level. AVO inversion is a topic of current research and for now there is no general consensus on how the process should be done or even whether is valid for standard seismic data. Unfortunately, there are no well log data acquired from gas hydrate exploration area in Korea. Instead of that data, well log data and seismic data acquired from gas sand area located nearby the gas hydrate exploration area is used to AVO analysis, As the results of AVO modeling, type III AVO anomaly confirmed on the gas sand layer. The Castagna's equation constant value for estimating the S-wave velocity are evaluated as A=0.86190, B=-3845.14431 respectively and water saturation ratio is $50\%$. To calculate the reflection coefficient of synthetic seismogram, the Zoeppritz equation is used. For AVO inversion process, the dataset provided by Hampson-Rushell CO. is used.

  • PDF

흙댐의 누수구역 판별을 위한 물리탐사와 온도 모니터링 자료의 해석 (An Analysis of Geophysical and Temperature Monitoring Data for Leakage Detection of Earth Dam)

  • 오석훈;서백수;김중열
    • 한국지구과학회지
    • /
    • 제31권6호
    • /
    • pp.563-572
    • /
    • 2010
  • 흙댐에서의 누수 구역을 판별하기 위해 다채널 연속 온도 모니터링을 수행하고 이를 검증하기 위해 전기비저항 물리탐사를 함께 수행하였다. 일반적으로 댐이나 사면과 같은 인공구조물의 내부는 시간과 위치에 따라 상이한 온도 분포를 갖는 것으로 여겨진다. 이와 같은 분포는 구조물의 안전성을 판단하는 데 매우 중요한 기본 자료로 이용될 수 있으며, 특히 댐 구조물의 경우 과도 침투수나 누수에 의한 위험 대역을 파악할 수 있는 기술로 이용될 수 있다. 그러나 기존의 온도 측정 방식은 대형 구조물의 온도를 연속적으로 동시에 측정할 수 없는 단점을 가지고 있다. 본 연구에서는 이를 극복한 새로운 온도 모니터링 장비를 이용하여 댐의 상부 및 하부에 걸쳐, 여러 지점에서 동시에 온도 분포를 측정하였으며, 실내 시험을 통해 누수 대역이 온도 분포의 이상을 충분히 반영하고 있음을 관측하였다. 또한 대상 댐의 전 구역에 걸쳐 전기비저항 조사를 수행한 결과와 온도 모니터링 자료를 비교 분석하여 누수구역의 판별력을 높일 수 있는 방법을 제시하고자 하였다.

장비점검 일지의 비정형 데이터분석을 통한 고장 대응 효율화 사례 연구 (Unstructured Data Analysis using Equipment Check Ledger: A Case Study in Telecom Domain)

  • 주연진;김유신;정승렬
    • 인터넷정보학회논문지
    • /
    • 제21권1호
    • /
    • pp.127-135
    • /
    • 2020
  • 비정형 데이터의 수집, 분석 그리고 활용에 대한 필요성이 대두되고 있지만 여전히 비정형 데이터를 효과적으로 활용하지 못하고 있는 실정이다. 본 연구에서는 국내 유수 이동통신 기업의 통신 시설장비 점검 시스템에 기록된 비정형데이터를 분석하여 장비고장 대응과 예방에 적극 활용할 수 있는 기반을 만들고자 하였고, 약 220만 건의 작업일지 데이터를 텍스트 마이닝을 통해 구조화/정형화 하였다. 이를 위해 장비 고장과 관련된 4가지 분석 프레임, 고장인지, 고장원인, 고장대상, 조치결과를 구성하였고 분석 결과로는 크게 3가지의 효율화 방안과 관련한 인사이트를 얻을 수 있었다. 첫 번째로는 신속한 조치를 통한 시간 단축을 도모하고, 두 번째로는 고장장비 Unit 수요를 예측하고, 마지막으로 현장 출동의 최소화를 지원할 수 있을 것으로 기대되었다. 결론적으로, 본 사례연구는 통신시설 장비 고장 대응을 위해 데이터 분석 대상을 정형 데이터뿐만 아니라 장비일지라는 비정형 빅데이터로도 범위를 확장했으며, 이를 분석에 활용하기 위해 처음으로 텍스트 마이닝을 시도를 했다는데 의의를 가진다. 또한 N사는 정형 데이터 뿐 만아니라 년 80만 건씩 축적되던 비정형 데이터의 활용 가치를 확인할 수 있던 기회를 가졌으며, 향후 비정형 데이터의 활용 방안에 대한 발전방향 그리고 추후의 정형 데이터와의 연계 분석 방안 등에 대한 가이드를 확보할 수 있었다.

SWI의 신경영상분야의 임상적 이용 (Clinical Applications of Neuroimaging with Susceptibility Weighted Imaging: Review Article)

  • 노근탁;강현구;김인중
    • Investigative Magnetic Resonance Imaging
    • /
    • 제18권4호
    • /
    • pp.290-302
    • /
    • 2014
  • 목적: 자화율 강조 자기공명영상 (Susceptibility-weighted imaging)은 혈액분해산물, 석회화, 철 침착물을 발견하는데 있어 높은 민감도를 보이는 3D spoiled gradient-echo pulse sequence 이다. 본 임상화보는 자화율 강조 자기공명영상의 주된 임상적 적용에 대해 설명하고 논의하는 데에 그 목적이 있다. 대상과 방법: 자화율 강조 자기공명영상은 자기강도영상 (magnitude image)과 위상영상 (phase image)을 이용한 고해상도, 3D fully velocity-compensated gradient-echo sequence 에 기초를 두고 있다. 정맥 구조물의 가시성을 향상시키기 위해, 자기강도영상은 여과된 위상 데이터 (phase data) 로부터 발생된 위상 마스크 (phase mask)를 이용해 증폭되고, 이것은 최소강도투사 (Minimal intensive projection) 알고리즘을 이용한 3D dataset 후처리 과정을 거치게 된다. 3T 자기공명기기에서 SWI를 포함하는 자기공명영상 검사를 시행한 총 200명의 환자를 대상으로 연구하였다. 결과: 자화율 강조 자기공명영상은 다양한 뇌 질환의 발견에 매우 유용하였다. 200명의 환자 중 80명은 선천성 정맥 기형, 22명은 해면상 혈관종, 12명은 다양한 질환에서의 석회화, 21명은 혈관자화 징후 (susceptibility vessel sign) 또는 미세출혈을 동반하는 뇌혈관 질환, 52명은 뇌종양, 2명은 미만성 축삭 손상, 3명은 동정맥 기형, 5명은 뇌경막 동정맥루, 1명은 모야모야병, 그리고 2명은 파킨슨병이 관찰되었다. 결론: 자화율 강조 자기공명영상은 미세 저혈량 혈관성 병변, 석회화 그리고 미세출혈과 다양한 뇌병변의 진단에 유용하다.