• 제목/요약/키워드: 이상치탐지

검색결과 141건 처리시간 0.039초

대형 데이터에서 VIF회귀를 이용한 신속 강건 변수선택법 (Fast robust variable selection using VIF regression in large datasets)

  • 서한손
    • 응용통계연구
    • /
    • 제31권4호
    • /
    • pp.463-473
    • /
    • 2018
  • 연구에서는 선형회귀모형을 가정한 대형 데이터에서의 변수선택 알고리즘을 다룬다. 방법의 속도와 강건성에 주안점을 둔 여러 알고리즘들이 제안되었다. 그 중에서 streamwise 회귀 접근법을 사용한 VIF회귀는 신속하고 정확하게 수행된다. 그러나 VIF회귀는 최소제곱방법에 의해 모형이 추정되므로 이상치에 민감하다. 변수선택방법의 강건성을 높이기 위해 가중 추정치를 사용한 강건측도가 제안되었으며 강건 VIF회귀도 제안되었다. 본 연구에서는 잠재적 이상치를 탐지하여 제거한 후 VIF회귀를 수행하는, 빠르고 강건한 변수선택 방법을 제안한다. 제안된 방법은 모의실험과 데이터 분석 통해 다른 방법들과 비교된다.

클라우드 기반 선박 이기종 통신 시스템 신뢰성 확보에 대한 연구

  • 김동현;김현주;이병훈
    • 한국항해항만학회:학술대회논문집
    • /
    • 한국항해항만학회 2022년도 추계학술대회
    • /
    • pp.286-288
    • /
    • 2022
  • 선박의 여러 시스템 중 데이터 통합플랫폼과 화물의 고박센서를 통합 이상치 탐지는 선박의 운항 지원 및 안전에 중요한 역할을 한다. 이 연구에서는 데이터 통합플랫폼과 화물의 고박센서 기반 시스템등의 이기종 통신 시스템의 신뢰성 검증을 위한 시뮬레이터를 개발하고 분석하였고, 관련 절차서를 연구하였다.

  • PDF

FMCW Radar를 이용한 선박 탐지 및 추적 기법 구현 (Algorithm Implementation for Detection and Tracking of Ships Using FMCW Radar)

  • 홍단비;양찬수
    • 한국해양환경ㆍ에너지학회지
    • /
    • 제16권1호
    • /
    • pp.1-8
    • /
    • 2013
  • 본 연구에서는 FMCW 레이더를 이용해 수평적인 해상 감시를 위한 선박 탐지 및 추적 기법을 개발하였다. FMCW레이더는 일반적으로 웜업(warm-up) 시간이 짧고 날씨나 대기상태에 영향을 받지 않으며 가볍고 사용 편의성이 높기 때문에 해상 감시 분야에서 중요한 역할을 할 수 있다. 본 논문에서는 X-밴드 FMCW 레이더의 데이터 처리 기법과 선박 탐지 및 추적 알고리듬 구현 결과를 소개한다. 선박 탐지는 원시자료(spoke)에서 합성된 프레임 데이터를 사용하여 육지부분을 제거한 후 형태학적 처리 기법을 이용한 임계치가 적용되었다. 선박의 추적은, 선박의 예상 최대선속(19 kn)과 프레임간의 시간간격(5 sec)을 고려하여 다음 프레임에서의 선박의 위치를 예상하는 탐색창(search-window)을 사용하였다. 평택항에서 실시된 실험에서 실제 운항중인 다섯 척의 선박이 사용되었으며, 이중 25 m 이상인 선박의 경우 완벽하게 탐지되었고, 소형 어선의 경우 평균적으로 85.38%의 탐지율을 보였다. 어선의 낮은 탐지율은 부이 주변을 항해할 때 주로 발생하였으며, 재질이 유리섬유강화플라스틱(FRP)이며 선박 높이가 낮은 것이 원인으로 판단된다. 추적기법에 의한 결과와 선박자동식별장치(Automatic Identification System) 비교를 통해 각 선박의 추적은 잘 이루어진 것으로 확인되었으며, 추적률은 평균적으로 95.12%이었으며, 길이 25 m 이상 선박의 추적률은 100%이었다. 향후 소형어선에 대한 탐지와 추적기법 향상을 위한 알고리듬 개선이 요구된다.

미세 공정산포 관리를 위한 Zp-s관리도 설계 (Design of Zp-s Control Chart for Monitoring Small Shift of Process Variance)

  • 김종걸;김창수;엄상준;윤혜선
    • 대한안전경영과학회:학술대회논문집
    • /
    • 대한안전경영과학회 2013년 추계학술대회
    • /
    • pp.199-207
    • /
    • 2013
  • 산업의 빠른 발전 속도에 따라 연구 개발도 함께 발전해야 한다. 따라서 현재 제조공정에 대한 품질 특성치의 분석방법으로 공정 모수의 작은 변화도 쉽게 탐지를 할 수 있는 EWMA 관리도와 Shewhart 관리도보다 공정 변화에 민감하게 탐지 가능한 CUSUM 관리도에 관한 연구가 많이 이루어지고 있다. 하지만 식스시그마 공정관리에 맞춘 평균, 불량률, 미세 분산을 동시에 감지할 수 있는 동시 관리 체계 연구는 많이 미흡하다. 본 연구에서는 기존의 CUSUM, EWMA 관리도 기법보다 빠른 이상 감지를 위해서 평균, 불량률, 분산 3가지가 동시에 관리되어질 수 있도록 Zp-s 관리도를 소개한다. Zp-s 관리도는 ARL을 통해 기존 관리도보다 민감함을 확인할 수 있다.

  • PDF

LBG 알고리즘 기반 데이터마이닝을 이용한 네트워크 침입 탐지율 향상 (Improvement of Network Intrusion Detection Rate by Using LBG Algorithm Based Data Mining)

  • 박성철;김준태
    • 지능정보연구
    • /
    • 제15권4호
    • /
    • pp.23-36
    • /
    • 2009
  • 네트워크 침입 탐지는 데이터마이닝 기법을 활용하면서 지속적으로 발전하여 왔다. 데이터마이닝에 의한 침입 탐지 기법에는 클래스 레이블을 이용한 감독 학습과 클래스 레이블이 없는 비감독 학습 방법이 있다. 본 논문에서는 클래스 레이블이 없는 비감독 학습 방법인 LBG 클러스터링 알고리즘을 이용하여 네트워크 침입 탐지 정확도를 높이는 방법을 연구하였다. 임의의 초기 중심값들로 시작하여 유클리디언 거리 기반에 의해 클러스터링을 수행하는 K-means 방법은 잡음(noisy) 데이터와 이상치(outlier)에 대하여 취약하다는 단점이 있다. 비균일이진 분할에 의한 클러스터링 알고리즘은 초기값 없이 이진분할에 의해 클러스터링을 수행하며 수행 속도가 빠르다. 본 논문에서는 이 두 알고리즘의 장단점을 통합한 EM(Expectation Maximization) 기반의 LBG 알고리즘을 네트워크 침입 탐지에 적용하였으며, KDD 컵 데이터셋을 대상으로 한 실험을 통하여 LBG 알고리즘을 이용함으로써 침입 탐지의 정확도를 높일 수 있음을 보였다.

  • PDF

Novelty detection을 이용한 BIM객체와 IFC 클래스 간 매핑의 무결성 검토에 관한 연구 (Applying Novelty Detection for Checking the Integrity of BIM Entity to IFC Class Associations)

  • 구본상;신병진
    • 한국건설관리학회논문집
    • /
    • 제18권6호
    • /
    • pp.78-88
    • /
    • 2017
  • 건설사업의 생애주기 단계별로 BIM의 활용도가 다양해지면서 이를 위한 전문화된 소프트웨어가 증가하고 있다. 이들 소프트웨어 간 BIM 정보 교환 시 상호호환성이 중요하며, 이때 국제표준 포맷인 IFC 데이터 모델을 채택하고 있다. 그러나 BIM 데이터를 IFC로 변환하기 위해서는 개별 객체에 IFC 클래스를 매핑해야 하는데, 현재까지 본 작업은 수동 작업으로 이뤄지고 있어, 매핑 상의 오류나 누락이 발생하게 된다. 본 연구에서는 BIM 객체 및 IFC 클래스 간 매핑의 무결성 검증을 위해 이상탐지분석 기법 중 하나인 Novelty detection을 적용하였다. 동일한 IFC 클래스의 객체들은 기하형상이 유사하다는 전제하에. 매핑이 잘못된 객체를 이상치로 판별하고자 하는 것이다. 3개의 BIM모델로부터 IFC 클래스별로 객체를 분류한 후 이 중 2개의 IFC 클래스(벽체 및 문)에 대해 one-class SVM을 학습시키고 검증하였다. 분석한 결과 총 160개의 이상치 중 141개를 정확하게 분류하여 이상치 판별능력이 높게 나왔다. Novelty detection 기법은 다중 경계면을 형성하고 사전적 학습이 가능하다는 점에서 높은 예측력을 발휘하여, 기존 방식이나 타 알고리즘보다 매핑 오류를 검증하는데 더 적합한 방법인 것으로 확인되었다.

인공위성 해수면온도 자료를 이용한 동해 연안 냉수대 탐지 알고리즘 개발 (Detection of Cold Water Mass along the East Coast of Korea Using Satellite Sea Surface Temperature Products)

  • 최원준;양찬수
    • 대한원격탐사학회지
    • /
    • 제39권6_1호
    • /
    • pp.1235-1243
    • /
    • 2023
  • 한국해양과학기술원에서 생산하여 공개하고 있는 다종 위성 기반의 해수면온도(Sea surface temperature) 자료를 이용하여 동해안 냉수대(Cold water mass) 해역을 탐지하는 알고리즘을 개발하였다. 본 연구에서는 냉수대의 분포를 고려하여 동해안을 3개 해역("고성-울진", "삼척-구룡포", "포항-기장")으로 구분하였다. 각 해역에 K-means clustering 기법을 적용하여 3개 그룹으로 나누고 3개의 그룹은 평균 수온이 높은 순서대로 Group 1, Group 2, Group 3로 칭한다. 수온이 가장 낮은 집합인 Group 3는 냉수대 특성을 나타내는 2가지(각 해역 표준 편차와 Group 1과 Group 3의 평균 수온 차이)의 임계치가 적용되고 탐지 해역내 표준편차가 0.6℃ 이상이고 그룹별 평균 수온 차이가 2℃ 이상일 경우 Group 3을 냉수대로 판단한다. 2022년도 탐지 결과, "포항-기장"은 77일로 가장 많이 탐지되었으며 정량적인 평가를 위해 혼동행렬 성능지표를 계산하였다. 동해안 3곳 해역의 평균 정확도(Accuracy)는 0.83 이상으로 나타났고 F1 score는 "포항-기장"에서 최대 0.95이었다. 본 연구에서 제안한 탐지 알고리즘을 적용하여 보다 구체적인 냉수대 해역의 공간 분포를 매일 이메일 서비스로 제공하고 있다.

USN 기반의 화재감시 응용을 위한 센서 데이터 처리 시스템 (A Sensor Data Management System for USN based Fire Detection Application)

  • 박원익;김영국
    • 한국컴퓨터정보학회논문지
    • /
    • 제16권5호
    • /
    • pp.135-145
    • /
    • 2011
  • 오늘날 센서 기술의 발전 및 보급으로 인해 USN 기반의 실시간 모니터링 응용에서의 센서 데이터 처리 시스템에 대한 연구가 활발히 진행 되고 있다. 센서 데이터는 시간에 따라 빠르게 변화하고 연속적인 저수준 상태의 방대한 양의 데이터를 생성하는 특성을 갖는다. 하지만 엔드유저는 상대적으로 고수준 상태의 데이터에 관심이 있기 때문에 빠르게 변화하고 연속적인 대량의 저수준 센서 데이터를 효과적으로 처리하는 시스템이 필수적이다. 본 논문에서는 USN 기반의 화재감시 응용에서 OLAP(On-Line Analytical Processing) 기술을 이용한 다차원 분석 질의 처리 기능과 학습기반 분류기를 통한 이상치 탐지 기능을 제공하는 센서 데이터 처리 시스템을 제안한다. 실험 시나리오를 통해 우리의 센서 데이터 처리 시스템에 대한 타당성을 검증하며 실험에 필요한 다양한 센서 데이터는 자체 개발한 센서 데이터 생성기를 이용한다.

펫 헬스 케어 서비스를 위한 GATs 기반 센서 데이터 처리 기법 설계 (Design of Sensor Data's Missing Value Handling Technique for Pet Healthcare Service based on Graph Attention Networks)

  • 이지훈;문남미
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 춘계학술발표대회
    • /
    • pp.463-465
    • /
    • 2021
  • 센서 데이터는 여러가지 원인으로 인해 데이터 결측치가 발생할 수 있으며, 결측치로 인한 데이터의 처리 방식에 따라 데이터 분석 결과가 다르게 해석될 수 있다. 이는 펫 헬스 케어 서비스에서 치명적인 문제로 연결될 수 있다. 따라서 본 논문에서는 펫 웨어러블 디바이스로부터 수집되는 다양한 센서 데이터의 결측치를 처리하기 위해 GATs(Graph Attention neTworks)와 LSTM(Long Short Term Memory)을 결합하여 활용한 데이터 결측치 처리 기법을 제안한다. 펫 웨어러블 디바이스의 센서 데이터가 서로 연관성을 가지고 있다는 점을 바탕으로 인접 노드의 Attention 수치와 Feature map을 도출한다. 이후 Prediction Layer 를 통해 결측치의 Feature 를 예측한다. 예측된 Feature 를 기반으로 Decoding 과정과 함께 결측치 보간이 이루어진다. 제안된 기법은 모델의 변형을 통해 이상치 탐지에도 활용할 수 있을 것으로 기대한다.

연안 환경에서 클러터에 강인한 능동소나 탐지 알고리듬 (A robust detection algorithm against clutters in active sonar in shallow coastal environment)

  • 장은정;권성철;오원천;이정우;신기철;김주호
    • 한국음향학회지
    • /
    • 제38권6호
    • /
    • pp.661-669
    • /
    • 2019
  • 연안 환경에서 소형 표적의 탐지에는 고주파 능동소나가 적합하다. 연안 환경에서 고주파 능동소나를 사용할 경우 해양 생물 소음, 선박 소음, 항적 등에 의한 클러터로 인하여 오경보율이 매우 높다. 본 논문에서는 연안 환경에서 능동 소나에서 클러터에 강인한 탐지 알고리듬을 제안한다. 제안된 알고리듬은 측정치 추출 시 신호의 통계적인 특징을 이용하는 Constant False Alarm Rate(CFAR)와 클러스터링 알고리듬을 이용하여 클러터 제거율을 높인다. 제안 된 탐지 알고리듬은 해상 시험을 통하여 검증하였으며, 약 96 % 이상의 클러터를 제거하였다.