• 제목/요약/키워드: 이상치 발견

검색결과 256건 처리시간 0.027초

정상 시계열에서의 이상치 발견과 시계열 모형구축 (Outlier detection and time series modelling in the stationary time series)

  • 이종협;최기헌
    • 응용통계연구
    • /
    • 제5권2호
    • /
    • pp.139-156
    • /
    • 1992
  • 최근에 시계열에서의 이상치 발견을 위한 여러 가지 반복적인 방법들이 소개되었으나 이들 대부분은 시계열의 기저모형이 알려져 있거나 식별될 수 있다는 가정하에서 개발되었다. 그 렇지만 실제로 이상치들이 모형식별을 왜곡 시키거나 심지어는 불가능하게 만드는 경우가 발생한다. 본 논문에서는 두 개의 시계열 관측치 사이의 거리에 근거한 새로운 척도를 이용 한 이상치 탐색 방법을 제시하였다. 특히 이방법은 이상치를 발견하는데 시계열 모형에 의 존하지 않는다. 제안된 통계량에 대한 여러 가지 성질을 밝혔으며 이상치의 형태를 구별하 기 위해 전이함수모형을 이용하였다. 그밖에 이상치를 포함하고 있는 시계열의 모형을 구축 하기 위한 반복적인 절차를 제안했다.

  • PDF

회귀진단에서 이상치와 영향관측치를 동시에 발견하는 새로운 통계량에 관한 연구 (A study of a new statistic for detection of outliers and/or influential observations in regression diagnostics)

  • 강은미
    • 응용통계연구
    • /
    • 제6권1호
    • /
    • pp.67-78
    • /
    • 1993
  • 회귀진단에서 이상치와 영향을 많이 주는 측정치를 발견하는 새로운 통계량을 제안하였다. 이 제안된 통계량은 이상치를 찾는 측도와 영향추정치를 찾는 측도의 가중함으로 해석될 수 있으며, 가중치를 변화시킴으로써 이상치와 영향추정치들을 일목요연하게 찾아낼 수 있다는 장점이 있다. 씨뮬레이션을 이용하여 제안된 통계량의 분포형태를 살펴 보았다.

  • PDF

대규모 궤적 데이타를 위한 데이타 마이닝 툴 (A Data Mining Tool for Massive Trajectory Data)

  • 이재길
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제15권3호
    • /
    • pp.145-153
    • /
    • 2009
  • 궤적(trajectory) 데이타는 실세계 어디에서든지 쉽게 찾아볼 수 있다. 최근 들어, 위성, 센서, RFID, 비디오 및 무선 통신 기술의 발전으로 말미암아 이동 객체를 체계적으로 추적하고, 많은 양의 궤적데이타를 수집할 수 있게 되었다. 이에 따라, 궤적 데이타의 분석에 대한 필요성이 점차 증대되고 있다. 본 논문에서는 대규모 궤적 데이타를 위한 마이닝 툴을 개발한다. 본 마이닝 툴에서는 가장 널리 사용되는 마이닝 연산인 집단화(clustering), 분류(classification), 이상치 발견(outlier detection)을 제공한다. 궤적 집단화는 공통적인 이동 패턴을 발견하며, 궤적 분류는 궤적에 기반하여 이동 객체의 범주를 예측하며, 궤적 이상치 발견은 나머지 궤적들과 크게 다르거나 일관적이지 않은 궤적을 발견한다. 본 마이닝 툴의 가장 큰 장점은 데이타 마이닝 도중에 부분 궤적 정보를 활용한다는 점이다. 본 마이닝 툴의 우수성은 다양한 실제 궤적 데이타 셋을 사용하여 입증되었다. 본 논문의 결과로 궤적 데이타 마이닝을 위한 실용적인 소프트웨어를 개발하였고 많은 실제 응용에 적용될 수 있을 것이라 사료된다.

글로벌 기후 관측자료 품질관리 기법 개발 (Development of quality control techniques for global climate observations)

  • 이재승;김선호;배덕효
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2019년도 학술발표회
    • /
    • pp.104-104
    • /
    • 2019
  • 기후 관측자료의 경우 관측, 가공, 전송 중에 오류가 발생할 수 있으며, 특히 글로벌 기후자료는 다양한 조건을 가지고 있는 자료를 수집하였기 때문에 일반적으로 해당 국가 관측자료보다 품질이 낮다. 본 연구에서는 글로벌 기후 관측자료의 품질을 개선할 수 있는 품질관리 기법을 개발하고 국내 지역에 적용해보고자 한다. 연구대상지역으로 국내 대표도시 7 곳을 선정하였으며, 글로벌 기후자료는 NCDC (National Climatic Data Center)의 일 단위 GSOD (Global Surface Summary of the Day) 자료를 수집하였다. 품질관리는 강수와 기온에 대해서 실시하였으며 과정은 크게 이상치 검사, 이상치 및 결측치 보정, 연, 월 단위 기후 자료 산정으로 구분된다. 이상치 검사는 중복성 검사, 내적일치성 검사, 기후범위 검사, 공간동질성 검사를 기반으로 구성되어 있다. 이상치 및 결측치 보정은 인접 관측소의 자료를 보간하여 수행하였으며, 보간기법은 4 방향 역거리 가중법을 활용하였다. 연, 월 단위 자료 산정은 자료의 결측률을 고려하여 일 단위 자료를 연, 월 단위 자료로 변환하는 과정이다. 이상치 검사 결과 대부분의 이상치는 기후범위와 공간동질성 검사에서 발견되는 것으로 나타났으며, 중복성 및 내적일치성 검사는 이상치 검출 효과가 적은 것으로 나타났다. 결측치 및 이상치 보간 결과 추정된 자료와 관측값 간의 상관관계가 있는 것으로 나타나 활용성이 있었다. 본 연구는 글로벌 자료의 품질관리 기법을 제시하였다는 점에서 활용성이 있으며, 향후 품질관리 기법의 검증에 관한 연구를 수행할 필요가 있다.

  • PDF

국가 수문자료 품질관리시스템 이상치 점검 기법 보완 (Complement Standard Outlier Detection of National Quality Control System Hydrological Data)

  • 조혜린;박희성;김형섭
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2017년도 학술발표회
    • /
    • pp.470-470
    • /
    • 2017
  • 우리나라는 2007년부터 국토교통부 주도하에 관측소별 수문자료 품질관리시스템을 구축하여 강수량, 수위 수문자료를 축척 및 유관기관에 제공하고 있다. 또한 관측소 장비의 오작동 및 주변환경의 영향으로 수문자료에서 이상치 자료가 발견되는 것에 대해서도 자동 및 수동 품질관리 기법을 활용하여 보정하고 있다. 수문자료에 대한 신뢰도와 일관성을 확보하기 위해 이상치 점검 기법에 대한 지속적인 보완 및 개선이 필요하다. 본 연구에서는 기 구축된 수문자료 품질관리시스템에서 이상치 점검에 대한 추가 기법을 조사 및 현 시스템에 적용하여 품질관리의 신뢰도를 향상시키고자 한다. 이를 통해 각 수문자료 관측소에 맞는 품질관리시스템을 지원함으로써 수문자료의 손실을 최소화하고 신뢰도를 향상시키는데 기여할 것으로 기대된다.

  • PDF

동적 그림을 이용한 이상치 검색 (Outlier Detection Using Dynamic Plots)

  • 안병진;서한손
    • 응용통계연구
    • /
    • 제24권5호
    • /
    • pp.979-986
    • /
    • 2011
  • 선형회귀모형분석은 방법의 간편성과 높은 적용성에 의해 다양한 종류의 자료 분석에 활용되고 있다. 하지만 자료에 이상치가 포함되는 경우 이에 민감하게 영향을 받게 되므로 의심되는 관찰치를 찾아서 이상치 여부를 검토하는 것이 중요하다. 그러나 이상치를 탐지하는 방법의 대부분은 가면화 효과 등 이상치로부터 영향을 받아 정확하게 이상치를 발견하지 못하는 경우가 있다. 본 연구에서는 이를 개선하기 위하여 동적 잔차도를 활용한 방법을 제안한다. 제안된 방법은 종속적 이상치탐지방법을 사용할 때 다양한 기초군을 제공하는데 유용하며 결과적으로 정확한 이상치군을 탐지하게 되는 것을 예를 통해 검증한다.

LSTM 오토인코더를 활용한 축산 환경 시계열 데이터의 이상치 탐지: 경계값 설정에 따른 성능 비교 (Anomaly Detection in Livestock Environmental Time Series Data Using LSTM Autoencoders: A Comparison of Performance Based on Threshold Settings)

  • 정세연;김상철
    • 스마트미디어저널
    • /
    • 제13권4호
    • /
    • pp.48-56
    • /
    • 2024
  • 축산업에서 환경의 이상치 탐지와 데이터 예측은 매우 중요한 과제이다. 대부분 시계열 데이터로 수집되는 축산 환경 데이터의 이상치는 급격한 생육환경의 변화와 예상치 못한 전염병의 징후를 나타낼 수 있으므로 이상치를 빠르게 탐지하는 것이 중요하다. 이상치의 빠른 탐지와 효과적인 대응은 가축의 스트레스를 최소화하고 전염병 발생 환경을 조기에 발견하여 농가의 경제적인 손실을 감소시키는 역할을 할 수 있다. 본 연구에서는 축산환경 데이터의 이상치 탐지 분야에서 이상치를 규정하는 경계값(Threshold) 설정에서 두 가지 설정 방법을 이용하여 실험하고 성능을 비교하였다. Mean Squared Error(MSE)를 활용한 이상치 탐지 방법과 Dynamic Threshold를 이용한 이상치 탐지 방법을 이용하여 이를 통해 주어진 이전 데이터의 평균값과의 변동성을 분석하여 이상 상황을 식별하는 연구를 진행하였다. MSE를 활용한 이상치 탐지 방법은 94.98% 정확도를 보였고 표준편차를 활용한 Dynamic Threshold 방법은 99.66%정확도로 성능이 더 우수함을 확인할 수 있었다.

다중빔 음향측심기 자료의 이상치 보정에 관한 연구 (A Study on Outlier Adjustment for Multibeam Echosounder Data)

  • 이정숙;김수영;이용국;신동완;주형태;김한준
    • 한국해양학회지:바다
    • /
    • 제6권1호
    • /
    • pp.35-39
    • /
    • 2001
  • 해저면의 지형과 형상을 조사하기 위해 획득되는 다중빔 음향측심자료는 조사선의 움직임과 빔의 위치에 따른 음압의 보정부족 등에 기인하는 이상치를 포함하고 있다. 이 연구에서는 자기회귀이동평균(ARMA)기법을 이용하여 이상치에 의해 왜곡된 자료를 보정해주는 통계학적 절차를 소개하고 이를 동해에서 얻어진 자료에 적용하였다. 이 방법에서는 자료의 자기 상관을 1차 자기회귀모형 AR(1)으로 표현하고 이를 추정한 후 추정된 모형에 현저하게 부합하지 않는 자료(이상치)는 추정된 모형을 인용하여 수정한다. 이러한 방법을 이상치가 발견되지 않을 때까지 반복적으로 되풀이한다. 자료의 처리결과 해저지형을 나타내는 신호에 비해 월등히 큰 이상치들이 대부분 제거되었음을 볼 수 있다.

  • PDF

유치열의 이중치 및 결손치의 발생빈도와 영구치열과의 상호관계 (THE PREVALENCE OF DOUBLE TEETH AND CONGENITAL MISSING TEETH IN PRIMARY DENTITION AND THEIR CORRELATION WITH THE PERMANENT DENTITION)

  • 양규호;임혜정;최남기;김선미
    • 대한소아치과학회지
    • /
    • 제34권3호
    • /
    • pp.447-453
    • /
    • 2007
  • 본 연구는 유치열에서 치아기형 발생빈도와 영구치열에 미치는 영향을 조사하여 치아기형의 조기진단의 필요성을 평가하기 위한 것이다. 2000년도에서 2005년까지 전남대학교병원에 내원한 환자 중 파노라마 방사선 사진을 촬영한 2세에서 7세 사이의 어린이를 조사하여 유치열에서 이중치와 선천적 결손치의 유병율을 조사하고 그러한 유치열의 이상과 영구치열과의 상호관계를 조사하였다. 134명의 남아와 120명의 여아로 총 254명의 파노라마 필름을 조사하였으며 이중 8명(5명의 남아, 3명의 여아)에서 유치열에서의 결손치가 발견되었고 4명(2명의 남아, 2명의 여아)에서 유치열에서의 이중치가 발견되었다. 유치열에서 이중치의 유병율은 1.6%였으며 선천적 결손치의 유병율은 3.1%였다. 피검자 중1명은 하악의 이중치와 상악의 결손치를 가지고 있었다. 유치열의 이상이 나타난 11명 중 7명에서 계승 영구치의 결손이 발견되었다. 본 연구에서 유치열의 치아기형이 나타난 경우 계승 영구치에서 치아결손이 빈발할 수 있다는 것을 보여주었다.

  • PDF

대구치-절치 형태이상 환자의 임상적 치료 및 단기 예후: 증례 보고 (Clinical Management and Short-term Prognosis of Molar-Incisor Malformation Affected Patients: Case Reports)

  • 김효진;임수민;김진영
    • 대한소아치과학회지
    • /
    • 제49권1호
    • /
    • pp.121-130
    • /
    • 2022
  • 대구치-절치 형태이상(MIM)은 비교적 최근에 보고되고 있는 치아의 형태 이상으로, 주로 제1대구치의 치근, 제2유구치의 치근, 상악 중절치의 치관에 형태이상이 나타난다. MIM을 일으키는 원인에 대해서는 아직 정확하게 밝혀진 바가 없으나, 공통적으로, 조산을 포함한 생 후 1 - 2년 이내에 발생한 의학적 병력을 가진다. MIM에 영향을 받은 제1대구치는 임상적으로 정상적인 치관 형태를 가지므로, 정확한 진단을 위해서는 방사선학적 검사가 꼭 필요하다. 주로 대구치 부위의 극심한 통증과 붓기를 주소로 내원하여 발견되는 경우가 많으며, 염증이 심하지 않고, 치근의 형태 이상이 비교적 양호한 경우에는 근관치료를 시도해 볼 수 있다. 그러나 치근주위 염증이 상당히 진행되어 광범위한 치조골 소실이 관찰되는 경우 발치가 불가피하다. 발치를 해야 하는 경우에는 발치 시기와 제3대구치의 존재 여부를 고려해야 하며, 추후 안정적인 교합을 위해서 적절한 공간 관리와 장기적인 계획이 필요하다. MIM 환자들은 혼합치열기에 있으므로, 정확한 진단과 시기에 맞는 적절한 치료가 중요하다. 이번 증례에서는 두 명의 MIM 어린이의 치료과정과 치료 후 2년의 경과에 대하여 보고하는 바이다.