• Title/Summary/Keyword: 이상

Search Result 105,363, Processing Time 0.085 seconds

A Multiple Imputation for Reducing Outlier Effect (이상점 영향력 축소를 통한 무응답 대체법)

  • Kim, Man-Gyeom;Shin, Key-Il
    • The Korean Journal of Applied Statistics
    • /
    • v.27 no.7
    • /
    • pp.1229-1241
    • /
    • 2014
  • Most of sampling surveys have outliers and non-response missing values simultaneously. In that case, due to the effect of outliers, the result of imputation is not good enough to meet a given precision. To overcome this situation, outlier treatment should be conducted before imputation. In this paper in order for reducing the effect of outlier, we study outlier imputation methods and outlier weight adjustment methods. For the outlier detection, the method suggested by She and Owen (2011) is used. A small simulation study is conducted and for real data analysis, Monthly Labor Statistic and Briquette Consumption Survey Data are used.

The Distribution of Regional Unusual Temperature Korea (한국의 지역별 이상기온의 분포 특성과 그 지역구분)

  • Heo, In-Hye
    • Journal of the Korean association of regional geographers
    • /
    • v.12 no.4
    • /
    • pp.461-474
    • /
    • 2006
  • This paper aims to analyze regional characteristics of unusual temperature events on summer and winter. The major data used in this study are the daily mean temperature of summer (June-August) and winter (December-February) and wind field on 850 hPa height. Regions of unusual temperature are divided into five regions by the monthly frequency of unusual temperature occurrence. The divided regions are following as: the middle east coastal region (I) where the summer unusual high temperature occurrence frequency is highest; the Gyunggi west coastal and northern middle inland region (II) where winter unusual low temperature occurrence frequency is highest and winter unusual high temperature occurrence frequency is low; the western middle and south region (III) where unusual temperature occurrence ratio is not concentrated on specific season; the forest and southern east region (IV) where unusual high temperature is low; and the south coastal and Jeju island region (V) where winter unusual high temperature is highest.

  • PDF

Outlier Data Clustering using Factor Score (인자 점수를 이용한 이상치 데이터의 군집화)

  • 전성해;임민택;오경환
    • Proceedings of the Korean Institute of Intelligent Systems Conference
    • /
    • 2002.05a
    • /
    • pp.77-80
    • /
    • 2002
  • 이상치를 포함한 학습 데이터의 군집화 전략은 일반적으로 이상치를 포함하여 학습하거나, 이상치를 제거하는 두 가지 선택이 가능하다. 이상치를 제거하지 않고 학습에 반영시켜야 할 경우 한 개 또는 소수의 이상치가 독자적인 군집을 형성하거나 객관적인 군집화를 방해하는 문제가 발생할 수 있다. 이 때 주어진 학습 데이터의 군집 결과가 이상치의 영향으로부터 벗어나기 위해 원래의 학습 데이터에 대한 변환 작업을 거친 후 군집화를 수행할 수 있다. 이러한 변환 방법으로서 본 논문에서는 차원 축소의 기법으로 알려진 인자 분석의 점수를 사용하였다. 인자 점수로 변환된 학습 데이터에 대해 계층적 군집화, K-means 그리고 자기조직화 지도 등과 같은 군집화 알고리즘을 적용하면 이상치가 자신만의 군집을 별도로 형성하지 않고 다른 학습 데이터의 군집에 소속되면서 이상회의 영향으로부터 벗어남을 실험을 통하여 확인하였다.

  • PDF

A Study on Neuro-fuzzy Diagnostic System (뉴로-퍼지 알고리즘을 이용한 이상진단 시스템에 대한 연구)

  • Park Je-Hyun;Kim Yeom Jin
    • Proceedings of the Korean Operations and Management Science Society Conference
    • /
    • 2002.05a
    • /
    • pp.871-877
    • /
    • 2002
  • 현재 공작기계의 상당부분에서 자동화 및 무인화가 이루어지고 있는 추세이며, 이러한 대부분의 산업시설들과 기계류에는 회전체 부품들을 가지고 있다. 이들 부품들에서 베어링(Bearing)은 절대적으로 매우 중요한 부분을 차지하고 있으며, 만일 회전축시스템(Rotor System)에 베어링의심각한 이상은 시스템이 정지되는 사태를 불러일으킬 수도 있다. 따라서 이상에 대한 조기 감지의 역할은 전체 시스템의 향상뿐만 아니라, 비용이나 시간적인 측면에서도 크나큰 이익을 가져다 줄 수 있다. 지금까지 이러한 회전축시스템에 대한 다양한 이상진단을 시도하여 왔으며 앞으로도 많은 종류의 이상진단이 이루어지리라 생각한다. 이런 다양한 형태의 이상진단은 시스템에서 추출되는 데이터를 여러 가지 기법과 추출하는 센서의 특징을 파악하여 이상진단 알고리즘을 수립하는 과정을 망라하게 된다. 특히 이상진단 알고리즘에는 측정된 데이터의 불확실성을 감안한 이론이 적용되어야 한다. 본 연구에서는 회전축시스템의 베어링에 대한 이상진단을 통계적 기법, Fuzzy Clustering, Neural network과 Neuro-fuzzy를 이용한 기법과의 상호비교를 통해서 여러 종류의 이상을 구분하는 작업수행을 연구하고자 한다.

  • PDF

Research on Normalizing Flow-Based Time Series Anomaly Detection System (정규화 흐름 기반 시계열 이상 탐지 시스템 연구)

  • Younghoon Jeon;Jeonghwan Gwak
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2023.07a
    • /
    • pp.283-285
    • /
    • 2023
  • 이상 탐지는 데이터에서 일반적인 범주에서 크게 벗어나는 인스턴스 또는 패턴을 식별하는 중요한 작업이다. 본 연구에서는 시계열 데이터의 특징 추출을 위한 비지도 학습 기반 방법과 정규화 흐름의 결합을 통한 이상 탐지 프레임워크를 제안한다. 특징 추출기는 1차원 합성곱 신경망 기반의 오토인코더로 구성되며, 정상적인 시퀀스로만 구성된 훈련 데이터를 압축하고 복원하는 과정을 통해 최적화된다. 추출된 시계열 데이터의 특징 맵은 가능도를 최대화하도록 훈련된 정규화 흐름의 입력으로 사용된다. 이와 같은 방식으로 훈련된 이상 탐지 시스템은 테스트 샘플에 대한 이상치를 계산하며, 최종적으로 임계값과의 비교를 통해 이상 여부를 예측한다. 성능 평가를 위해 시계열 이상 탐지를 위한 공개 데이터셋을 이용하여 공정하게 이상 탐지 성능을 비교하였으며, 실험 결과는 제안하는 정규화 흐름 기법이 시계열 이상 탐지 시스템에 활용될수 있는 잠재성을 시사한다.

  • PDF

Evaluation of applicability of Hampel Filter to outlier check for river water level data (하천수위 자료 이상치 점검에 대한 Hampel 필터의 적용성 평가)

  • Park, Heeseong;Kim, Hyoung Seop
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2022.05a
    • /
    • pp.352-352
    • /
    • 2022
  • 수위자료는 기초 수문자료의 하나로서 자료 수집시 이에 대한 품질관리가 반드시 필요하다. 이 과정에서 이상치 여부를 점검하여 이상치로 확인된 경우 소거하거나 수정하는 등의 처리를 해야 한다. 수위자료의 이상치 점검에는 다양한 방법이 있지만 아직 일반화된 방법은 없다. 이에 다양한 방법에 대한 적용가능성을 평가해 볼 필요가 있다. Hampel 필터는 신호처리 시 신호의 이상치를 찾아 보완하려고 개발된 필터이다. 시계열자료에서 이상치를 감지하는 고전적인 접근 방법은 이동평균과 이동표준편차를 이용하는 것이지만 고전적인 이동평균과 이동표준편차는 이상치의 영향을 받는다. 이에 따라 이상치의 추정이 어렵게 되는 경우가 있다. 이에 반하여 Hampel 필터는 이동평균 및 이동표준편차 대신 중앙값과 중앙값 절대편차(Median Absolute Deviation; MAD)를 이용함으로써 더 나은 결과를 얻을 수 있다. Hampel 필터는 신호처리용으로 개발되었기 때문에 부드러운 Sine 곡선에 적합할 것으로 보이며, 이미 하천수위 변화보다는 부드러운 변화를 보이는 저수지수위의 이상치를 점검하기 위해 사용되고 있다. 하지만 변화가 급격하고 첨두가 발생하는 하천의 수위에 대해서도 적용할 수 있는지에 대해서는 평가가 필요하다. 이에 본 연구에서는 신호처리에 사용되는 Hampel 필터를 이용하여 수위자료의 이상치 점검에 적용하고 과거 자료에 기록된 실제 이상치 자료와 비교하여 그 성능을 평가해 보았다.

  • PDF

고지혈증의 원인과 치료 - 당뇨병환자의 지실대사 이상

  • Lee, Sun-Hui
    • The Monthly Diabetes
    • /
    • s.285
    • /
    • pp.16-19
    • /
    • 2013
  • 비당뇨인에게서도 이상지질형증이 발견될 경우 적합한 치료가 시행되어야 하겠지만, 당뇨병 환자의 경우에는 비당뇨인에 비해 심혈관계 질환을 일으킬 가능성이 2~4배에 이르고, 심혈관계 질환이 발생한 후에도 사망률이 비당뇨인에 비해 높음을 감안하면, 당뇨병 환자에서 심혈관계 질환의 강력한 위험인자인 이상지질혈증의 적절한 치료는 매우 중요하다고 하겠다. 당뇨병 환자의 이상지질혈증의 적절한 치료를 위해서는 지질대사 이상에 대한 지식이 필요하다. 본 란에서는 정상 지질대사와 당뇨병환자에서 이상지질혈증의 발생기전과 특징은 어떠하며 당뇨병 환자에서 잘 나타나는 이상지질혈증의 특성이 심혈관계에 미치는 영향이 비당뇨인에 비해서 왜 더 크며, 더 적극적인 치료가 필요한가에 대한 정보를 제공하고자 한다.

  • PDF

Performance Comparison of Anomaly Detection Algorithms: in terms of Anomaly Type and Data Properties (이상탐지 알고리즘 성능 비교: 이상치 유형과 데이터 속성 관점에서)

  • Jaeung Kim;Seung Ryul Jeong;Namgyu Kim
    • Journal of Intelligence and Information Systems
    • /
    • v.29 no.3
    • /
    • pp.229-247
    • /
    • 2023
  • With the increasing emphasis on anomaly detection across various fields, diverse anomaly detection algorithms have been developed for various data types and anomaly patterns. However, the performance of anomaly detection algorithms is generally evaluated on publicly available datasets, and the specific performance of each algorithm on anomalies of particular types remains unexplored. Consequently, selecting an appropriate anomaly detection algorithm for specific analytical contexts poses challenges. Therefore, in this paper, we aim to investigate the types of anomalies and various attributes of data. Subsequently, we intend to propose approaches that can assist in the selection of appropriate anomaly detection algorithms based on this understanding. Specifically, this study compares the performance of anomaly detection algorithms for four types of anomalies: local, global, contextual, and clustered anomalies. Through further analysis, the impact of label availability, data quantity, and dimensionality on algorithm performance is examined. Experimental results demonstrate that the most effective algorithm varies depending on the type of anomaly, and certain algorithms exhibit stable performance even in the absence of anomaly-specific information. Furthermore, in some types of anomalies, the performance of unsupervised anomaly detection algorithms was observed to be lower than that of supervised and semi-supervised learning algorithms. Lastly, we found that the performance of most algorithms is more strongly influenced by the type of anomalies when the data quantity is relatively scarce or abundant. Additionally, in cases of higher dimensionality, it was noted that excellent performance was exhibited in detecting local and global anomalies, while lower performance was observed for clustered anomaly types.

On the Efficiency of Outlier Cleaners in Spatial Data Analysis (공간통계분석에서 이상점 수정방법의 효율성비교)

  • 이진희;신기일
    • The Korean Journal of Applied Statistics
    • /
    • v.17 no.2
    • /
    • pp.327-336
    • /
    • 2004
  • Many researchers have used the robust variogram to reduce the effect of outliers in spatial data analysis. Recently it is known that estimating the variogram after replacing outliers is more efficient. In this paper, we suggest a new data cleaner for geostatistic data analysis and compare the efficiency of outlier cleaners.

A Study on Yi Sang Representation in Media -Focusing on the cinema and the drama (영상매체에 형상화 된 시인 '이상' 표상 연구 -영화 <건축무한육면각체의 비밀>, 드라마 <이상 그 이상>을 중심으로)

  • Son, Mi-young
    • The Journal of the Convergence on Culture Technology
    • /
    • v.5 no.4
    • /
    • pp.29-36
    • /
    • 2019
  • Lee Sang's poems and his portraits are being used in various video media. Depending on the characteristics of the medium and genre, the representation of the poet or higher and his poems are selected and variations in different ways. In a modern era where literature communicates with various media, reviewing how a poet's portrait is shaped is also the process of reading what text wants to convey to the public through a single person. This study examined aspects in which representations of poets or higher were utilized in various image media, and compared and analyzed how poet aberrations are represented in each text. In particular, the discussion centered on the movie and the drama . In the movie , the above poem is used as a hidden puzzle. The film uses the popularly known 'genius' representation to track down Yi Sang's secret. Because of this, the film represents its ideal in a way that is faithful to the genre's custom of Thriller In comparison, the drama was about to re-emerge as a young man with a passion for the inner workings. The cynical attitude shown in the above text is also a reflection of the love for the nation and the times. These different typographical methods are worth noting in terms of the literary man's public perception of "Yi-sang" and the strategy of the new portrait attempt.