• Title/Summary/Keyword: 이상데이터

Search Result 6,529, Processing Time 0.033 seconds

빅데이터 분석을 위한 Rank-Sparsity 기반 신호처리기법

  • Lee, Hyeok;Lee, Hyeong-Il;Jo, Jae-Hak;Kim, Min-Cheol;So, Byeong-Hyeon;Lee, Jeong-U
    • Information and Communications Magazine
    • /
    • v.31 no.11
    • /
    • pp.35-45
    • /
    • 2014
  • 주성분 분석 기법(PCA)는 가장 널리 사용되는 데이터 차원 감소 (dimensionality reduction) 기법으로 알려져 있다. 하지만 데이터에 이상점 (outlier)가 존재하는 환경에서는 성능이 크게 저하된다는 단점을 가지고 있다. Rank-Sparsity(Robust PCA) 기법은 주어진 행렬을 low-rank 행렬과 저밀도(sparse)행렬의 합으로 분해하는 방식으로, 이상점이 많은 환경에서 PCA기법을 효과적으로 대체할 수 있는 알고리즘으로 알려져 있다. 본 고에서는 RPCA 기법을 간략히 소개하고, 그의 적용분야, 및 알고리즘에 관한 연구들을 대해서 알아본다.

New Data Buffering Scheme for News On Demand (NOD 데이터를 위한 새로운 버퍼링 기법)

  • 박용운;백건효;서원일;김영주;정기동
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 1997.11a
    • /
    • pp.173-179
    • /
    • 1997
  • 본 연구에서는 실시간 데이터와 비 실시간 데이터가 복합적으로 존재하는 뉴스 데이터에 적합하도록 버퍼 캐쉬를 실시간 데이터와 비 실시간 데이터 영역으로 분할 한 후, 로그 데이터를 이용하여 접근 가능성이 높은 실시간 뉴스데이터를 프리팻칭하여 둠으로써 실시간 뉴스 데이터의 운영을 효과적으로 할 수 있는 새로운 버퍼 캐쉬 알고리즘을 제안한다. 이 방식을 이용함으로써 전체 뉴스 요청 건수 중 30% 이상의 요청 건수들이 디스크를 접근하지 않고 버퍼의 데이터를 접근함으로써 버퍼링 기법을 사용하지 않은 경우보다 실시간 지원에 필요한 디스크 접근 수를 줄일 수 있다.

  • PDF

정지궤도 위성의 원격측정 데이터 흐름 분석 사례 연구

  • Jo, Chang-Gwon
    • The Bulletin of The Korean Astronomical Society
    • /
    • v.37 no.2
    • /
    • pp.200.2-200.2
    • /
    • 2012
  • 위성은 임무를 수행함에 있어 수많은 주변장치와 탑재체로부터 데이터를 받는다. 이렇게 획득된 데이터를 활용하여 위성의 자세도 제어하고 전력도 관리하며 탑재체 목적에 따라 기상도 관측하고 해양도 관측하는 임무들을 수행한다. 또한 위성을 개발하면서 수행되는 여러가지 테스트에도 데이터를 활용한다. 이런 일련의 업무를 수행하면서 획득된 데이터는 위성내부의 관련 장치들에 대한 상태 정보를 확인하고 지상국에서 이상유무를 판단할 수 있는 정보도 제공하게 된다. 그러나 원하는 모든 데이터를 지상으로 보내기에는 대역폭이나 저장공간에 제약사항이 있다. 이런 이유로 필요한 데이터를 일정 포맷에 맞도록 정의한 후 데이터를 내려보낸다. 이런 데이터는 지상에서 데이터베이스로 관리된다. 본 논문에서는 국내 최초 정지궤도 위성인 천리안 위성의 데이터베이스를 분석하여 원격측정 데이터의 흐름을 이해하고자 한다.

  • PDF

Development of an intelligent IIoT platform for stable data collection (안정적 데이터 수집을 위한 지능형 IIoT 플랫폼 개발)

  • Woojin Cho;Hyungah Lee;Dongju Kim;Jae-hoi Gu
    • The Journal of the Convergence on Culture Technology
    • /
    • v.10 no.4
    • /
    • pp.687-692
    • /
    • 2024
  • The energy crisis is emerging as a serious problem around the world. In the case of Korea, there is great interest in energy efficiency research related to industrial complexes, which use more than 53% of total energy and account for more than 45% of greenhouse gas emissions in Korea. One of the studies is a study on saving energy through sharing facilities between factories using the same utility in an industrial complex called a virtual energy network plant and through transactions between energy producing and demand factories. In such energy-saving research, data collection is very important because there are various uses for data, such as analysis and prediction. However, existing systems had several shortcomings in reliably collecting time series data. In this study, we propose an intelligent IIoT platform to improve it. The intelligent IIoT platform includes a preprocessing system to identify abnormal data and process it in a timely manner, classifies abnormal and missing data, and presents interpolation techniques to maintain stable time series data. Additionally, time series data collection is streamlined through database optimization. This paper contributes to increasing data usability in the industrial environment through stable data collection and rapid problem response, and contributes to reducing the burden of data collection and optimizing monitoring load by introducing a variety of chatbot notification systems.

Autoencoder Based N-Segmentation Frequency Domain Anomaly Detection for Optimization of Facility Defect Identification (설비 결함 식별 최적화를 위한 오토인코더 기반 N 분할 주파수 영역 이상 탐지)

  • Kichang Park;Yongkwan Lee
    • The Transactions of the Korea Information Processing Society
    • /
    • v.13 no.3
    • /
    • pp.130-139
    • /
    • 2024
  • Artificial intelligence models are being used to detect facility anomalies using physics data such as vibration, current, and temperature for predictive maintenance in the manufacturing industry. Since the types of facility anomalies, such as facility defects and failures, anomaly detection methods using autoencoder-based unsupervised learning models have been mainly applied. Normal or abnormal facility conditions can be effectively classified using the reconstruction error of the autoencoder, but there is a limit to identifying facility anomalies specifically. When facility anomalies such as unbalance, misalignment, and looseness occur, the facility vibration frequency shows a pattern different from the normal state in a specific frequency range. This paper presents an N-segmentation anomaly detection method that performs anomaly detection by dividing the entire vibration frequency range into N regions. Experiments on nine kinds of anomaly data with different frequencies and amplitudes using vibration data from a compressor showed better performance when N-segmentation was applied. The proposed method helps materialize them after detecting facility anomalies.

Anomaly Detection for User Action with Generative Adversarial Networks (적대적 생성 모델을 활용한 사용자 행위 이상 탐지 방법)

  • Choi, Nam woong;Kim, Wooju
    • Journal of Intelligence and Information Systems
    • /
    • v.25 no.3
    • /
    • pp.43-62
    • /
    • 2019
  • At one time, the anomaly detection sector dominated the method of determining whether there was an abnormality based on the statistics derived from specific data. This methodology was possible because the dimension of the data was simple in the past, so the classical statistical method could work effectively. However, as the characteristics of data have changed complexly in the era of big data, it has become more difficult to accurately analyze and predict the data that occurs throughout the industry in the conventional way. Therefore, SVM and Decision Tree based supervised learning algorithms were used. However, there is peculiarity that supervised learning based model can only accurately predict the test data, when the number of classes is equal to the number of normal classes and most of the data generated in the industry has unbalanced data class. Therefore, the predicted results are not always valid when supervised learning model is applied. In order to overcome these drawbacks, many studies now use the unsupervised learning-based model that is not influenced by class distribution, such as autoencoder or generative adversarial networks. In this paper, we propose a method to detect anomalies using generative adversarial networks. AnoGAN, introduced in the study of Thomas et al (2017), is a classification model that performs abnormal detection of medical images. It was composed of a Convolution Neural Net and was used in the field of detection. On the other hand, sequencing data abnormality detection using generative adversarial network is a lack of research papers compared to image data. Of course, in Li et al (2018), a study by Li et al (LSTM), a type of recurrent neural network, has proposed a model to classify the abnormities of numerical sequence data, but it has not been used for categorical sequence data, as well as feature matching method applied by salans et al.(2016). So it suggests that there are a number of studies to be tried on in the ideal classification of sequence data through a generative adversarial Network. In order to learn the sequence data, the structure of the generative adversarial networks is composed of LSTM, and the 2 stacked-LSTM of the generator is composed of 32-dim hidden unit layers and 64-dim hidden unit layers. The LSTM of the discriminator consists of 64-dim hidden unit layer were used. In the process of deriving abnormal scores from existing paper of Anomaly Detection for Sequence data, entropy values of probability of actual data are used in the process of deriving abnormal scores. but in this paper, as mentioned earlier, abnormal scores have been derived by using feature matching techniques. In addition, the process of optimizing latent variables was designed with LSTM to improve model performance. The modified form of generative adversarial model was more accurate in all experiments than the autoencoder in terms of precision and was approximately 7% higher in accuracy. In terms of Robustness, Generative adversarial networks also performed better than autoencoder. Because generative adversarial networks can learn data distribution from real categorical sequence data, Unaffected by a single normal data. But autoencoder is not. Result of Robustness test showed that he accuracy of the autocoder was 92%, the accuracy of the hostile neural network was 96%, and in terms of sensitivity, the autocoder was 40% and the hostile neural network was 51%. In this paper, experiments have also been conducted to show how much performance changes due to differences in the optimization structure of potential variables. As a result, the level of 1% was improved in terms of sensitivity. These results suggest that it presented a new perspective on optimizing latent variable that were relatively insignificant.

VTS 통합플랫폼의 데이터 수집 표준 연구

  • 이상길;이정진
    • Proceedings of the Korean Institute of Navigation and Port Research Conference
    • /
    • 2023.05a
    • /
    • pp.4-6
    • /
    • 2023
  • 지역 VTS 센터의 관제 데이터를 클라우드 기반의 통합 플랫폼에서 수집하기 위해 주요 관제 장비별로 표준 데이터를 제시하고자 한다.

  • PDF

CubeSat mission for a lunar magnetic field measurement

  • Lee, Hyojeong;Lee, Jung-Kyu;Baek, Seul-Min;Jin, Ho;Kim, Kwan-Hyuk;Song, Young-Joo;Hemingway, Doug;Garrick-Bethell, Ian
    • The Bulletin of The Korean Astronomical Society
    • /
    • v.39 no.2
    • /
    • pp.108.2-108.2
    • /
    • 2014
  • 과거 달 탐사 미션으로 달에는 global magnetic fields는 존재하지 않고 표면에 국부적으로 자기장이 존재함이 확인되었다. 그러나 이렇게 측정된 자기장 데이터는 일정 고도 (> 20 km) 이상에서 측정되었기 때문에, 지표에 비해 그 세기가 매우 약해 자기장의 형태와 분포를 연구하는데 한계가 있다. 보다 자세한 연구를 위해서는 표면에서부터 다양한 고도에 이르는 위치에서 측정된 자기장 데이터가 필요하며, 이는 달 표토의 자화나 Swirl 형성 메커니즘을 이해하는데 중요한 정보이다. 따라서 본 연구에서는 큐브위성을 이용하여 저궤도부터 지표까지의 자기장을 측정하는 방안을 소개한다. 큐브위성은 달 궤도 모선에서 사출되어 자기이상 지역 표면에 충돌하는 임무를 가진다. 자력계는 모선과 큐브위성에 각각 탑재되어 자기장을 측정하며, 모선으로 부터 사출된 큐브위성은 충돌 직전까지 자기장을 측정하고 모선에 습득한 데이터를 실시간으로 전송한다. 이렇게 측정된 자기장 데이터는 모선의 궤도부터 표면에 이르기까지 여러 고도에서 측정되었기 때문에 자기이상 지역의 자기장 구조를 파악하는데 중요한 자료로 활용할 수 있다. 이에 본 연구에서는 달의 자기이상 지역과 큐브위성 임무 설계에 대하여 기술하였다.

  • PDF

Abnormal Situation Analysis of Railway Point Machine Using Data Cube and OLAP (Data cube와 OLAP기법을 이용한 철도 선로전환기의 이상상황 분석)

  • Choi, Heesu;Xu, Zhenshun;Lim, Chulhoo;Park, Daihee;Chung, Yongwha;Kim, Heeyoung;Yoon, Sukhan
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2016.04a
    • /
    • pp.558-561
    • /
    • 2016
  • 선로전환기는 분기기에서 철도의 궤도를 변경하는 핵심장치 중 하나로서, 해당 부품의 고장은 열차사고에 직접적인 영향을 미친다. 현재 철도 현장에서는 관리자가 모니터링 시스템을 통해 선로전환기의 장애 및 이상상황을 감시하고 지침서에 따라 관리를 수행한다. 본 논문에서는 실제 현장에서 발생하는 대규모의 선로전환기 이상상황 데이터를 대상으로 빅 데이터 해석학적 입장에서 심층 분석이 가능한 새로운 철도 유지보수 분석 시스템의 프로토타입을 제안한다. 제안하는 시스템은 첫째, 유지관리시스템에 저장된 선로전환기 데이터와 이상상황 데이터를 정규화하고 추출하여 베이스 테이블을 생성한다. 둘째, 베이스 테이블 상의 속성들을 스타 스키마로 설계하여 철도 유지보수 큐브로 구축한다. 마지막으로, 매핑된 철도 유지보수 큐브와 오라클에서 제공하는 AWM을 활용해 다차원적이고 심층적인 OLAP(On-Line Analytical Processing) 분석이 가능하다.

Anomaly Detection and Performance Analysis using Deep Learning (딥러닝을 활용한 설비 이상 탐지 및 성능 분석)

  • Hwang, Ju-hyo;Jin, Kyo-hong
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2021.10a
    • /
    • pp.78-81
    • /
    • 2021
  • Through the smart factory construction project, sensors can be installed in manufacturing production facilities and various process data can be collected in real time. Through this, research on real-time facility anomaly detection is being actively conducted to reduce production interruption due to facility abnormality in the manufacturing process. In this paper, to detect abnormalities in production facilities, the manufacturing data was applied to deep learning models Autoencoder(AE), VAE(Variational Autoencoder), and AAE(Adversarial Autoencoder) to derive the results. Manufacturing data was used as input data through a simple moving average technique and preprocessing process, and performance analysis was conducted according to the window size of the simple movement average technique and the feature vector size of the AE model.

  • PDF