• 제목/요약/키워드: Outlier Prediction

검색결과 62건 처리시간 0.026초

Online condition assessment of high-speed trains based on Bayesian forecasting approach and time series analysis

  • Zhang, Lin-Hao;Wang, You-Wu;Ni, Yi-Qing;Lai, Siu-Kai
    • Smart Structures and Systems
    • /
    • 제21권5호
    • /
    • pp.705-713
    • /
    • 2018
  • High-speed rail (HSR) has been in operation and development in many countries worldwide. The explosive growth of HSR has posed great challenges for operation safety and ride comfort. Among various technological demands on high-speed trains, vibration is an inevitable problem caused by rail/wheel imperfections, vehicle dynamics, and aerodynamic instability. Ride comfort is a key factor in evaluating the operational performance of high-speed trains. In this study, online monitoring data have been acquired from an in-service high-speed train for condition assessment. The measured dynamic response signals at the floor level of a train cabin are processed by the Sperling operator, in which the ride comfort index sequence is used to identify the train's operation condition. In addition, a novel technique that incorporates salient features of Bayesian inference and time series analysis is proposed for outlier detection and change detection. The Bayesian forecasting approach enables the prediction of conditional probabilities. By integrating the Bayesian forecasting approach with time series analysis, one-step forecasting probability density functions (PDFs) can be obtained before proceeding to the next observation. The change detection is conducted by comparing the current model and the alternative model (whose mean value is shifted by a prescribed offset) to determine which one can well fit the actual observation. When the comparison results indicate that the alternative model performs better, then a potential change is detected. If the current observation is a potential outlier or change, Bayes factor and cumulative Bayes factor are derived for further identification. A significant change, if identified, implies that there is a great alteration in the train operation performance due to defects. In this study, two illustrative cases are provided to demonstrate the performance of the proposed method for condition assessment of high-speed trains.

u-SilverCare에서의 USN 미들웨어 기반 센서 데이터 마이닝 (USN middleware based Sensor Datamining in u-SilverCare Service)

  • 허병문;이준욱;채덕진;정재두;류근호
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2006년도 추계학술발표대회
    • /
    • pp.429-432
    • /
    • 2006
  • 기존의 u-HealthCare 서비스는 환자에 대해서 일정한 공간에서의 센서의 on/off 타입에 대한 모니터링/환자관리의 서비스를 제공하였다. 이러한 환경하에서의 주된 서비스는 현재 환자의 상태에 대한 수동적인 형태이다. 이러한 문제점들을 해결하기 위해 센서 데이터에 대한 연속센서 데이터마이닝 기법을 이용한다. USN의 응용서비스인 u-HealthCare 서비스는 센서데이터로부터 생체정보 및 위치정보를 이용하여 환자/보호자/관련 의료진에게 필요한 정보를 제공한다. 이것은 환자에 대한 관리/모니터링뿐만 아니라 환자의 상태에 따른 센싱(sensing)된 데이터를 이용한 패턴(pattern), 예측-(prediction), 이상치(outlier)를 분석함으로써 보다 나은 서비스를 제공할 수 있다. 본 논문에서는 센서 데이터에 대해 새로운 연속 센서데이터 마이닝 기법을 적용하여 질의를 통해 지식을 추출하고 보다 지능화된 서비스를 제공할 수 있는 응용서비스 기법을 제안한다.

  • PDF

교차 프로젝트 결함 예측을 위한 유사도 측정 기법 비교 연구 (A Comparative Study on Similarity Measure Techniques for Cross-Project Defect Prediction)

  • 류덕산;백종문
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제7권6호
    • /
    • pp.205-220
    • /
    • 2018
  • 소프트웨어 결함 예측은 결함이 자주 발생하는 모듈에 집중함으로써 소프트웨어 품질 보증 활동에 귀중한 프로젝트 리소스를 효과적으로 할당하는 데 도움이 될 수 있다. 회사 내에서 수집 된 충분한 기록 데이터를 사용하여 정확한 결함 발생 가능성이 높은 모듈 예측에 대해 WPDP (프로젝트 내 결함 예측)를 사용할 수 있다. 회사가 과거 데이터를 유지하지 못한 경우 CPDP (Cross-Project Defect Prediction) 메커니즘을 기반으로 오류를 예측하는 분류기를 만드는 것이 도움이 될 수 있다. CPDP는 다른 조직에서 수집 한 다른 프로젝트 데이터를 사용하여 분류기를 작성하기 때문에 정확한 분류기를 만드는데 가장 큰 장애물은 소스와 대상 프로젝트 간의 서로 다른 분포이다. 이 문제의 해결을 위해 효과적인 유사도 측정 기술을 식별하는 것이 중요하므로, 본 논문에서는 다양한 유사도 측정 기술을 CPDP 모델에 적용하여 성능을 비교한다. 유사도 가중치의 유효성을 평가하고, 통계적 유의성 검정 및 효과 크기 검정을 통해 결과를 검증한다. 실험 결과, k-Nearest Neighbor (k-NN), LOcal Correlation Integral (LOCI) 및 Range 방법이 유사도 측정 기술 중 상위 3 개에 속했고, 이들을 사용하는 CPDP 예측 성능이 WPDP의 성능과 유사하였다.

Design and Analysis of Lightweight Trust Mechanism for Accessing Data in MANETs

  • Kumar, Adarsh;Gopal, Krishna;Aggarwal, Alok
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제8권3호
    • /
    • pp.1119-1143
    • /
    • 2014
  • Lightweight trust mechanism with lightweight cryptographic primitives has emerged as an important mechanism in resource constraint wireless sensor based mobile devices. In this work, outlier detection in lightweight Mobile Ad-hoc NETworks (MANETs) is extended to create the space of reliable trust cycle with anomaly detection mechanism and minimum energy losses [1]. Further, system is tested against outliers through detection ratios and anomaly scores before incorporating virtual programmable nodes to increase the efficiency. Security in proposed system is verified through ProVerif automated toolkit and mathematical analysis shows that it is strong against bad mouthing and on-off attacks. Performance of proposed technique is analyzed over different MANET routing protocols with variations in number of nodes and it is observed that system provide good amount of throughput with maximum of 20% increase in delay on increase of maximum of 100 nodes. System is reflecting good amount of scalability, optimization of resources and security. Lightweight modeling and policy analysis with lightweight cryptographic primitives shows that the intruders can be detection in few milliseconds without any conflicts in access rights.

An Objective No-Reference Perceptual Quality Assessment Metric based on Temporal Complexity and Disparity for Stereoscopic Video

  • Ha, Kwangsung;Bae, Sung-Ho;Kim, Munchurl
    • IEIE Transactions on Smart Processing and Computing
    • /
    • 제2권5호
    • /
    • pp.255-265
    • /
    • 2013
  • 3DTV is expected to be a promising next-generation broadcasting service. On the other hand, the visual discomfort/fatigue problems caused by viewing 3D videos have become an important issue. This paper proposes a perceptual quality assessment metric for a stereoscopic video (SV-PQAM). To model the SV-PQAM, this paper presents the following features: temporal variance, disparity variation in intra-frames, disparity variation in inter-frames and disparity distribution of frame boundary areas, which affect the human perception of depth and visual discomfort for stereoscopic views. The four features were combined into the SV-PQAM, which then becomes a no-reference stereoscopic video quality perception model, as an objective quality assessment metric. The proposed SV-PQAM does not require a depth map but instead uses the disparity information by a simple estimation. The model parameters were estimated based on linear regression from the mean score opinion values obtained from the subjective perception quality assessments. The experimental results showed that the proposed SV-PQAM exhibits high consistency with subjective perception quality assessment results in terms of the Pearson correlation coefficient value of 0.808, and the prediction performance exhibited good consistency with a zero outlier ratio value.

  • PDF

군집분석을 이용한 침수관련 유역특성 분류 (Classification of basin characteristics related to inundation using clustering)

  • 이한승;조재웅;강호선;황정근;문혜진
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2020년도 학술발표회
    • /
    • pp.96-96
    • /
    • 2020
  • In order to establish the risk criteria of inundation due to typhoons or heavy rainfall, research is underway to predict the limit rainfall using basin characteristics, limit rainfall and artificial intelligence algorithms. In order to improve the model performance in estimating the limit rainfall, the learning data are used after the pre-processing. When 50.0% of the entire data was removed as an outlier in the pre-processing process, it was confirmed that the accuracy is over 90%. However, the use rate of learning data is very low, so there is a limitation that various characteristics cannot be considered. Accordingly, in order to predict the limit rainfall reflecting various watershed characteristics by increasing the use rate of learning data, the watersheds with similar characteristics were clustered. The algorithms used for clustering are K-Means, Agglomerative, DBSCAN and Spectral Clustering. The k-Means, DBSCAN and Agglomerative clustering algorithms are clustered at the impervious area ratio, and the Spectral clustering algorithm is clustered in various forms depending on the parameters. If the results of the clustering algorithm are applied to the limit rainfall prediction algorithm, various watershed characteristics will be considered, and at the same time, the performance of predicting the limit rainfall will be improved.

  • PDF

AMR 데이터에서의 전력 부하 패턴 분류 (Power Load Pattern Classification from AMR Data)

  • ;박진형;이헌규;신진호;류근호
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2008년도 춘계학술발표대회
    • /
    • pp.231-234
    • /
    • 2008
  • Currently an automated methodology based on data mining techniques is presented for the prediction of customer load patterns in load demand data. The main aim of our work is to forecast customers' contract information from capacity of daily power consumption patterns. According to the result, we try to evaluate the contract information's suitability. The proposed our approach consists of three stages: (i) data preprocessing: noise or outlier is detected and removed (ii) cluster analysis: SOMs clustering is used to create load patterns and the representative load profiles and (iii) classification: we applied the K-NNs classifier in order to predict the customers' contract information base on power consumption patterns. According to the our proposed methodology, power load measured from AMR(automatic meter reading) system, as well as customer indexes, were used as inputs. The output was the classification of representative load profiles (or classes). Lastly, in order to evaluate KNN classification technique, the proposed methodology was applied on a set of high voltage customers of the Korea power system and the results of our experiments was presented.

Low-GloSea6 기상 예측 소프트웨어의 머신러닝 기법 적용 연구 (A Study of the Application of Machine Learning Methods in the Low-GloSea6 Weather Prediction Solution)

  • 박혜성;조예린;신대영;윤은옥;정성욱
    • 한국정보전자통신기술학회논문지
    • /
    • 제16권5호
    • /
    • pp.307-314
    • /
    • 2023
  • 슈퍼컴퓨팅 기술 및 하드웨어 기술이 발전함에 따라 기후 예측 모델도 고도화되고 있다. 한국 기상청 역시 영국 기상청으로부터 GloSea5을 도입하였고 한국 기상 환경에 맞추어 업데이트된 GloSea6를 운용 중이다. 각 대학 및 연구기관에서는 슈퍼컴퓨터보다는 사양이 낮은 중소규모 서버에서 활용하기 위해 저해상도 결합모델인 Low-GloSea6를 구축하여 사용하고 있다. 본 논문에서는 중소규모 서버에서의 기상 연구의 효율성을 위한 Low-GloSea6 소프트웨어를 분석하여 가장 많은 CPU Time을 점유하는 대기 모델의 tri_sor.F90 모듈의 tri_sor_dp_dp 서브루틴을 Hotspot으로 검출하였다. 해당 함수에 머신러닝의 한 종류인 선형 회귀 모델을 적용하여 해당 기법의 가능성을 확인한다. 이상치 데이터를 제거 후 선형 회귀 모델을 학습한 결과 RMSE는 2.7665e-08, MAE는 1.4958e-08으로 Lasso 회귀, ElasticNet 회귀보다 더욱 좋은 성능을 보였다. 이는 Low-GloSea6 수행 과정 중 Hotspot으로 검출된 tri_sor.F90 모듈에 머신러닝 기법 적용 가능성을 확인하였다.

근적외선 분광분석기를 이용한 잔디 생체잎의 질소 함량 측정을 위한 검량식 개발 (Prediction from Linear Regression Equation for Nitrogen Content Measurement in Bentgrasses leaves Using Near Infrared Reflectance Spectroscopy)

  • 차정훈;김경덕;박대섭
    • 아시안잔디학회지
    • /
    • 제23권1호
    • /
    • pp.77-90
    • /
    • 2009
  • Near Infrared Reflectance Spectroscopy(NIRS)는 짧은 시간 안에 식물의 다양한 영양소를 동시에 정확하고 빠르게 측정할 수 있다. 본 연구는 creeping bentgrass 'CY2' 엽의 여러 가지 기본 요소의 값을 예측하기 위해서 NIRS(근적의선 분광분석기)를 사용하여 측정하였다. 그 결과, 질소와 수분 그리고 탄수화물의 $r^2$은 각각 0.892, 0.925, 0.971이었다. 검량식에 대한 검증에서 $r^2$이 높은 상관관계를 나타냈으므로, 잔디에서 더 많은 연구를 위한 실용화 가능성을 확인 할 수 있었다.

기계학습법을 이용한 IoMT 핀테크 모델을 기반으로 한 구조화 스토리지에서의 빅데이터 관리 연구 (Big Data Management in Structured Storage Based on Fintech Models for IoMT using Machine Learning Techniques)

  • 김경실
    • 산업과 과학
    • /
    • 1권1호
    • /
    • pp.7-15
    • /
    • 2022
  • 사물인터넷(IoT) 기술은 최근 의료사물인터넷(IoMT)으로 정의된 대량의 의료 데이터를 처리하여 발전을 위해 개발된 의료분야에서 많이 활용되고 있다. 수집된 광범위한 의료 데이터는 수집된 의료 데이터를 처리하기 위해 구조화된 방식으로 클라우드에 저장된다. 그러나 방대한 양의 의료 데이터를 효과적으로 처리하는 것은 쉽지 않기 때문에 의료분야 구조 데이터를 개발하는 것이 필요하다. 본 논문에서는 IoMT에서 수집된 구조화된 건강 관리 데이터를 처리하기 위한 기계 학습 모드를 개발하였다. 광범위한 의료 데이터를 처리하기 위해 본 논문에서는 의료 데이터 처리를 위한 MTGPLSTM 모델을 제안하였다. 제안된 모델은 의료 정보 처리를 위한 선형 회귀 모델을 통합한다. 개발된 모델 이상치 모델은 IoMT에서 수집된 COVID-19 의료 데이터들의 평가 및 예측을 위해 FinTech 모델을 기반으로 구현되었다. 제안된 MTGPLSTM 모델은 감염 확산 방지를 위한 계획 계획을 예측하고 평가하기 위한 회귀 모델로 구성된다. 개발된 모델 성능은 LR, SVR, RFR, LSTM 및 제안된 MTGPLSTM 모델과 같은 서로 다른 분류기를 고려하였으며 1GB, 2GB, 3GB 등 데이터 크기가 다르다는 점도 주요하게 고려되었다. 제안된 MTGPLSTM 모델이 전 세계 데이터에 대해 최대 4% 감소된 MAPE 및 RMSE 값을 달성하였고 중국의 경우 기존 분류기보다 최대 6% 최소인 최소 MAPE(0.97)이 달성되었다.