• 제목/요약/키워드: Model Ensemble

검색결과 638건 처리시간 0.027초

클러스터링 기반 앙상블 모델 구성을 이용한 이상치 탐지 (Outlier Detection By Clustering-Based Ensemble Model Construction)

  • 박정희;김태공;김지일;최세목;이경훈
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제7권11호
    • /
    • pp.435-442
    • /
    • 2018
  • 이상치 탐지는 정상 데이터 분포를 크게 벗어나는 데이터 샘플을 탐지하는 것을 의미한다. 대부분의 이상치 탐지 방법은 데이터 샘플이 정상 상태를 벗어나는 정도를 나타내는 이상치 지수(outlier score)를 계산하여 주어진 임계값 이상일 때 이상치로 판정한다. 그러나, 데이터마다 이상치 지수의 범위가 다양하고 정상 데이터에 비해 이상치 데이터는 적은 비율로 존재하기 때문에 이상치 지수에 대한 임계값을 결정하기는 매우 어렵다. 또한, 실제 상황에서는 학습에 이용할 수 있는 충분한 양의 이상치를 포함하는 데이터의 획득이 용이하지 않다. 본 논문에서는 정상 데이터가 주어졌을 때 이를 이용하여 정상 데이터 영역을 나타내는 모델을 구성하고 새로운 데이터 샘플에 대해 이상치와 정상치의 이진 분류를 수행하는 방법으로 군집화 기반 이상치 탐지 방법을 제안한다. 그리고, 주어진 정상 데이터를 청크로 나누고 각 청크에 대해 클러스터링 모델을 구성한 후 모델들에 의한 이상치 판정 결과를 결합하는 앙상블 방법과 동적 변화가 있는 스트리밍 데이터에서의 적용 방법으로 확장한다. 실제 데이터와 인공 데이터를 이용한 실험결과는 제안 방법의 높은 성능을 보여준다.

안드로이드 기반 앱 악성코드 탐지를 위한 Feature 선정 및 학습모델 제안 (Suggestion of Selecting features and learning models for Android-based App Malware Detection)

  • 배세진;이정수;백남균
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2022년도 춘계학술대회
    • /
    • pp.377-380
    • /
    • 2022
  • 앱(App)이라 불리는 응용프로그램은 모바일 기기 등에 다운받아 사용 가능하다. 그 중 안드로이드(Android) 기반 앱은 오픈소스 기반으로 구현되어 누구나 악용 가능하다는 단점이 있지만, 아주 일부분의 소스코드를 공개하는 iOS와는 달리 안드로이드는 오픈소스로 구현되어있기 때문에 코드를 분석할 수 있다는 장점도 있다. 하지만, 오픈소스 기반의 안드로이드 앱은 누구나 소스코드 변경에 참여 가능하기 때문에 그만큼 악성코드가 많아지고 종류 또한 다양해질 수밖에 없다. 단기간에 기하급수적으로 늘어나는 악성코드는 사람이 일일이 탐지하기 어려워 AI를 활용하여 악성코드를 탐지하는 기법을 사용하는 것이 효율적이다. 기존 대부분의 악성 앱 탐지 방안은 Feature를 추출하여 악성 앱을 탐지하는 방안이 대부분이다. 따라서 Feature 추출 후 학습에 사용할 최적의 Feature를 선정(Selection)하는 3가지 방안을 제안한다. 마지막으로, 최적의 Feature로 모델링을 하는 단계에서 단일 모델 이외에도 앙상블 기법을 사용한다. 앙상블 기법은 이미 여러 연구에서 나와 있듯이 단일 모델의 성능을 뛰어넘는 결과를 보여주고 있다. 따라서 본 논문에서는 안드로이드 앱(App) 기반 악성코드 탐지 최적의 Feature 선정과 학습모델을 구현하는 방안을 제시한다.

  • PDF

PIV measurement of roof corner vortices

  • Kim, Kyung Chun;Ji, Ho Seong;Seong, Seung Hak
    • Wind and Structures
    • /
    • 제4권5호
    • /
    • pp.441-454
    • /
    • 2001
  • Conical vortices on roof corners of a prismatic low-rise building have been investigated by using the PIV(Particle Image Velocimetry) technique. The Reynolds number based on the free stream velocity and model height was $5.3{\times}10^3$. Mean and instantaneous vector fields for velocity, vorticity, and turbulent kinetic energy were measured at two vertical planes and for two different flow angles of $30^{\circ}$ and $45^{\circ}$. The measurements provided a clear view of the complex flow structures on roof corners such as a pair of counter rotating conical vortices, secondary vortices, and tertiary vortices. They also enabled accurate and easy measurement of the size of vortices. Additionally, we could easily locate the centers of the vortices from the ensemble averaged velocity fields. It was observed that the flow angle of a $30^{\circ}$ produces a higher level of vorticity and turbulent kinetic energy in one of the pair of vortices than does the $45^{\circ}$ flow angle.

비선형 Kalman Filter를 사용한 타이어 횡력 추정 시스템 (Tire Lateral Force Estimation System Using Nonlinear Kalman Filter)

  • 이동훈;김인근;허건수
    • 한국자동차공학회논문집
    • /
    • 제20권6호
    • /
    • pp.126-131
    • /
    • 2012
  • Tire force is one of important parameters which determine vehicle dynamics. However, it is hard to measure tire force directly through sensors. Not only the sensor is expensive but also installation of sensors on harsh environments is difficult. Therefore, estimation algorithms based on vehicle dynamic models are introduced to estimate the tire forces indirectly. In this paper, an estimation system for estimating lateral force and states is suggested. The state-space equation is constructed based on the 3-DOF bicycle model. Extended Kalman Filter, Unscented Kalman Filter and Ensemble Kalman Filter are used for estimating states on the nonlinear system. Performance of each algorithm is evaluated in terms of RMSE (Root Mean Square Error) and maximum error.

Energy Efficient Design of a Jet Pump by Ensemble of Surrogates and Evolutionary Approach

  • Husain, Afzal;Sonawat, Arihant;Mohan, Sarath;Samad, Abdus
    • International Journal of Fluid Machinery and Systems
    • /
    • 제9권3호
    • /
    • pp.265-276
    • /
    • 2016
  • Energy systems working coherently in different conditions may not have a specific design which can provide optimal performance. A system working for a longer period at lower efficiency implies higher energy consumption. In this effort, a methodology demonstrated by a jet pump design and optimization via numerical modeling for fluid dynamics and implementation of an evolutionary algorithm for the optimization shows a reduction in computational costs. The jet pump inherently has a low efficiency because of improper mixing of primary and secondary fluids, and multiple momentum and energy transfer phenomena associated with it. The high fidelity solutions were obtained through a validated numerical model to construct an approximate function through surrogate analysis. Pareto-optimal solutions for two objective functions, i.e., secondary fluid pressure head and primary fluid pressure-drop, were generated through a multi-objective genetic algorithm. For the jet pump geometry, a design space of several design variables was discretized using the Latin hypercube sampling method for the optimization. The performance analysis of the surrogate models shows that the combined surrogates perform better than a single surrogate and the optimized jet pump shows a higher performance. The approach can be implemented in other energy systems to find a better design.

앙상블 칼만필터 이론을 이용한 분포형모델의 홍수유출예측 (Flood Forecasting by using Distributed Models with Ensemble Kalman Filter)

  • 박효길;최현일;지홍기
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2009년도 학술발표회 초록집
    • /
    • pp.27-31
    • /
    • 2009
  • 홍수피해를 예방할 수 있는 대책에는 여러 가지 방법이 있으나 비구조물적인 방법 중에서 대표적인 것이 홍수예경보이다. 이에 합리적인 설계홍수량 산정을 위해 하천유역에서 강우-유출과정의 정확한 해석과 유출예측은 수자원의 효율적인 활용과 하천의 이수, 치수를 위한 수문학적 해석에 있어서 매우 중요하며, 이를 위해서는 강우로부터 정도 높은 유출량 예측이 요구된다. 뿐만 아니라 하천범람 등의 재해로부터 인명과 재산을 보호하기 위한 홍수예경보 시스템의 구축이 필요하다. 홍수예경보 시스템의 효율적인 관리를 위해서는 실시간 홍수예측(Real-time Flood Prediction)기법의 개발이 필요하다. 홍수유출모형에 있어 공간적 변화특성과 평균 강우량의 공간분포를 반영할 수 있는 분포형 매개변수 모형(Distributed-Parameter Model)인 분포형 모델을 대상으로 앙상블 칼만필터(Ensemble Kalman Filter, EnKF) 이론을 적용하여 비선형시스템에서 오차를 포함한 반응을 실시간으로 처리하여 불확실성을 정량적으로 감소시켜 홍수유출을 예측하는데 그 목적이 있다. 하천유역특성을 이용한 홍수유출예측을 위하여 비선형시스템에서의 앙상블 칼만필터 기법을 적용한 분포형 모형을 이용하여 더욱 정밀한 홍수유출을 예측하게 되고 향후 홍수예경보모형으로서 적정 유역분할 규모를 결정해주는 근거를 제시할 수 있을 것으로 기대된다.

  • PDF

앙상블 칼만필터 기반 위성 토양수분 자료 동화 기법 (Assimilation of Satellite Based Soil Moisture With Ensemble Kalman Filter)

  • 박정하;이재현;김동균
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2017년도 학술발표회
    • /
    • pp.160-160
    • /
    • 2017
  • 본 연구는 앙상블 칼만필터(Ensemble Kalman Filter)를 통해 인공위성 기반 토양수분 자료를 수문모형에 동화하여 단위 격자에 대한 수문인자를 산출하고자 한다. 수문모형은 Variable Infiltration Capacity(VIC) model을 대상으로 수행하였으며, 시범 유역으로는 소양강댐 유역을 선정하였다. 입력자료는 2007년 이후 8년간 자료를 수집하였으며, 2007-2010년 관측 유량 자료를 사용하여 모형을 보정하고, 2011-2014년 자료를 통하여 검증하였다. Isolated-Speciation Particle Swarm Optimization(ISPSO) 기법을 통하여 매개변수를 추정하였고, 보정기간 뿐 아니라 검증 기간에 대해서도 높은 모형효율성계수를 얻을 수 있었다. VIC 모형 자료 동화 대상 자료로는 AMSR2 위성 토양 수분 자료, 지상관측 토양수분 보간자료 및 조건부합성방법을 통한 위성/지점 융합 토양수분을 선정하였다. 위성 토양 수분 자료는 값을 과대 추정하는 경향이 있었으며, 지상관측 보간 자료는 유량이 큰 사상에 대한 첨두 유량을 과소 추정하는 경향을 보였다. 인공위성자료와 지상 자료를 합성한 조건부합성기법 토양수분자료는 더 정확한 추정이 가능하여 모의의 정확도가 향상되었다. 본 연구를 통해서 미계측 유역에 대해 격자별 수문기상인자 정보를 제공할 수 있으며, 데이터베이스를 구축하여 다양한 수문분석에 기초자료로 활용될 수 있을 것이다.

  • PDF

머신러닝을 이용한 이러닝 학습자 집중도 평가 연구 (A Study on Evaluation of e-learners' Concentration by using Machine Learning)

  • 정영상;주민성;조남욱
    • 디지털산업정보학회논문지
    • /
    • 제18권4호
    • /
    • pp.67-75
    • /
    • 2022
  • Recently, e-learning has been attracting significant attention due to COVID-19. However, while e-learning has many advantages, it has disadvantages as well. One of the main disadvantages of e-learning is that it is difficult for teachers to continuously and systematically monitor learners. Although services such as personalized e-learning are provided to compensate for the shortcoming, systematic monitoring of learners' concentration is insufficient. This study suggests a method to evaluate the learner's concentration by applying machine learning techniques. In this study, emotion and gaze data were extracted from 184 videos of 92 participants. First, the learners' concentration was labeled by experts. Then, statistical-based status indicators were preprocessed from the data. Random Forests (RF), Support Vector Machines (SVMs), Multilayer Perceptron (MLP), and an ensemble model have been used in the experiment. Long Short-Term Memory (LSTM) has also been used for comparison. As a result, it was possible to predict e-learners' concentration with an accuracy of 90.54%. This study is expected to improve learners' immersion by providing a customized educational curriculum according to the learner's concentration level.

Credit Risk Evaluations of Online Retail Enterprises Using Support Vector Machines Ensemble: An Empirical Study from China

  • LI, Xin;XIA, Han
    • The Journal of Asian Finance, Economics and Business
    • /
    • 제9권8호
    • /
    • pp.89-97
    • /
    • 2022
  • The e-commerce market faces significant credit risks due to the complexity of the industry and information asymmetries. Therefore, credit risk has started to stymie the growth of e-commerce. However, there is no reliable system for evaluating the creditworthiness of e-commerce companies. Therefore, this paper constructs a credit risk evaluation index system that comprehensively considers the online and offline behavior of online retail enterprises, including 15 indicators that reflect online credit risk and 15 indicators that reflect offline credit risk. This paper establishes an integration method based on a fuzzy integral support vector machine, which takes the factor analysis results of the credit risk evaluation index system of online retail enterprises as the input and the credit risk evaluation results of online retail enterprises as the output. The classification results of each sub-classifier and the importance of each sub-classifier decision to the final decision have been taken into account in this method. Select the sample data of 1500 online retail loan customers from a bank to test the model. The empirical results demonstrate that the proposed method outperforms a single SVM and traditional SVMs aggregation technique via majority voting in terms of classification accuracy, which provides a basis for banks to establish a reliable evaluation system.

Relevancy contemplation in medical data analytics and ranking of feature selection algorithms

  • P. Antony Seba;J. V. Bibal Benifa
    • ETRI Journal
    • /
    • 제45권3호
    • /
    • pp.448-461
    • /
    • 2023
  • This article performs a detailed data scrutiny on a chronic kidney disease (CKD) dataset to select efficient instances and relevant features. Data relevancy is investigated using feature extraction, hybrid outlier detection, and handling of missing values. Data instances that do not influence the target are removed using data envelopment analysis to enable reduction of rows. Column reduction is achieved by ranking the attributes through feature selection methodologies, namely, extra-trees classifier, recursive feature elimination, chi-squared test, analysis of variance, and mutual information. These methodologies are ranked via Technique for Order of Preference by Similarity to Ideal Solution (TOPSIS) using weight optimization to identify the optimal features for model building from the CKD dataset to facilitate better prediction while diagnosing the severity of the disease. An efficient hybrid ensemble and novel similarity-based classifiers are built using the pruned dataset, and the results are thereafter compared with random forest, AdaBoost, naive Bayes, k-nearest neighbors, and support vector machines. The hybrid ensemble classifier yields a better prediction accuracy of 98.31% for the features selected by extra tree classifier (ETC), which is ranked as the best by TOPSIS.