• 제목/요약/키워드: Model Ensemble

검색결과 643건 처리시간 0.037초

앙상블 기법을 이용한 선박 메인엔진 빅데이터의 이상치 탐지 (Outlier detection of main engine data of a ship using ensemble method)

  • 김동현;이지환;이상봉;정봉규
    • 수산해양기술연구
    • /
    • 제56권4호
    • /
    • pp.384-394
    • /
    • 2020
  • This paper proposes an outlier detection model based on machine learning that can diagnose the presence or absence of major engine parts through unsupervised learning analysis of main engine big data of a ship. Engine big data of the ship was collected for more than seven months, and expert knowledge and correlation analysis were performed to select features that are closely related to the operation of the main engine. For unsupervised learning analysis, ensemble model wherein many predictive models are strategically combined to increase the model performance, is used for anomaly detection. As a result, the proposed model successfully detected the anomalous engine status from the normal status. To validate our approach, clustering analysis was conducted to find out the different patterns of anomalies the anomalous point. By examining distribution of each cluster, we could successfully find the patterns of anomalies.

Implementation of AIoT Edge Cluster System via Distributed Deep Learning Pipeline

  • Jeon, Sung-Ho;Lee, Cheol-Gyu;Lee, Jae-Deok;Kim, Bo-Seok;Kim, Joo-Man
    • International journal of advanced smart convergence
    • /
    • 제10권4호
    • /
    • pp.278-288
    • /
    • 2021
  • Recently, IoT systems are cloud-based, so that continuous and large amounts of data collected from sensor nodes are processed in the data server through the cloud. However, in the centralized configuration of large-scale cloud computing, computational processing must be performed at a physical location where data collection and processing take place, and the need for edge computers to reduce the network load of the cloud system is gradually expanding. In this paper, a cluster system consisting of 6 inexpensive Raspberry Pi boards was constructed to perform fast data processing. And we propose "Kubernetes cluster system(KCS)" for processing large data collection and analysis by model distribution and data pipeline method. To compare the performance of this study, an ensemble model of deep learning was built, and the accuracy, processing performance, and processing time through the proposed KCS system and model distribution were compared and analyzed. As a result, the ensemble model was excellent in accuracy, but the KCS implemented as a data pipeline proved to be superior in processing speed..

국내 농업기후지대 별 최적기후모형 선정을 통한 미래 벼 도열병 발생 위험도 예측 (Predicting Potential Epidemics of Rice Leaf Blast Disease Using Climate Scenarios from the Best Global Climate Model Selected for Individual Agro-Climatic Zones in Korea)

  • 이성규;김광형
    • 한국기후변화학회지
    • /
    • 제9권2호
    • /
    • pp.133-142
    • /
    • 2018
  • Climate change will affect not only the crop productivity but also the pattern of rice disease epidemics in Korea. Impact assessments for the climate change are conducted using various climate change scenarios from many global climate models (GCM), such as a scenario from a best GCM or scenarios from multiple GCMs, or a combination of both. Here, we evaluated the feasibility of using a climate change scenario from the best GCM for the impact assessment on the potential epidemics of a rice leaf blast disease in Korea, in comparison to a multi?model ensemble (MME) scenario from multiple GCMs. For this, this study involves analyses of disease simulation using an epidemiological model, EPIRICE?LB, which was validated for Korean rice paddy fields. We then assessed likely changes in disease epidemics using the best GCM selected for individual agro?climatic zones and MME scenarios constructed by running 11 GCMs. As a result, the simulated incidence of leaf blast epidemics gradually decreased over the future periods both from the best GCM and MME. The results from this study emphasized that the best GCM selection approach resulted in comparable performance to the MME approach for the climate change impact assessment on rice leaf blast epidemic in Korea.

SUNSPOT AREA PREDICTION BASED ON COMPLEMENTARY ENSEMBLE EMPIRICAL MODE DECOMPOSITION AND EXTREME LEARNING MACHINE

  • Peng, Lingling
    • 천문학회지
    • /
    • 제53권6호
    • /
    • pp.139-147
    • /
    • 2020
  • The sunspot area is a critical physical quantity for assessing the solar activity level; forecasts of the sunspot area are of great importance for studies of the solar activity and space weather. We developed an innovative hybrid model prediction method by integrating the complementary ensemble empirical mode decomposition (CEEMD) and extreme learning machine (ELM). The time series is first decomposed into intrinsic mode functions (IMFs) with different frequencies by CEEMD; these IMFs can be divided into three groups, a high-frequency group, a low-frequency group, and a trend group. The ELM forecasting models are established to forecast the three groups separately. The final forecast results are obtained by summing up the forecast values of each group. The proposed hybrid model is applied to the smoothed monthly mean sunspot area archived at NASA's Marshall Space Flight Center (MSFC). We find a mean absolute percentage error (MAPE) and a root mean square error (RMSE) of 1.80% and 9.75, respectively, which indicates that: (1) for the CEEMD-ELM model, the predicted sunspot area is in good agreement with the observed one; (2) the proposed model outperforms previous approaches in terms of prediction accuracy and operational efficiency.

앙상블 기법을 이용한 가뭄지수 예측 (Drought index forecast using ensemble learning)

  • 정지현;차상훈;김묘정;김광섭;임윤진;이경은
    • Journal of the Korean Data and Information Science Society
    • /
    • 제28권5호
    • /
    • pp.1125-1132
    • /
    • 2017
  • 가뭄의 심도와 빈도가 강해지는 상황에서 가뭄예측을 위한 연구가 지속적으로 이루어지고 있으나 가뭄현상의 시간적 변동이 비선형적이며 복잡하여 단일 모형만으로 예측하기에는 한계가 있다. 이 연구에서는 기상가뭄지수인 표준강수지수 (SPI)와 세계기후지수, 날씨 관련 변수 등과 같은 다양한 설명변수들 사이의 관계를 설명할 선행 모형과 가법 모형을 먼저 구축한 후 앙상블 기법 중 확률 기울기 하강 (stochastic gradient descent; SGD) 방법을 이용하여 가중치를 설정하는 결합모형을 구축하였다. 우리나라 14개 지역에 대한 1954년 ~ 2013년 자료를 이용하여 모형을 구축하고 2014년 ~ 2015년 자료를 이용하여 모형의 성능을 비교하였다. 그 결과 14개 지역 중 8개 지역에 대하여 개별 모형에 비해 결합모형의 성능이 좋았으며 가뭄 예측이 개선되었다.

보안 인텔리전트 유형 분류를 위한 다중 프로파일링 앙상블 모델 (Ensemble Model using Multiple Profiles for Analytical Classification of Threat Intelligence)

  • 김영수
    • 한국콘텐츠학회논문지
    • /
    • 제17권3호
    • /
    • pp.231-237
    • /
    • 2017
  • 최근 기업의 보안 시스템으로부터 수집되는 보안 인텔리전스 수는 악성코드의 확산으로 인해 기하급수적으로 증가하고 있다. 빅 데이터 환경이 도래하면서 기업들은 침해사고에 대한 다양한 정보를 이용할 수 있게 되면서 기업이 수집할 수 있는 침해사고 정보가 다양해지고 있다. 이에 따라 보안 인텔리전스를 구성하고 있는 침해사고의 다양한 속성을 사용하여 보다 정확하게 유사침해사고를 그룹별로 분류할 필요성이 요구되고 있다. 본 연구에서는 유사도 비교 분석 이론에 근거하여 침해사고를 공격유형과 침해자원을 고려한 다중 프로파일을 개발하고, 이를 활용하여 보안 인텔리전스를 구성하고 있는 침해사고 유형 분류의 정확성을 개선하는 다중 프로파일 기반 앙상블 모델을 제안한다. 제안 모델은 침입탐지시스템에서 수집된 계층적 침해자원에 대한 유사도 분석을 통해 새로운 침해사고를 효과적으로 분석할 수 있다. 사실적이고 의미 있는 침해사고의 구성을 통한 유형 분류는 새로운 침해사고에 대한 유사 침해사고를 정확하게 분류 제공함으로써 분석의 실용성을 향상시킨다.

Deep Learning-Based Brain Tumor Classification in MRI images using Ensemble of Deep Features

  • Kang, Jaeyong;Gwak, Jeonghwan
    • 한국컴퓨터정보학회논문지
    • /
    • 제26권7호
    • /
    • pp.37-44
    • /
    • 2021
  • 뇌 MRI 영상의 자동 분류는 뇌종양의 조기 진단을 하는 데 있어 중요한 역할을 한다. 본 연구에서 우리는 심층 특징 앙상블을 사용한 MRI 영상에서의 딥 러닝 기반 뇌종양 분류 모델을 제안한다. 우선 사전 학습된 3개의 합성 곱 신경망을 사용하여 입력 MRI 영상에 대한 심층 특징들을 추출한다. 그 이후 추출된 심층 특징들은 완전 연결 계층들로 구성된 분류 모듈의 입력 값으로 들어간다. 분류 모듈에서는 우선 3개의 서로 다른 심층 특징들 각각에 대해 먼저 완전 연결 계층을 거쳐 특징 차원을 줄인다. 그 이후 3개의 차원이 준 특징들을 결합하여 하나의 특징 벡터를 생성한 뒤 다시 완전 연결 계층의 입력값으로 들어가서 최종적인 분류 결과를 예측한다. 우리가 제안한 모델을 평가하기 위해 웹상에 공개된 뇌 MRI 데이터 셋을 사용하였다. 실험 결과 우리가 제안한 모델이 다른 기계학습 기반 모델보다 더 좋은 성능을 나타냄을 확인하였다.

Projecting the spatial-temporal trends of extreme climatology in South Korea based on optimal multi-model ensemble members

  • Mirza Junaid Ahmad;Kyung-sook Choi
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2023년도 학술발표회
    • /
    • pp.314-314
    • /
    • 2023
  • Extreme climate events can have a large impact on human life by hampering social, environmental, and economic development. Global circulation models (GCMs) are the widely used numerical models to understand the anticipated future climate change. However, different GCMs can project different future climates due to structural differences, varying initial boundary conditions and assumptions about the physical phenomena. The multi-model ensemble (MME) approach can improve the uncertainties associated with the different GCM outcomes. In this study, a comprehensive rating metric was used to select the best-performing GCMs out of 11 CMIP5 and 13 CMIP6 GCMs, according to their skills in terms of four temporal and five spatial performance indices, in replicating the 21 extreme climate indices during the baseline (1975-2017) in South Korea. The MME data were derived by averaging the simulations from all selected GCMs and three top-ranked GCMs. The random forest (RF) algorithm was also used to derive the MME data from the three top-ranked GCMs. The RF-derived MME data of the three top-ranked GCMs showed the highest performance in simulating the baseline extreme climate which was subsequently used to project the future extreme climate indices under both the representative concentration pathway (RCP) and the socioeconomic concentration pathway scenarios (SSP). The extreme cold and warming indices had declining and increasing trends, respectively, and most extreme precipitation indices had increasing trends over the period 2031-2100. Compared to all scenarios, RCP8.5 showed drastic changes in future extreme climate indices. The coasts in the east, south and west had stronger warming than the rest of the country, while mountain areas in the north experienced more extreme cold. While extreme cold climatology gradually declined from north to south, extreme warming climatology continuously grew from coastal to inland and northern mountainous regions. The results showed that the socially, environmentally and agriculturally important regions of South Korea were at increased risk of facing the detrimental impacts of extreme climatology.

  • PDF

앙상블 모델과 SHAP Value를 활용한 국내 중고차 가격 예측 모델에 관한 연구: 차종 특성을 중심으로 (A Study on the Prediction Models of Used Car Prices Using Ensemble Model And SHAP Value: Focus on Feature of the Vehicle Type)

  • 임승준;이정호;류춘호
    • 서비스연구
    • /
    • 제14권1호
    • /
    • pp.27-43
    • /
    • 2024
  • 중고차 시장에서 온라인 플랫폼 서비스의 시장 점유율은 지속적으로 증가하고 있다. 또한 중고차 온라인 플랫폼 서비스는 서비스 이용자에게 차량의 제원, 사고 이력, 점검 내역, 세부 옵션, 그리고 중고차의 가격 등을 공개하고 있다. 2023년 현재 국내 자동차 시장에서 SUV 차종의 신차 점유율은 50% 이상으로 확대되었으며, 하이브리드 차종은 신차 판매량이 지난해에 비해 두 배 이상 증가하였다. 이에 따라 이들 차종은 국내 중고차 시장에서도 인기를 끌고 있다. 기존 연구는 전체 차량 또는 브랜드별 차량을 대상으로 머신러닝 모델을 실행하여 중고차 가격 예측 모델을 제안하였다. 반면 국내 자동차 시장에서 SUV와 하이브리드 차종의 인기는 매년 상승하고 있으나, 이들 차종을 대상으로 중고차 가격 예측 모델을 제안한 연구는 찾기 어려웠다. 본 연구는 국내 시장에서 자국 브랜드가 생산한 세단, SUV, 그리고 하이브리드 차종을 대상으로 차량 제원과 옵션, 총 72개의 특성을 활용하여 이들 차종별 가장 우수한 중고차 가격 예측 모델을 선정하였다. 이를 위해 특성 선택으로 Lasso 회귀 모델을 활용하여 특성을 선별한 후 동일 샘플링으로 앙상블 모델을 실행하였다. 그 결과 모든 차종에서 최우수 모델은 CBR 모델로 선정되었으며, 차종별 최우수 모델을 대상으로 Tree SHAP Value의 시각화를 실행하여 특성의 기여도 및 방향성을 확인하였다. 본 연구의 시사점으로 온라인 플랫폼 서비스를 이용하는 매매관계자에게 차종별 중고차 가격 예측 모델을 제안하고 특성의 기여 수준과 방향성을 확인함으로써 이들 간 정보의 비대칭으로 야기된 문제 해결에 지원이 될 것으로 기대한다.

기후변화에 따른 국내 홍수 취약성 평가 (Korean Flood Vulnerability Assessment on Climate Change)

  • 이문환;정일원;배덕효
    • 한국수자원학회논문집
    • /
    • 제44권8호
    • /
    • pp.653-666
    • /
    • 2011
  • 본 연구에서는 기후변화에 따른 홍수 취약성 평가기법을 제안하고 국내 5대강 유역에 적용 및 평가하고자 하였다. 특히 Multi-Model Ensemble 시나리오를 이용하여 평가 시 발생하는 불확실성을 제시하고자 하였다. 취약성 평가를 위해 우선 유역의 기상, 수문 자료를 비롯한 지형, 인문 사회 정보를 수집, 지표를 산정하여 현재 기후상태 하에서의 홍수 취약성을 평가하였다. 또한 기후변화에 따른 미래 홍수 취약성을 평가하기 위해 기존에 3개 온실가스 배출시나리오, 13개 GCMs (Global Climate Models), 3개 수문모형(2~3개 증발산량 산정방법)으로 생산된 39개 미래 기후시나리오 및 312개 미래 수문시나리오를 이용하여 기준 S0 (1971~2000년) 기간 대비 미래 S1 (2010~2039년), S2 (2040~2069년), S3 (2070~2099년)기간의 홍수 취약성의 시공간적 변화 및 불확실성을 평가하였다. 평가 결과 현재 기후상황에서 홍수에 취약한 지역은 한강, 섬진강, 영산강 하류 지역으로 나타났으며, 미래 기후변화 시나리오를 고려한 결과 낙동강, 금강, 한강 권역에서의 민감도가 가장 크게 변할 것으로 분석되었으나, 기본적으로 섬진강 유역의 적응능력이 낮기 때문에 미래에도 섬진강 유역이 홍수에 가장 취약할 것으로 분석되었다.