• 제목/요약/키워드: Ensemble Neural Network

검색결과 129건 처리시간 0.023초

A Statistical Perspective of Neural Networks for Imbalanced Data Problems

  • Oh, Sang-Hoon
    • International Journal of Contents
    • /
    • 제7권3호
    • /
    • pp.1-5
    • /
    • 2011
  • It has been an interesting challenge to find a good classifier for imbalanced data, since it is pervasive but a difficult problem to solve. However, classifiers developed with the assumption of well-balanced class distributions show poor classification performance for the imbalanced data. Among many approaches to the imbalanced data problems, the algorithmic level approach is attractive because it can be applied to the other approaches such as data level or ensemble approaches. Especially, the error back-propagation algorithm using the target node method, which can change the amount of weight-updating with regards to the target node of each class, attains good performances in the imbalanced data problems. In this paper, we analyze the relationship between two optimal outputs of neural network classifier trained with the target node method. Also, the optimal relationship is compared with those of the other error function methods such as mean-squared error and the n-th order extension of cross-entropy error. The analyses are verified through simulations on a thyroid data set.

Parallel Network Model of Abnormal Respiratory Sound Classification with Stacking Ensemble

  • Nam, Myung-woo;Choi, Young-Jin;Choi, Hoe-Ryeon;Lee, Hong-Chul
    • 한국컴퓨터정보학회논문지
    • /
    • 제26권11호
    • /
    • pp.21-31
    • /
    • 2021
  • 최근 코로나(Covid-19)의 영향으로 스마트 헬스케어 관련 산업과 비대면 방식의 원격 진단을 통한 질환 분류 예측 연구의 필요성이 증가하고 있다. 일반적으로 호흡기 질환의 진단은 비용이 많이 들고 숙련된 의료 전문가를 필요로 하여 현실적으로 조기 진단 및 모니터링에 한계가 있다. 따라서, 간단하고 편리한 청진기로부터 수집된 호흡음을 딥러닝 기반 모델을 활용하여 높은 정확도로 분류하고 조기 진단이 필요하다. 본 연구에서는 청진을 통해 수집된 폐음 데이터를 이용하여 이상 호흡음 분류모델을 제안한다. 데이터 전처리로는 대역통과필터(BandPassFilter)방법론을 적용하고 로그 멜 스펙트로그램(Log-Mel Spectrogram)과 Mel Frequency Cepstral Coefficient(MFCC)을 이용하여 폐음의 특징적인 정보를 추출하였다. 추출된 폐음의 특징에 대해서 효과적으로 분류할 수 있는 병렬 합성곱 신경망 네트워크(Parallel CNN network)모델을 제안하고 다양한 머신러닝 분류기(Classifiers)와 결합한 스태킹 앙상블(Stacking Ensemble) 방법론을 이용하여 이상 호흡음을 높은 정확도로 분류하였다. 본 논문에서 제안한 방법은 96.9%의 정확도로 이상 호흡음을 분류하였으며, 기본모델의 결과 대비 정확도가 약 6.1% 향상되었다.

합성곱 신경망을 이용한 주가방향 예측: 상관관계 속성선택 방법을 중심으로 (Stock Price Direction Prediction Using Convolutional Neural Network: Emphasis on Correlation Feature Selection)

  • 어균선;이건창
    • 경영정보학연구
    • /
    • 제22권4호
    • /
    • pp.21-39
    • /
    • 2020
  • 딥러닝(Deep learning) 기법은 패턴분석, 이미지분류 등 다양한 분야에서 높은 성과를 나타내고 있다. 특히, 주식시장 분석문제는 머신러닝 연구분야에서도 어려운 분야이므로 딥러닝이 많이 활용되는 영역이다. 본 연구에서는 패턴분석과 분류능력이 높은 딥러닝의 일종인 합성곱신경망(Convolutional Neural Network) 모델을 활용하여 주가방향 예측방법을 제안한다. 추가적으로 합성곱신경망 모델을 효율적으로 학습시키기 위한 속성선택(Feature Selection, FS)방법이 적용된다. 합성곱신경망 모델의 성과는 머신러닝 단일 분류기와 앙상블 분류기를 벤치마킹하여 객관적으로 검증된다. 본 연구에서 벤치마킹한 분류기는 로지스틱 회귀분석(Logistic Regression), 의사결정나무(Decision Tree), 인공신경망(Neural Network), 서포트 벡터머신(Support Vector Machine), 아다부스트(Adaboost), 배깅(Bagging), 랜덤포레스트(Random Forest)이다. 실증분석 결과, 속성선택을 적용한 합성곱신경망이 다른 벤치마킹 분류기보다 분류 성능이 상대적으로 높게 나타났다. 이러한 결과는 합성곱신경망 모델과 속성선택방법을 적용한 예측방법이 기업의 재무자료에 내포된 가치를 보다 정교하게 분석할 수 있는 가능성이 있음을 실증적으로 확인할 수 있었다.

Early Detection of Rice Leaf Blast Disease using Deep-Learning Techniques

  • Syed Rehan Shah;Syed Muhammad Waqas Shah;Hadia Bibi;Mirza Murad Baig
    • International Journal of Computer Science & Network Security
    • /
    • 제24권4호
    • /
    • pp.211-221
    • /
    • 2024
  • Pakistan is a top producer and exporter of high-quality rice, but traditional methods are still being used for detecting rice diseases. This research project developed an automated rice blast disease diagnosis technique based on deep learning, image processing, and transfer learning with pre-trained models such as Inception V3, VGG16, VGG19, and ResNet50. The modified connection skipping ResNet 50 had the highest accuracy of 99.16%, while the other models achieved 98.16%, 98.47%, and 98.56%, respectively. In addition, CNN and an ensemble model K-nearest neighbor were explored for disease prediction, and the study demonstrated superior performance and disease prediction using recommended web-app approaches.

강건한 태양광 발전량 예측을 위한 2단계 신경망 최적화 (Two-Stage Neural Network Optimization for Robust Solar Photovoltaic Forecasting)

  • 오진영;소다영;문지훈
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2024년도 제69차 동계학술대회논문집 32권1호
    • /
    • pp.31-34
    • /
    • 2024
  • 태양광 에너지는 탄소 중립 이행을 위한 주요 방안으로 많은 주목을 받고 있다. 태양광 발전량은 여러 환경적 요인에 따라 크게 달라질 수 있으므로, 정확한 발전량 예측은 전력 네트워크의 안정성과 효율적인 에너지 관리에 근본적으로 중요하다. 대표적인 인공지능 기술인 신경망(Neural Network)은 불안정한 환경 변수와 복잡한 상호작용을 효과적으로 학습할 수 있어 태양광 발전량 예측에서 우수한 성능을 도출하였다. 하지만, 신경망은 모델의 구조나 초매개변수(Hyperparameter)를 최적화하는 것은 복잡하고 시간이 많이 드는 작업이므로, 에너지 분야에서 실제 산업 적용에 한계가 존재한다. 본 논문은 2단계 신경망 최적화를 통한 태양광 발전량 예측 기법을 제안한다. 먼저, 태양광 발전량 데이터 셋을 훈련 집합과 평가 집합으로 분할한다. 훈련 집합에서, 각기 다른 은닉층의 개수로 구성된 여러 신경망 모델을 구성하고, 모델별로 Optuna를 적용하여 최적의 초매개변숫값을 선정한다. 다음으로, 은닉층별 최적화된 신경망 모델을 이용해 훈련과 평가 집합에서는 각각 5겹 교차검증을 적용한 발전량 추정값과 예측값을 출력한다. 마지막으로, 스태킹 앙상블 방식을 채택해 기본 초매개변숫값으로 설정해도 우수한 성능을 도출하는 랜덤 포레스트를 이용하여 추정값을 학습하고, 평가 집합의 예측값을 입력으로 받아 최종 태양광 발전량을 예측한다. 인천 지역으로 실험한 결과, 제안한 방식은 모델링이 간편할 뿐만 아니라 여러 신경망 모델보다 우수한 예측 성능을 도출하였으며, 이를 바탕으로 국내 에너지 산업에 이바지할 수 있을 것으로 기대한다.

  • PDF

앙상블 경험적 모드 분해법을 이용한 도시부 단기 통행속도 예측 (Short-term Prediction of Travel Speed in Urban Areas Using an Ensemble Empirical Mode Decomposition)

  • 김의진;김동규
    • 대한토목학회논문집
    • /
    • 제38권4호
    • /
    • pp.579-586
    • /
    • 2018
  • 단기 통행속도 예측을 위해 데이터 기반 비모수적 기법들을 활용한 다양한 연구들이 수행되고 있다. 그럼에도 교통신호 및 교차로로 인한 복잡한 동적 특성을 가지는 도시부의 예측 연구는 상대적으로 부족한 실정이다. 본 연구는 도시부 통행 속도를 예측하기 위해 앙상블 경험적 모드 분해법(EEMD)과 인공신경망(ANN)을 이용한 하이브리드 접근법을 제안하는 것을 목적으로 한다. EEMD는 통행속도의 시계열 자료를 고유모드함수(IMF)와 오차항으로 분해한다. 분해된 IMF는 시간단위의 국지적 특성을 반영하며, ANN을 통해 개별적으로 예측된다. IMF는 원본데이터가 가진 비선형성, 비정상성, 진동 등의 복잡성을 완화하기 때문에, 원래의 통행속도에 비하여 더 정확하게 예측될 수 있다. 예측된 IMF들은 합산되어 예측 통행속도를 표현한다. 본 연구에서 제시된 방법을 검증하기 위하여 대구시의 DSRC로부터 구득된 통행속도 데이터가 활용된다. 성능평가는 도시부 링크 중 특히 예측이 어려운 지점에 대해 수행되었으며, 분석 결과 제시된 모형은 15분 후 예측에 대해 각각 평상시 10.41%, 와해상태시 25.35%의 오차율을 가지며, 단순 ANN 기법에 비하여 우수한 성능을 보이는 것으로 확인된다. 본 연구에서 개발된 모형은 도시교통관리체계의 신뢰성 있는 교통정보를 제공하는 데에 기여할 수 있을 것으로 기대된다.

선형변수 기계학습 기법을 활용한 저속비대선의 잉여저항계수 추정 (Prediction of Residual Resistance Coefficient of Low-Speed Full Ships Using Hull Form Variables and Machine Learning Approaches)

  • 김유철;양경규;김명수;이영연;김광수
    • 대한조선학회논문집
    • /
    • 제57권6호
    • /
    • pp.312-321
    • /
    • 2020
  • In this study, machine learning techniques were applied to predict the residual resistance coefficient (Cr) of low-speed full ships. The used machine learning methods are Ridge regression, support vector regression, random forest, neural network and their ensemble model. 19 hull form variables were used as input variables for machine learning methods. The hull form variables and Cr data obtained from 139 hull forms of KRISO database were used in analysis. 80 % of the total data were used as training models and the rest as validation. Some non-linear models showed the overfitted results and the ensemble model showed better results than others.

가상 데이터와 융합 분류기에 기반한 얼굴인식 (Face Recognition based on Hybrid Classifiers with Virtual Samples)

  • 류연식;오세영
    • 전자공학회논문지CI
    • /
    • 제40권1호
    • /
    • pp.19-29
    • /
    • 2003
  • 본 논문은 인위적으로 생성된 가상 학습 데이터와 융합 분류기를 이용한 얼굴인식 알고리즘을 제안한다. 특징공간에서의 최근접 특징 선택 방법과 연결주의 모델에 기반한 서로 다른 형태의 분류기를 융합하여 통합효과를 얻도록 하였다. 두 분류기는 모두 학습 데이터의 공간적인 분포에 따라 생성된 가상 학습데이터를 이용하여 학습되고 이용된다. 첫째로, 특징 공간에서의 각 정보(Angular Infnrmation) 를 이용하는 최근접특징각(the Nearest Feature Angle : NFA)을 이용하여 저장된 학습데이터와 가장 근접한 것을 찾고, 둘째로, 질의(Query) 얼굴 특징 정보를 정면얼굴 영상의 특징정보로 투영하여 얻은 정보에 기반한 분류기의 결과를 이용한다. 정면영상 특징정보로의 투영은 다층 신경망을 이용하여 정면 회상망(Frontal Recall Network)을 구현하였고, 이것을 여러 개 묶어 앙상블 네트웍으로 구성한 Ensemble 회상망(Ensemble Recall Network)을 사용하여 일반화 성능을 향상시켰다. 끝으로, 각 분류기의 결과에 따라 융합 분류기가 최종 결과를 선택하도록 하였다. 제안된 알고리즘을 6 종류의 서고 다른 학습/시험데이터 군에 적용하여 평균 96.33%의 인식률을 얻었다. 이것은 특징라인에 기반한 방법(the Nearest Feature Line) 평균 에러율의 61.2% 이며, 단일 분류기를 사용한 경우 보다 안정된 견과를 얻고 있다.

다중모형조합기법을 이용한 상품추천시스템 (Product Recommender Systems using Multi-Model Ensemble Techniques)

  • 이연정;김경재
    • 지능정보연구
    • /
    • 제19권2호
    • /
    • pp.39-54
    • /
    • 2013
  • 전자상거래의 폭발적 증가는 소비자에게 더 유리한 많은 구매 선택의 기회를 제공한다. 이러한 상황에서 자신의 구매의사결정에 대한 확신이 부족한 소비자들은 의사결정 절차를 간소화하고 효과적인 의사결정을 위해 추천을 받아들인다. 온라인 상점의 상품추천시스템은 일대일 마케팅의 대표적 실현수단으로써의 가치를 인정받고 있다. 그러나 사용자의 기호를 제대로 반영하지 못하는 추천시스템은 사용자의 실망과 시간낭비를 발생시킨다. 본 연구에서는 정확한 사용자의 기호 반영을 통한 추천기법의 정교화를 위해 데이터마이닝과 다중모형조합기법을 이용한 상품추천시스템 모형을 제안하고자 한다. 본 연구에서 제안하는 모형은 크게 두 개의 단계로 이루어져 있으며, 첫 번째 단계에서는 상품군 별 우량고객 선정 규칙을 도출하기 위해서 로지스틱 회귀분석 모형, 의사결정나무 모형, 인공신경망 모형을 구축한 후 다중모형조합기법인 Bagging과 Bumping의 개념을 이용하여 세 가지 모형의 결과를 조합한다. 두 번째 단계에서는 상품군 별 연관관계에 관한 규칙을 추출하기 위하여 장바구니분석을 활용한다. 상기의 두 단계를 통하여 상품군 별로 구매가능성이 높은 우량고객을 선정하여 그 고객에게 관심을 가질만한 같은 상품군 또는 다른 상품군 내의 다른 상품을 추천하게 된다. 제안하는 상품추천시스템은 실제 운영 중인 온라인 상점인 'I아트샵'의 데이터를 이용하여 프로토타입을 구축하였고 실제 소비자에 대한 적용가능성을 확인하였다. 제안하는 모형의 유용성을 검증하기 위하여 제안 상품추천시스템의 추천과 임의 추천을 통한 추천의 결과를 사용자에게 제시하고 제안된 추천에 대한 만족도를 조사한 후 대응표본 T검정을 수행하였으며, 그 결과 사용자의 만족도를 유의하게 향상시키는 것으로 나타났다.

배깅 및 스태킹 기반 앙상블 기계학습법을 이용한 고성능 콘크리트 압축강도 예측모델 개발 (Development of a High-Performance Concrete Compressive-Strength Prediction Model Using an Ensemble Machine-Learning Method Based on Bagging and Stacking)

  • 곽윤지;고채연;곽신영;임승현
    • 한국전산구조공학회논문집
    • /
    • 제36권1호
    • /
    • pp.9-18
    • /
    • 2023
  • 고성능 콘크리트(HPC) 압축강도는 추가적인 시멘트질 재료의 사용으로 인해 예측하기 어렵고, 개선된 예측 모델의 개발이 필수적이다. 따라서, 본 연구의 목적은 배깅과 스태킹을 결합한 앙상블 기법을 사용하여 HPC 압축강도 예측 모델을 개발하는 것이다. 이 논문의 핵심적 기여는 기존 앙상블 기법인 배깅과 스태킹을 통합하여 새로운 앙상블 기법을 제시하고, 단일 기계학습 모델의 문제점을 해결하여 모델 예측 성능을 높이고자 한다. 단일 기계학습법으로 비선형 회귀분석, 서포트 벡터 머신, 인공신경망, 가우시안 프로세스 회귀를 사용하고, 앙상블 기법으로 배깅, 스태킹을 이용하였다. 결과적으로 본 연구에서 제안된 모델이 단일 기계학습 모델, 배깅 및 스태킹 모델보다 높은 정확도를 보였다. 이는 대표적인 4가지 성능 지표 비교를 통해 확인하였고, 제안된 방법의 유효성을 검증하였다.