• 제목/요약/키워드: Ensemble Techniques

검색결과 177건 처리시간 0.03초

An Ensemble Approach to Detect Fake News Spreaders on Twitter

  • Sarwar, Muhammad Nabeel;UlAmin, Riaz;Jabeen, Sidra
    • International Journal of Computer Science & Network Security
    • /
    • 제22권5호
    • /
    • pp.294-302
    • /
    • 2022
  • Detection of fake news is a complex and a challenging task. Generation of fake news is very hard to stop, only steps to control its circulation may help in minimizing its impacts. Humans tend to believe in misleading false information. Researcher started with social media sites to categorize in terms of real or fake news. False information misleads any individual or an organization that may cause of big failure and any financial loss. Automatic system for detection of false information circulating on social media is an emerging area of research. It is gaining attention of both industry and academia since US presidential elections 2016. Fake news has negative and severe effects on individuals and organizations elongating its hostile effects on the society. Prediction of fake news in timely manner is important. This research focuses on detection of fake news spreaders. In this context, overall, 6 models are developed during this research, trained and tested with dataset of PAN 2020. Four approaches N-gram based; user statistics-based models are trained with different values of hyper parameters. Extensive grid search with cross validation is applied in each machine learning model. In N-gram based models, out of numerous machine learning models this research focused on better results yielding algorithms, assessed by deep reading of state-of-the-art related work in the field. For better accuracy, author aimed at developing models using Random Forest, Logistic Regression, SVM, and XGBoost. All four machine learning algorithms were trained with cross validated grid search hyper parameters. Advantages of this research over previous work is user statistics-based model and then ensemble learning model. Which were designed in a way to help classifying Twitter users as fake news spreader or not with highest reliability. User statistical model used 17 features, on the basis of which it categorized a Twitter user as malicious. New dataset based on predictions of machine learning models was constructed. And then Three techniques of simple mean, logistic regression and random forest in combination with ensemble model is applied. Logistic regression combined in ensemble model gave best training and testing results, achieving an accuracy of 72%.

Design of A Personalized Classifier using Soft Computing Techniques and Its Application to Facial Expression Recognition

  • Kim, Dae-Jin;Zeungnam Bien
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 2003년도 ISIS 2003
    • /
    • pp.521-524
    • /
    • 2003
  • In this paper, we propose a design process of 'personalized' classification with soft computing techniques. Based on human's thinking way, a construction methodology for personalized classifier is mentioned. Here, two fuzzy similarity measures and ensemble of classifiers are effectively used. As one of the possible applications, facial expression recognition problem is discussed. The numerical result shows that the proposed method is very useful for on-line learning, reusability of previous knowledge and so on.

  • PDF

신경망과 의사결정 나무를 이용한 충수돌기염 환자의 재원일수 예측모형 개발 (Length-of-Stay Prediction Model of Appendicitis using Artificial Neural Networks and Decision Tree)

  • 정석훈;한우석;서용무;이현실
    • 한국산학기술학회논문지
    • /
    • 제10권6호
    • /
    • pp.1424-1432
    • /
    • 2009
  • 충수돌기염 환자의 LoS(Length of Stay)를 예측하는 것은 병상의 운영에 적지 않은 영향을 준다. 본 논문에서는 Neural Networks와 Decision Tree를 이용하여 LoS와 연관이 높은 입력변수들을 찾아 그 의미를 분석하며, 찾아낸 입력변수들을 이용하여 다양한 LoS 예측 모형을 개발하고 그 성능을 비교하였다. 모형의 예측 정확성을 높이기 위하여 Bagging과 Boosting 등의 Ensemble 기법도 적용하였다. 실험 결과, Decision Tree 모형이 Neural Networks 모형보다 좀 더 적은 수의 속성을 가지고도 거의 통일한 예측력을 보였으며, Ensemble 기법 중에서는 Bagging 기법이 Boosting 기법보다 좋은 결과를 보여주었다. 의사결정나무 기법은 Neural Networks 기법에 비해 설명력이 있으며, 충수돌기염의 LoS 예측에 매우 효과적이었고, 중요 입력 변수의 선정에도 좋은 결과를 보여줌에 따라 향후 적극적인 기법의 도입이 필요하다고 할 수 있다.

Word2Vec과 앙상블 합성곱 신경망을 활용한 영화추천 시스템의 정확도 개선에 관한 연구 (A Study on the Accuracy Improvement of Movie Recommender System Using Word2Vec and Ensemble Convolutional Neural Networks)

  • 강부식
    • 디지털융복합연구
    • /
    • 제17권1호
    • /
    • pp.123-130
    • /
    • 2019
  • 웹 추천기법에서 가장 많이 사용하는 방식 중의 하나는 협업필터링 기법이다. 협업필터링 관련 많은 연구에서 정확도를 개선하기 위한 방안이 제시되어 왔다. 본 연구는 Word2Vec과 앙상블 합성곱 신경망을 활용한 영화추천 방안에 대해 제안한다. 먼저 사용자, 영화, 평점 정보에서 사용자 문장과 영화 문장을 구성한다. 사용자 문장과 영화 문장을 Word2Vec에 입력으로 넣어 사용자 벡터와 영화 벡터를 구한다. 사용자 벡터는 사용자 합성곱 모델에 입력하고, 영화 벡터는 영화 합성곱 모델에 입력한다. 사용자 합성곱 모델과 영화 합성곱 모델은 완전연결 신경망 모델로 연결된다. 최종적으로 완전연결 신경망의 출력 계층은 사용자 영화 평점의 예측값을 출력한다. 실험결과 전통적인 협업필터링 기법과 유사 연구에서 제안한 Word2Vec과 심층 신경망을 사용한 기법에 비해 본 연구의 제안기법이 정확도를 개선함을 알 수 있었다.

인공지능형 전훈분석기술: 'L2-OODA 앙상블 알고리즘'을 중심으로 (Technology of Lessons Learned Analysis using Artificial intelligence: Focused on the 'L2-OODA Ensemble Algorithm')

  • 양성실;신진
    • 융합보안논문지
    • /
    • 제21권2호
    • /
    • pp.67-79
    • /
    • 2021
  • 전훈이란 군사용어로서 전투발전분야의 교육과 현실에서 문제점이 확인되거나 개선이 필요한 요소를 찾아서 미래의 발전을 도모하는 모든 활동이다. 이 논문에서는 전훈활동을 추진하는데 드러나는 문제점, 즉 분석시 장기간 소요, 예산 문제, 전문가 필요성 등을 해결하고자 실제 사례를 제시하고 인공지능 분석 추론기술을 적용하는 데 초점을 맞춘다. 이미 실용화되어 사용 중인, 인지 컴퓨팅 관련 기술을 활용한 인공지능 법률자문 서비스가 전훈의 문제점을 해결하는데 가장 적합한 사례로 판단했다. 이 논문은 인공지능을 활용한 지능형 전훈분석 추론기술의 효과적인 적용방안을 제시한다. 이를 위해, 전훈분석 정의 및 사례, 인공지능의 머신러닝으로 진화, 인지 컴퓨팅 등 이론적 배경을 살펴보고, 새롭게 제안한 L2-OODA 앙상블 알고리즘을 이용해 국방분야 신기술에 적용함으로써 현존전력 개선 및 최적화를 구현하는데 기여하고자 한다.

랜덤 투영 앙상블 기법을 활용한 적응 최근접 이웃 판별분류기법 (Random projection ensemble adaptive nearest neighbor classification)

  • 강종경;전명식
    • 응용통계연구
    • /
    • 제34권3호
    • /
    • pp.401-410
    • /
    • 2021
  • 판별분류분석에서 널리 이용되는 k-최근접 이웃 분류 방법은 고정된 이웃의 수만을 고려하여 자료의 국소적 특징을 반영하지 못하는 한계가 있다. 이에 자료의 국소적 구조를 고려하여 이웃의 개수를 선택하는 적응 최근접이웃방법이 개발된 바 있다. 고차원 자료의 분석에 있어서는 k-최근접 이웃 분류를 사용하기 전에 랜덤 투영 기법 등을 활용하여 차원 축소를 수행하는 것이 일반적이다. 이렇게 랜덤 투영시킨 다수의 분류 결과들을 면밀히 조합하여 투표를 통해 최종 할당을 하는 기법이 최근 개발된 바 있다. 본 연구에서는 고차원 자료에서의 분석을 위해 적응 최근접이웃방법과 랜덤 투영 앙상블 기법을 조합한 새로운 판별분류 기법을 제안하였다. 제안된 방법은 기존에 개발된 방법에 비해 분류 정확성 측면에서 더 뛰어남을 모의실험 및 실제 사례 분석을 통해 확인하였다.

앙상블 머신러닝 모델 기반 유튜브 스팸 댓글 탐지 (Ensemble Machine Learning Model Based YouTube Spam Comment Detection)

  • 정민철;이지현;오하영
    • 한국정보통신학회논문지
    • /
    • 제24권5호
    • /
    • pp.576-583
    • /
    • 2020
  • 이 논문은 최근 엄청난 성장을 하고 있는 유튜브의 댓글 중 스팸 댓글을 판별하는 기법을 제안한다. 유튜브에서는 광고를 통한 수익 창출이 가능하기 때문에 인기 동영상에서 자신의 채널이나 동영상을 홍보하거나 영상과 관련 없는 댓글을 남기는 스패머(spammer)들이 나타났다. 유튜브에서는 자체적으로 스팸 댓글을 차단하는 시스템을 운영하고 있지만 여전히 제대로 차단하지 못한 스팸 댓글들이 있다. 따라서, 유튜브 스팸 댓글 판별에 대한 관련 연구들을 살펴 보고 인기 동영상인 싸이, 케이티 페리, LMFAO, 에미넴, 샤키라의 뮤직비디오 댓글 데이터에 6가지 머신러닝 기법(의사결정나무, 로지스틱 회귀분석, 베르누이 나이브 베이즈, 랜덤 포레스트, 선형 커널을 이용한 서포트 벡터 머신, 가우시안 커널을 이용한 서포트 벡터 머신)과 이들을 결합한 앙상블 모델로 스팸 탐지 실험을 진행하였다.

반응표면법과 크리깅의 혼합모델을 이용한 구조설계방법 (A Structural Design Method Using Ensemble Model of RSM and Kriging)

  • 김남희;이권희
    • 한국산학기술학회논문지
    • /
    • 제16권3호
    • /
    • pp.1630-1638
    • /
    • 2015
  • 많은 산업분야에서 구조설계 시 구조성능을 검토하기 위한 유한요소해석은 필수적인 과정이 되었다. 이와 함께, 컴퓨터의 성능도 급속도로 개선되고 있지만 대형 문제의 경우에는 최적설계기법을 적용하는데 한계가 있다. 이러한 대형 문제의 최적화를 위하여 메타모델을 이용한 근사모델을 이용하고 있다. 근사모델을 생성하는 방법은 곡선맞춤법과 내삽법으로 분류할 수 있는데, 반응표면모델과 크리깅 모델이 대표적인 것이다. 그러나 각 모델은 오버피팅이나 언더피팅이 될 수 있는 단점이 있다. 본 연구에서는 반응표면과 크리깅으로 구성되는 혼합모델에 의한 메타모델을 이용하여 구조설계에 적용하고자 한다. 제안된 방법을 2부재 구조물과 자동차용 아우터타이로드의 구조설계에 적용하였다.

앙상블 예측기법을 통한 유역 월유출 전망 (Forecasting Monthly Runoff Using Ensemble Streamflow Prediction)

  • 이상진;김주철;황만하;맹승진
    • 한국농공학회논문집
    • /
    • 제52권1호
    • /
    • pp.13-18
    • /
    • 2010
  • In this study the validities of runoff prediction methods are reviewed around ESP (Ensemble Streamflow Prediction) techniques. The improvements of runoff predictions on Yongdam river basin are evaluated by the comparison of different prediction methods including ESP incorporated with qualitative meteorological outlooks provided by meteorological agency as well as the runoff forecasting based on the analysis of the historical rainfall scenarios. As a result it is assessed that runoff predictions with ESP may give rise to more accurate results than the ordinary historical average runoffs. In deed the latter gave the mean of yearly absolute error as to be 60.86 MCM while the errors of the former ones amounted to 44.12 MCM (ESP) and 42.83 MCM (ESP incorporated with qualitative meteorological outlooks) respectively. In addition it is confirmed that ESP incorporated with qualitative meteorological outlooks could improve the accuracy of the results more and more. Especially the degree of improvement of ESP with meteorological outlooks shows rising by 10.8% in flood season and 8% in drought season. Therefore the methods of runoff predictions with ESP can be further used as the basic forecasting information tool for the purpose of the effective watershed management.

Enhancing prediction accuracy of concrete compressive strength using stacking ensemble machine learning

  • Yunpeng Zhao;Dimitrios Goulias;Setare Saremi
    • Computers and Concrete
    • /
    • 제32권3호
    • /
    • pp.233-246
    • /
    • 2023
  • Accurate prediction of concrete compressive strength can minimize the need for extensive, time-consuming, and costly mixture optimization testing and analysis. This study attempts to enhance the prediction accuracy of compressive strength using stacking ensemble machine learning (ML) with feature engineering techniques. Seven alternative ML models of increasing complexity were implemented and compared, including linear regression, SVM, decision tree, multiple layer perceptron, random forest, Xgboost and Adaboost. To further improve the prediction accuracy, a ML pipeline was proposed in which the feature engineering technique was implemented, and a two-layer stacked model was developed. The k-fold cross-validation approach was employed to optimize model parameters and train the stacked model. The stacked model showed superior performance in predicting concrete compressive strength with a correlation of determination (R2) of 0.985. Feature (i.e., variable) importance was determined to demonstrate how useful the synthetic features are in prediction and provide better interpretability of the data and the model. The methodology in this study promotes a more thorough assessment of alternative ML algorithms and rather than focusing on any single ML model type for concrete compressive strength prediction.