• 제목/요약/키워드: Ensemble models

검색결과 360건 처리시간 0.029초

대용량 악성코드의 특징 추출 가속화를 위한 분산 처리 시스템 설계 및 구현 (Distributed Processing System Design and Implementation for Feature Extraction from Large-Scale Malicious Code)

  • 이현종;어성율;황두성
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제8권2호
    • /
    • pp.35-40
    • /
    • 2019
  • 기존 악성코드 탐지는 다형성 또는 난독화 기법이 적용된 변종 악성코드 탐지에 취약하다. 기계학습 알고리즘은 악성코드에 내재된 패턴을 학습시켜 유사 행위 탐지가 가능해 기존 탐지 방법을 대체할 수 있다. 시간에 따라 변화하는 악성코드 패턴을 학습시키기 위해 지속적으로 데이터를 수집해야한다. 그러나 대용량 악성코드 파일의 저장 및 처리 과정은 높은 공간과 시간 복잡도가 수반된다. 이 논문에서는 공간 복잡도를 완화하고 처리 시간을 가속화하기 위해 HDFS 기반 분산 처리 시스템을 설계한다. 분산 처리 시스템을 이용해 2-gram 특징과 필터링 기준에 따른 API 특징 2개, APICFG 특징을 추출하고 앙상블 학습 모델의 일반화 성능을 비교했다. 실험 결과로 특징 추출의 시간 복잡도는 컴퓨터 한 대의 처리 시간과 비교했을 때 약 3.75배 속도가 개선되었으며, 공간 복잡도는 약 5배의 효율성을 보였다. 특징 별 분류 성능을 비교했을 때 2-gram 특징이 가장 우수했으나 훈련 데이터 차원이 높아 학습 시간이 오래 소요되었다.

Remote Sensing Image Classification for Land Cover Mapping in Developing Countries: A Novel Deep Learning Approach

  • Lynda, Nzurumike Obianuju;Nnanna, Nwojo Agwu;Boukar, Moussa Mahamat
    • International Journal of Computer Science & Network Security
    • /
    • 제22권2호
    • /
    • pp.214-222
    • /
    • 2022
  • Convolutional Neural networks (CNNs) are a category of deep learning networks that have proven very effective in computer vision tasks such as image classification. Notwithstanding, not much has been seen in its use for remote sensing image classification in developing countries. This is majorly due to the scarcity of training data. Recently, transfer learning technique has successfully been used to develop state-of-the art models for remote sensing (RS) image classification tasks using training and testing data from well-known RS data repositories. However, the ability of such model to classify RS test data from a different dataset has not been sufficiently investigated. In this paper, we propose a deep CNN model that can classify RS test data from a dataset different from the training dataset. To achieve our objective, we first, re-trained a ResNet-50 model using EuroSAT, a large-scale RS dataset to develop a base model then we integrated Augmentation and Ensemble learning to improve its generalization ability. We further experimented on the ability of this model to classify a novel dataset (Nig_Images). The final classification results shows that our model achieves a 96% and 80% accuracy on EuroSAT and Nig_Images test data respectively. Adequate knowledge and usage of this framework is expected to encourage research and the usage of deep CNNs for land cover mapping in cases of lack of training data as obtainable in developing countries.

기계학습 기반의 메타모델을 활용한 ZnO 바리스터 소결 공정 최적화 연구 (Sintering process optimization of ZnO varistor materials by machine learning based metamodel)

  • 김보열;서가원;하만진;홍연우;정찬엽
    • 한국결정성장학회지
    • /
    • 제31권6호
    • /
    • pp.258-263
    • /
    • 2021
  • ZnO 바리스터는 다결정구조를 가지는 반도체 소자로 결정립과 입계의 미세구조 제어를 통해 비선형적인 전류/전압 특성을 가지기 때문에 서지(surge)전압으로부터 회로를 보호하는 역할을 한다. 이러한 ZnO 바리스터에서 원하는 전기적 물성을 얻기 위해서는 소결 공정에서 미세구조의 제어가 중요하다. 따라서 소결 공정에서 중요한 변수들과 소결체의 전기적 물성인 유전율로 구성된 데이터셋을 정의한 후 실험계획법 기반으로 데이터를 수집했다. 수집된 실험데이터셋을 기계학습 알고리즘에 학습하여 메타모델을 개발했고, 개발된 메타모델에 수치기반 최적화 알고리즘인 HMA(Hybrid Metaheuristic Algorithm)를 적용하여 최대 유전율을 가질 수 있는 공정조건을 도출했다. 이러한 메타모델 기반의 최적화를 다변수 시스템인 세라믹공정에 적용한다면 최소한의 실험만으로 최적 공정조건 탐색이 가능할 것으로 판단된다.

Assessment of Historical and Future Climatic Trends in Seti-Gandaki Basin of Nepal. A study based on CMIP6 Projections

  • Bastola Shiksha;Cho Jaepil;Jung Younghun
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2023년도 학술발표회
    • /
    • pp.162-162
    • /
    • 2023
  • Climate change is a complex phenomenon having its impact on diverse sectors. Temperature and precipitation are two of the most fundamental variables used to characterize climate, and changes in these variables can have significant impacts on ecosystems, agriculture, and human societies. This study evaluated the historical (1981-2010) and future (2011-2100) climatic trends in the Seti-Gandaki basin of Nepal based on 5 km resolution Multi Model Ensemble (MME) of 18 Global Climate Models (GCMs) from the Coupled Model Intercomparison Project Phase 6 (CMIP6) for SSP1-2.6, SSP2-4.5 and SSP5-85 scenarios. For this study, ERA5 reanalysis dataset is used for historical reference dataset instead of observation dataset due to a lack of good observation data in the study area. Results show that the basin has experienced continuous warming and an increased precipitation pattern in the historical period, and this rising trend is projected to be more prominent in the future. The Seti basin hosts 13 operational hydropower projects of different sizes, with 10 more planned by the government. Consequently, the findings of this study could be leveraged to design adaptation measures for existing hydropower schemes and provide a framework for policymakers to formulate climate change policies in the region. Furthermore, the methodology employed in this research could be replicated in other parts of the country to generate precise climate projections and offer guidance to policymakers in devising sustainable development plans for sectors like irrigation and hydropower.

  • PDF

기후 예보 모델의 동북아시아 봄철 가뭄 예측성 연구 (Assessment of Seasonal Forecast Skill of Springtime Droughts over Northeast Asia in Climate Forecast Models)

  • 감종훈;김병희
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2023년도 학술발표회
    • /
    • pp.42-42
    • /
    • 2023
  • 최근 IPCC 6차 보고서에서는 전 지구의 온도가 0.5℃가 증가할 때마다 기상학적 가뭄 지역이 증가하며, 인위적 강제력은 가뭄 현상의 강도와 빈도를 증가하는 것으로 밝혔다. 봄철(3월-5월) 동남아시아(남중국, 필리핀 등)에 비해 상대적으로 건조한 동북아시아(동중국, 한반도, 일본) 지역은 가뭄에 취약하며 기후 변화에 따라 가뭄으로 인한 피해가 커질 것으로 전망된다. 그러므로 이 지역은 봄철 가뭄으로 인한 피해를 완화하기 위해 봄철 강수량에 대한 신뢰할 만한 계절적 예보 기술이 꼭 필요하다. 본 연구에서는 1992-2022년 봄철의 Standardized Precipitation Index(SPI) 값을 기준으로 2001년과 2011년 동북아시아 가뭄이 발생한 것을 확인하였으며, 각 해의 3월에 관측된 기상학적 초기 조건으로부터 다중 기후 예보 모델들의 봄철 강수량의 계절적 예측성을 정량적으로 평가하였다. 관측자료로부터 2001년 가뭄은 동북아시아 대기 상층의 저기압성 순환의 강화로 인한 제트류(Jet stream)의 강화와 연관되어 있었으며, 2011년 가뭄은 제트류 강화와 함께 태평양 열대 지역 기류 강화가 동반되어 발생하였음을 알 수 있었다. North American Multi-Model Ensemble 기후 예보 모델들은 2011년 가뭄에 비해 2001년 가뭄에 대한 예측성이 높았으며, 그 이유로는 대기 상층 순환의 예측성과 연관이 있음을 밝혔다. 또한, 봄철 대기-해양 상호 패턴을 관측과 유사하게 재현한 GFDL-SPEARS 모델이 가뭄 해의 대기 상층 저기압성 순환과 강수 예측성이 가장 높은 것을 보였다. 본 연구의 결과들을 통해 동북아시아 봄철 가뭄과 같은 극한 기상의 강수량 예측성 향상에 있어서 기후 예보 모델들의 현실적인 대기-해양 결합 과정 모사 능력의 중요성을 밝혔다. 본 연구에서 제안된 방안들은 기후 예측 모델 개선을 위한 전략적인 정보를 제공할 것으로 보인다.

  • PDF

Predicting rock brittleness indices from simple laboratory test results using some machine learning methods

  • Davood Fereidooni;Zohre Karimi
    • Geomechanics and Engineering
    • /
    • 제34권6호
    • /
    • pp.697-726
    • /
    • 2023
  • Brittleness as an important property of rock plays a crucial role both in the failure process of intact rock and rock mass response to excavation in engineering geological and geotechnical projects. Generally, rock brittleness indices are calculated from the mechanical properties of rocks such as uniaxial compressive strength, tensile strength and modulus of elasticity. These properties are generally determined from complicated, expensive and time-consuming tests in laboratory. For this reason, in the present research, an attempt has been made to predict the rock brittleness indices from simple, inexpensive, and quick laboratory test results namely dry unit weight, porosity, slake-durability index, P-wave velocity, Schmidt rebound hardness, and point load strength index using multiple linear regression, exponential regression, support vector machine (SVM) with various kernels, generating fuzzy inference system, and regression tree ensemble (RTE) with boosting framework. So, this could be considered as an innovation for the present research. For this purpose, the number of 39 rock samples including five igneous, twenty-six sedimentary, and eight metamorphic were collected from different regions of Iran. Mineralogical, physical and mechanical properties as well as five well known rock brittleness indices (i.e., B1, B2, B3, B4, and B5) were measured for the selected rock samples before application of the above-mentioned machine learning techniques. The performance of the developed models was evaluated based on several statistical metrics such as mean square error, relative absolute error, root relative absolute error, determination coefficients, variance account for, mean absolute percentage error and standard deviation of the error. The comparison of the obtained results revealed that among the studied methods, SVM is the most suitable one for predicting B1, B2 and B5, while RTE predicts B3 and B4 better than other methods.

머신러닝을 활용한 선발 투수 교체시기에 관한 연구 (A Study on the Timing of Starting Pitcher Replacement Using Machine Learning)

  • 노성진;노미진;한무명초;엄선현;김양석
    • 스마트미디어저널
    • /
    • 제11권2호
    • /
    • pp.9-17
    • /
    • 2022
  • 본 연구는 야구 경기에서 선발 투수를 위기 상황 이전에 교체하기 위한 의사결정을 지원하는 예측 모델 구현을 목적으로 한다. 이를 위해 베이스볼 서번트(Baseball Savant)에서 제공하는 메이저리그 스탯캐스트 데이터를 활용하여, 선발 투수를 위기 상황 이전에 선제적으로 교체하는 예측 모델을 구현한다. 이를 위해 첫째, 데이터 탐색을 통해 선발 투수가 경기에서 직면하는 위기 상황을 도출하였다. 둘째, 선발 투수가 이닝 종료 전에 교체된 경우, 이전 이닝에서 교체하는 것으로 레이블을 구성하여 학습을 진행하였다. 학습된 모델을 비교한 결과 앙상블 기법을 기반으로 한 모델이 F1-Score가 65%로 가장 높은 예측 성능을 보였다. 본 연구의 실무적 의의는 제안하는 모델을 통해 선발 투수를 위기 상황 이전에 교체하여 팀의 승리 확률을 높이는 데 기여할 수 있으며, 경기 중 감독은 데이터 기반의 전략적 의사결정 지원을 받을 수 있을 것이다.

AutoFe-Sel: A Meta-learning based methodology for Recommending Feature Subset Selection Algorithms

  • Irfan Khan;Xianchao Zhang;Ramesh Kumar Ayyasam;Rahman Ali
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제17권7호
    • /
    • pp.1773-1793
    • /
    • 2023
  • Automated machine learning, often referred to as "AutoML," is the process of automating the time-consuming and iterative procedures that are associated with the building of machine learning models. There have been significant contributions in this area across a number of different stages of accomplishing a data-mining task, including model selection, hyper-parameter optimization, and preprocessing method selection. Among them, preprocessing method selection is a relatively new and fast growing research area. The current work is focused on the recommendation of preprocessing methods, i.e., feature subset selection (FSS) algorithms. One limitation in the existing studies regarding FSS algorithm recommendation is the use of a single learner for meta-modeling, which restricts its capabilities in the metamodeling. Moreover, the meta-modeling in the existing studies is typically based on a single group of data characterization measures (DCMs). Nonetheless, there are a number of complementary DCM groups, and their combination will allow them to leverage their diversity, resulting in improved meta-modeling. This study aims to address these limitations by proposing an architecture for preprocess method selection that uses ensemble learning for meta-modeling, namely AutoFE-Sel. To evaluate the proposed method, we performed an extensive experimental evaluation involving 8 FSS algorithms, 3 groups of DCMs, and 125 datasets. Results show that the proposed method achieves better performance compared to three baseline methods. The proposed architecture can also be easily extended to other preprocessing method selections, e.g., noise-filter selection and imbalance handling method selection.

의약품 콜드체인 유통 수요 예측을 위한 AI 모델에 관한 연구 (A Study on the AI Model for Prediction of Demand for Cold Chain Distribution of Drugs)

  • 김희영;류기환;근재;손현곤
    • 문화기술의 융합
    • /
    • 제9권3호
    • /
    • pp.763-768
    • /
    • 2023
  • 본 논문에서는 의약품 유통량 예측을 위해 기존의 통계 방식(ARIMA)과 머신러닝 방식(Informer)을 개발하고 비교하였다. 일별 데이터의 예측에서는 머신러닝 기반의 모델이 유리하며, 월별 예측에서는 ARIMA를 활용하고 데이터가 증가하면서 Informer로 전환하는 것이 효과적임을 발견하였다. 예측 에러율(RMSE)은 기존 방식 대비 26.6% 낮아졌으며, 예측 정확도도 13% 개선되어 86.2%의 결과를 보였다. 본 논문을 통해 통계적 방법과 머신러닝 방법을 앙상블하여 최상의 결과를 얻을 수 있다는 장점을 발견하였다. 또한 머신러닝 기반의 AI 모델은 불규칙한 상황에서도 딥러닝 연산을 통해 최선의 결과를 도출할 수 있으며, 상용화 이후에는 데이터양이 증가함에 따라 성능이 향상될 것으로 기대된다.

1D-CNN을 이용한 항만내 선박 이동시간 예측 (Prediction of Ship Travel Time in Harbour using 1D-Convolutional Neural Network)

  • 유상록;김광일;정초영
    • 한국항해항만학회:학술대회논문집
    • /
    • 한국항해항만학회 2022년도 춘계학술대회
    • /
    • pp.275-276
    • /
    • 2022
  • 해상교통관제사는 항로폭이 협소한 항만에서 선박 충돌사고 예방을 위해 one-way로 항해하도록 선박의 입·출항 대기 지시를 한다. 현재 해상교통관제사의 입·출항대기 지시는 과학적이고 통계적인 데이터를 기반으로 하지 않고 해상교통관제사의 개인 역량에 따라 편차가 크다. 이에 따라 본 연구에서는 항만에서의 선박 입·출항 대기 지시를 위한 정확한 이동 시간을 예측하기 위해 선박 및 기상 데이터를 수집하여 1d-합성곱신경망 모델을 구축하였다. 제안한 모델이 다른 앙상블 기계학습 모델보다 4.5% 이상 개선된 것을 확인하였다. 본 연구를 통해 다양한 상황에서도 선박 입·출항 소요시간 예측이 가능하여 해상교통관제사는 선박에게 정확한 정보 제공 및 대기지시 판단에 도움이 될 것으로 기대된다.

  • PDF