• 제목/요약/키워드: machine learning model

검색결과 2,583건 처리시간 0.033초

다중선형회귀경험식과 머신러닝모델의 2차원 횡 분산계수 예측성능 평가 (Performance Evaluation of Multilinear Regression Empirical Formula and Machine Learning Model for Prediction of Two-dimensional Transverse Dispersion Coefficient)

  • 이선미;박인환
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2022년도 학술발표회
    • /
    • pp.172-172
    • /
    • 2022
  • 분산계수는 하천에서 오염물질의 혼합능을 파악할 수 있는 대표적인 인자이다. 특히 하수처리장 방류수 혼합예측과 같이 횡 방향 혼합에 대한 예측이 중요한 경우, 하천의 지형적, 수리학적 특성을 고려한 2차원 횡 분산계수의 결정이 필요하다. 2차원 횡 분산계수의 결정을 위해 기존 연구에서는 추적자실험결과로부터 경험식을 만들어 횡 분산계수 산정에 사용해왔다. 회귀분석을 통한 경험식 산정을 위해서는 충분한 데이터가 필요하지만, 2차원 추적자 실험 건수가 충분치 않아 신뢰성 높은 경험식 산정이 어려운 상황이다. 따라서 본 연구에서는 SMOTE기법을 이용하여 횡분산계수 실험데이터를 증폭시켜 이로부터 횡 분산계수 경험식을 산정하고자 한다. 또한 다중선형회귀분석을 통해 도출된 경험식의 한계를 보완하기 위해 다양한 머신러닝 기법을 적용하고, 횡 분산계수 산정에 적합한 머신러닝 기법을 제안하고자 한다. 기존 추적자실험 데이터로부터 하폭 대 수심비, 유속 대 마찰유속비, 횡 분산계수 데이터 셋을 수집하였으며, SMOTE 알고리즘의 적용을 통해 회귀분석과 머신러닝 기법 적용에 필요한 데이터그룹을 생성했다. 새롭게 생성된 데이터 셋을 포함하여 다중선형회귀분석을 통해 횡 분산계수 경험식을 결정하였으며, 새로 제안한 경험식과 기존 경험식에 대한 정확도를 비교했다. 또한 다중선형회귀분석을 통해 결정된 경험식은 횡 분산계수 예측범위에 한계를 보였기 때문에 머신러닝기법을 적용하여 다중선형회귀분석에 대한 예측성능을 평가했다. 이를 위해 머신러닝 기법으로서 서포트 벡터 머신 회귀(SVR), K근접이웃 회귀(KNN-R), 랜덤 포레스트 회귀(RFR)를 활용했다. 세 가지 머신러닝 기법을 통해 도출된 횡 분산계수와 경험식으로부터 결정된 횡 분산계수를 비교하여 예측 성능을 비교했다. 이를 통해 제한된 실험데이터 셋으로부터 2차원 횡 분산계수 산정을 위한 데이터 전처리 기법 및 횡 분산계수 산정에 적합한 머신러닝 절차와 최적 학습기법을 도출했다.

  • PDF

하이브리드 Auto-sklearn 앙상블 모델을 이용한 댐 유입량 예측 및 평가 (Dam Inflow Prediction and Evaluation Using Hybrid Auto-sklearn Ensemble Model)

  • 이서로;배주현;이관재;양동석;홍지영;김종건;임경재
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2022년도 학술발표회
    • /
    • pp.307-307
    • /
    • 2022
  • 최근 기후변화와 댐 상류 토지이용 변화 등과 같은 다양한 원인에 의해 댐 유입량의 변동성이 증가하면서 댐 관리 및 운영조작 의사 결정에 어려움이 발생하고 있다. 따라서 이러한 댐 유입량의 변동 특성을 반영하여 댐 유입량을 정확하고 효율적으로 예측할 수 있는 방안이 필요한 실정이다. 머신러닝 기술이 발전하면서 Auto-ML(Automated Machine Learning)이 다양한 분야에서 활용되고 있다. Auto-ML은 데이터 전처리, 최적 알고리즘 선택, 하이퍼파라미터 튜닝, 모델 학습 및 평가 등의 모든 과정을 자동화하는 기술이다. 그러나 아직까지 수문 분야에서 댐 유입량을 예측하기 위한 모델을 개발하는데 있어서 Auto-ML을 활용한 사례는 부족하고, 특히 댐 유입량의 예측 정확성을 확보하기 위해 High-inflow and low-inflow 의 변동 특성을 고려한 하이브리드 결합 방식을 통해 Auto-ML 기반 앙상블 모델을 개발하고 평가한 연구는 없다. 본 연구에서는 Auto-ML의 패키지 중 Auto-sklearn을 통해 홍수기, 비홍수기 유입량 변동 특성을 반영한 하이브리드 앙상블 댐 유입량 예측 모델을 개발하였다. 소양강댐을 대상으로 적용한 결과, 하이브리드 Auto-sklearn 앙상블 모델의 댐 유입량 예측 성능은 R2 0.868, RMSE 66.23 m3/s, MAE 16.45 m3/s로 단일 Auto-sklearn을 통해 구축 된 앙상블 모델보다 전반적으로 우수한 것으로 나타났다. 특히 FDC (Flow Duration Curve)의 저수기, 갈수기 구간에서 두 모델의 유입량 예측 경향은 큰 차이를 보였으며, 하이브리드 Auto-sklearn 모델의 예측 값이 관측 값과 더욱 유사한 것으로 나타났다. 이는 홍수기, 비홍수기 구간에 대한 앙상블 모델이 독립적으로 구축되는 과정에서 각 모델에 대한 하이퍼파라미터가 최적화되었기 때문이라 판단된다. 향후 본 연구의 방법론은 보다 정확한 댐 유입량 예측 자료를 생성하기 위한 방안 수립뿐만 아니라 다양한 분야의 불균형한 데이터셋을 이용한 앙상블 모델을 구축하는데도 유용하게 활용될 수 있을 것으로 사료된다.

  • PDF

Students' Performance Prediction in Higher Education Using Multi-Agent Framework Based Distributed Data Mining Approach: A Review

  • M.Nazir;A.Noraziah;M.Rahmah
    • International Journal of Computer Science & Network Security
    • /
    • 제23권10호
    • /
    • pp.135-146
    • /
    • 2023
  • An effective educational program warrants the inclusion of an innovative construction which enhances the higher education efficacy in such a way that accelerates the achievement of desired results and reduces the risk of failures. Educational Decision Support System (EDSS) has currently been a hot topic in educational systems, facilitating the pupil result monitoring and evaluation to be performed during their development. Insufficient information systems encounter trouble and hurdles in making the sufficient advantage from EDSS owing to the deficit of accuracy, incorrect analysis study of the characteristic, and inadequate database. DMTs (Data Mining Techniques) provide helpful tools in finding the models or forms of data and are extremely useful in the decision-making process. Several researchers have participated in the research involving distributed data mining with multi-agent technology. The rapid growth of network technology and IT use has led to the widespread use of distributed databases. This article explains the available data mining technology and the distributed data mining system framework. Distributed Data Mining approach is utilized for this work so that a classifier capable of predicting the success of students in the economic domain can be constructed. This research also discusses the Intelligent Knowledge Base Distributed Data Mining framework to assess the performance of the students through a mid-term exam and final-term exam employing Multi-agent system-based educational mining techniques. Using single and ensemble-based classifiers, this study intends to investigate the factors that influence student performance in higher education and construct a classification model that can predict academic achievement. We also discussed the importance of multi-agent systems and comparative machine learning approaches in EDSS development.

그래프 분류 기반 특징 선택을 활용한 작물 수확량 예측 (Crop Yield Estimation Utilizing Feature Selection Based on Graph Classification)

  • 옴마킨;이성근
    • 한국전자통신학회논문지
    • /
    • 제18권6호
    • /
    • pp.1269-1276
    • /
    • 2023
  • 작물 수확량 예측은 토양, 비, 기후, 대기 및 이들의 관계와 같은 다양한 측면으로 인해 다국적 식사와 강력한 수요에 필수적이며, 기후 변화는 농업 생산량에 영향을 미친다. 본 연구에서는 온도, 강수량, 습도 등의 데이터 세트를 운영한다. 현재 연구는 농부와 농업인을 지원하기 위해 다양한 분류기를 사용한 기능 선택에 중점을 두고 있다. 특징 선택 접근법을 활용한 작물 수확량 추정은 96% 정확도를 나타내었다. 특징 선택은 기계학습 모델의 성능에 영향을 미친다. 현재 그래프 분류기의 성능은 81.5%를 나타내며, 특징 선택이 없는 Random Forest 회귀 분석은 78%의 정확도를 나타냈다. 또한, 특징 선택이 없는 의사결정 트리 회귀 분석은 67%의 정확도를 유지하였다. 본 논문은 제시된 10가지 알고리즘을 대상으로 특징 선택 중요성에 대한 실험결과를 나타내었다. 이러한 결과는 작물 분류 연구에 적합한 모델을 선택하는 데 도움이 될 것으로 기대된다.

생활 폐기물 다중 객체 검출과 분류를 위한 i-YOLOX 구조에 관한 연구 (A Study on the i-YOLOX Architecture for Multiple Object Detection and Classification of Household Waste)

  • 왕웨이광;정경권;이태원
    • 융합보안논문지
    • /
    • 제23권5호
    • /
    • pp.135-142
    • /
    • 2023
  • 생활 폐기물 쓰레기는 기후 변화, 자원 부족, 환경 오염을 불러오는 대표적인 문제로서, 이러한 문제를 해결하기 위해 지능적으로 쓰레기를 분류하는 방식을 연구하였고, 전통적인 분류 알고리즘부터 기계학습, 신경망에 이르기까지 많은 연구가 진행되고 있다. 그러나, 다양한 환경과 조건에서 쓰레기를 분류하기에는 여전히 데이터셋이 부족하고, 신경망 네트워크 구성 복잡도가 증가하며, 성능 측면에서도 실생활에 적용하기에 아직 미흡하다. 따라서 본 논문에서는 신속한 분류와 정확도 향상을 위해 i-YOLOX를 제안하고, 네트워크 매개변수, 검출속도, 정확도 등을 평가한다. 이를 위해 17개의 폐기물 범주를 포함하는 10,000개의 가정용 쓰레기 대상 샘플로 데이터 세트를 구성하고, YOLOX 구조에 Involution 채널 컨볼루션 연산자와 CBAM(Convolution Branch Attention Module)을 도입하여 i-YOLOX를 구성하고, 기존의 YOLO 구조와 성능을 비교한다. 실험 결과 복잡한 장면에서 쓰레기 객체 검출 속도와 정확도가 기존의 신경망에 비해 향상되어, 제안한 i-YOLOX 구조가 생활 폐기물 다중 객체 검출과 분류에 효과적임을 확인하였다.

An analysis of the waning effect of COVID-19 vaccinations

  • Bogyeom Lee;Hanbyul Song;Catherine Apio;Kyulhee Han;Jiwon Park;Zhe Liu;Hu Xuwen;Taesung Park
    • Genomics & Informatics
    • /
    • 제21권4호
    • /
    • pp.50.1-50.9
    • /
    • 2023
  • Vaccine development is one of the key efforts to control the spread of coronavirus disease 2019 (COVID-19). However, it has become apparent that the immunity acquired through vaccination is not permanent, known as the waning effect. Therefore, monitoring the proportion of the population with immunity is essential to improve the forecasting of future waves of the pandemic. Despite this, the impact of the waning effect on forecasting accuracies has not been extensively studied. We proposed a method for the estimation of the effective immunity (EI) rate which represents the waning effect by integrating the second and booster doses of COVID-19 vaccines. The EI rate, with different periods to the onset of the waning effect, was incorporated into three statistical models and two machine learning models. Stringency Index, omicron variant BA.5 rate (BA.5 rate), booster shot rate (BSR), and the EI rate were used as covariates and the best covariate combination was selected using prediction error. Among the prediction results, Generalized Additive Model showed the best improvement (decreasing 86% test error) with the EI rate. Furthermore, we confirmed that South Korea's decision to recommend booster shots after 90 days is reasonable since the waning effect onsets 90 days after the last dose of vaccine which improves the prediction of confirmed cases and deaths. Substituting BSR with EI rate in statistical models not only results in better predictions but also makes it possible to forecast a potential wave and help the local community react proactively to a rapid increase in confirmed cases.

빅데이터를 이용한 실시간 민간소비 예측 (Real-time private consumption prediction using big data)

  • 신승준;서범석
    • 응용통계연구
    • /
    • 제37권1호
    • /
    • pp.13-38
    • /
    • 2024
  • 최근 코로나19 등으로 경제 불확실성이 확대됨에 따라 민간 경제주체의 경제상황을 직접적으로 반영하는 민간소비 동향을 신속히 파악할 필요성이 높아지고 있다. 이에 본 연구는 기존 거시경제지표 뿐만 아니라 빅데이터를 종합적으로 활용하여 민간소비를 실시간으로 추정(nowcasting)하는 방법을 제안하였다. 특히 초고차원 빅데이터의 적합을 위해 활용 가능한 다양한 기계학습 방법론을 비교분석하여 민간소비 추정의 정확도를 향상시키고자 하였다. 실증 분석 결과, 빅데이터를 비롯한 가용 공변량의 수가 많은 경우에는 변수를 미리 선별하여 모형적합에 활용하는 것이 민간소비 예측 성능을 향상시킬 수 있음을 확인하였다. 또한 코로나19 이후 빅데이터의 반영이 민간소비 예측 성능을 더욱 크게 향상시킴에 따라 경제 불확실성이 높은 상황일수록 새로운 정보를 적시에 반영할 수 있는 고빈도 빅데이터의 활용가치가 높은 것으로 판단된다.

A Method for Generating Malware Countermeasure Samples Based on Pixel Attention Mechanism

  • Xiangyu Ma;Yuntao Zhao;Yongxin Feng;Yutao Hu
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제18권2호
    • /
    • pp.456-477
    • /
    • 2024
  • With information technology's rapid development, the Internet faces serious security problems. Studies have shown that malware has become a primary means of attacking the Internet. Therefore, adversarial samples have become a vital breakthrough point for studying malware. By studying adversarial samples, we can gain insights into the behavior and characteristics of malware, evaluate the performance of existing detectors in the face of deceptive samples, and help to discover vulnerabilities and improve detection methods for better performance. However, existing adversarial sample generation methods still need help regarding escape effectiveness and mobility. For instance, researchers have attempted to incorporate perturbation methods like Fast Gradient Sign Method (FGSM), Projected Gradient Descent (PGD), and others into adversarial samples to obfuscate detectors. However, these methods are only effective in specific environments and yield limited evasion effectiveness. To solve the above problems, this paper proposes a malware adversarial sample generation method (PixGAN) based on the pixel attention mechanism, which aims to improve adversarial samples' escape effect and mobility. The method transforms malware into grey-scale images and introduces the pixel attention mechanism in the Deep Convolution Generative Adversarial Networks (DCGAN) model to weigh the critical pixels in the grey-scale map, which improves the modeling ability of the generator and discriminator, thus enhancing the escape effect and mobility of the adversarial samples. The escape rate (ASR) is used as an evaluation index of the quality of the adversarial samples. The experimental results show that the adversarial samples generated by PixGAN achieve escape rates of 97%, 94%, 35%, 39%, and 43% on the Random Forest (RF), Support Vector Machine (SVM), Convolutional Neural Network (CNN), Convolutional Neural Network and Recurrent Neural Network (CNN_RNN), and Convolutional Neural Network and Long Short Term Memory (CNN_LSTM) algorithmic detectors, respectively.

Computing machinery techniques for performance prediction of TBM using rock geomechanical data in sedimentary and volcanic formations

  • Hanan Samadi;Arsalan Mahmoodzadeh;Shtwai Alsubai;Abdullah Alqahtani;Abed Alanazi;Ahmed Babeker Elhag
    • Geomechanics and Engineering
    • /
    • 제37권3호
    • /
    • pp.223-241
    • /
    • 2024
  • Evaluating the performance of Tunnel Boring Machines (TBMs) stands as a pivotal juncture in the domain of hard rock mechanized tunneling, essential for achieving both a dependable construction timeline and utilization rate. In this investigation, three advanced artificial neural networks namely, gated recurrent unit (GRU), back propagation neural network (BPNN), and simple recurrent neural network (SRNN) were crafted to prognosticate TBM-rate of penetration (ROP). Drawing from a dataset comprising 1125 data points amassed during the construction of the Alborze Service Tunnel, the study commenced. Initially, five geomechanical parameters were scrutinized for their impact on TBM-ROP efficiency. Subsequent statistical analyses narrowed down the effective parameters to three, including uniaxial compressive strength (UCS), peak slope index (PSI), and Brazilian tensile strength (BTS). Among the methodologies employed, GRU emerged as the most robust model, demonstrating exceptional predictive prowess for TBM-ROP with staggering accuracy metrics on the testing subset (R2 = 0.87, NRMSE = 6.76E-04, MAD = 2.85E-05). The proposed models present viable solutions for analogous ground and TBM tunneling scenarios, particularly beneficial in routes predominantly composed of volcanic and sedimentary rock formations. Leveraging forecasted parameters holds the promise of enhancing both machine efficiency and construction safety within TBM tunneling endeavors.

주조 오스테나이트 스테인리스강의 열취화 활성화에너지 분석 (Analysis of Activation Energy of Thermal Aging Embrittlement in Cast Austenite Stainless Steels)

  • 이경근;홍석민;김지수;안동현;김종민
    • 한국압력기기공학회 논문집
    • /
    • 제20권1호
    • /
    • pp.56-65
    • /
    • 2024
  • Cast austenitic stainless steels (CASS) and austenitic stainless steel weldments with a ferrite-austenite duplex structure are widely used in nuclear power plants, incorporating ferrite phase to enhance strength, stress relief, and corrosion resistance. Thermal aging at 290-325℃ can induce embrittlement, primarily due to spinodal decomposition and G-phase precipitation in the ferrite phase. This study evaluates the effects of thermal aging by collecting and analyzing various mechanical properties, such as Charpy impact energy, ferrite microhardness, and tensile strength, from various literature sources. Different model expressions, including hyperbolic tangent and phase transformation equations, are applied to calculate activation energy (Q) of room-temperature impact energies, and the results are compared. Additionally, predictive models for Q based on material composition are evaluated, and the potential of machine learning techniques for improving prediction accuracy is explored. The study also examines the use of ferrite microhardness and tensile strength in calculating Q and assessing thermal embrittlement. The findings provide insights for developing advanced prediction models for the thermal embrittlement behavior of CASS and the weldments of austenitic steels, contributing to the safety and reliability of nuclear power plant components.