• 제목/요약/키워드: Training Datasets

검색결과 335건 처리시간 0.024초

머신러닝 기법을 활용한 낙동강 하구 염분농도 예측 (Nakdong River Estuary Salinity Prediction Using Machine Learning Methods)

  • 이호준;조민규;천세진;한정규
    • 스마트미디어저널
    • /
    • 제11권2호
    • /
    • pp.31-38
    • /
    • 2022
  • 하천의 염분 변화를 신속히 예측하는 것은 염분 침투로 인한 농업, 생태계의 피해를 예측하고 재해 방지 대책을 수립하기 위해서 중요한 작업이다. 머신러닝 기법은 물리 기반 수리 모델에 비해 계산량이 훨씬 적기 때문에, 비교적 짧은 시간에 염분농도를 예측 가능하여 물리 기반 수리 모델의 보완 기법으로 연구되고 있다. 해외에서는 머신러닝 기법 기반 염분 예측 연구들이 활발히 연구되고 있으나, 대한민국의 공공데이터에 머신러닝 기법을 적용한 연구는 충분치 않다. 낙동강 하구의 환경 정보에 관한 공공데이터와 함께, 본 연구는 여러 종류의 머신러닝 기법의 염분농도에 대한 예측 성능을 측정하였다. 실험 결과에서, 결정 트리 기반의 LightGBM 알고리즘은 평균 RMSE 0.37의 예측 정확도와 타 알고리즘 대비 2-20배 빠른 학습 속도를 보여주었다. 따라서 국내 하천의 염분농도 예측에도 머신러닝 기법을 적용할 수 있다고 판단된다.

자질선정을 통한 국내 학술지 논문의 자동분류에 관한 연구 (An Experimental Study on the Automatic Classification of Korean Journal Articles through Feature Selection)

  • 김판준
    • 정보관리학회지
    • /
    • 제39권1호
    • /
    • pp.69-90
    • /
    • 2022
  • 국내 학술연구의 동향을 구체적으로 파악하여 연구개발 활동의 체계적인 지원 및 평가는 물론 현재와 미래의 연구 방향을 설정할 수 있는 기초 데이터로서, 개별 학술지 논문에 표준화된 주제 범주(통제키워드)를 부여할 수 있는 효율적인 방안을 모색하였다. 이를 위해 한국연구재단 「학술연구분야분류표」 상의 분류 범주를 국내학술지 논문에 자동 할당하는 과정에서, 자질선정 기법을 중심으로 자동분류의 성능에 영향을 미치는 주요 요소들에 대한 다각적인 실험을 수행하였다. 그 결과, 실제 환경의 불균형 데이터세트(imbalanced dataset)인 국내 학술지 논문의 자동분류에서는 보다 단순한 분류기와 자질선정 기법, 그리고 비교적 소규모의 학습집합을 사용하여 상당히 좋은 수준의 성능을 기대할 수 있는 것으로 나타났다.

반자동 언어데이터 증강 방식에 기반한 FbSA 모델 학습을 위한 감성주석 데이터셋 FeSAD 구축 (Building Sentiment-Annotated Datasets for Training a FbSA model based on the SSP methodology)

  • 윤정우;황창회;최수원;남지순
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.66-71
    • /
    • 2021
  • 본 연구는 한국어 자질 기반 감성분석(Feature-based Sentiment Analysis: FbSA)을 위한 대규모의 학습데이터 구축에 있어 반자동 언어데이터 증강 기법(SSP: Semi-automatic Symbolic Propagation)에 입각한 자질-감성 주석 데이터셋 FeSAD(Feature-Sentiment-Annotated Dataset)의 개발 과정과 성능 평가를 소개하는 것을 목표로 한다. FeSAD는 언어자원을 활용한 SSP 1단계 주석 이후, 작업자의 주석이 2단계에서 이루어지는 2-STEP 주석 과정을 통해 구축된다. SSP 주석을 위한 언어자원에는 부분 문법 그래프(Local Grammar Graph: LGG) 스키마와 한국어 기계가독형 전자사전 DECO(Dictionnaire Electronique du COréen)가 활용되며, 본 연구에서는 7개의 도메인(코스메틱, IT제품, 패션/의류, 푸드/배달음식, 가구/인테리어, 핀테크앱, KPOP)에 대해, 오피니언 트리플이 주석된 FeSAD 데이터셋을 구축하는 프로세싱을 소개하였다. 코스메틱(COS)과 푸드/배달음식(FOO) 두 도메인에 대해, 언어자원을 활용한 1단계 SSP 주석 성능을 평가한 결과, 각각 F1-score 0.93과 0.90의 성능을 보였으며, 이를 통해 FbSA용 학습데이터 주석을 위한 작업자의 작업이 기존 작업의 10% 이하의 비중으로 감소함으로써, 학습데이터 구축을 위한 프로세싱의 소요시간과 품질이 획기적으로 개선될 수 있음을 확인하였다.

  • PDF

Computational intelligence models for predicting the frictional resistance of driven pile foundations in cold regions

  • Shiguan Chen;Huimei Zhang;Kseniya I. Zykova;Hamed Gholizadeh Touchaei;Chao Yuan;Hossein Moayedi;Binh Nguyen Le
    • Computers and Concrete
    • /
    • 제32권2호
    • /
    • pp.217-232
    • /
    • 2023
  • Numerous studies have been performed on the behavior of pile foundations in cold regions. This study first attempted to employ artificial neural networks (ANN) to predict pile-bearing capacity focusing on pile data recorded primarily on cold regions. As the ANN technique has disadvantages such as finding global minima or slower convergence rates, this study in the second phase deals with the development of an ANN-based predictive model improved with an Elephant herding optimizer (EHO), Dragonfly Algorithm (DA), Genetic Algorithm (GA), and Evolution Strategy (ES) methods for predicting the piles' bearing capacity. The network inputs included the pile geometrical features, pile area (m2), pile length (m), internal friction angle along the pile body and pile tip (Ø°), and effective vertical stress. The MLP model pile's output was the ultimate bearing capacity. A sensitivity analysis was performed to determine the optimum parameters to select the best predictive model. A trial-and-error technique was also used to find the optimum network architecture and the number of hidden nodes. According to the results, there is a good consistency between the pile-bearing DA-MLP-predicted capacities and the measured bearing capacities. Based on the R2 and determination coefficient as 0.90364 and 0.8643 for testing and training datasets, respectively, it is suggested that the DA-MLP model can be effectively implemented with higher reliability, efficiency, and practicability to predict the bearing capacity of piles.

PM10 예측 성능 향상을 위한 농도별 예측 모델 설계 (Prediction Model Design by Concentration Type for Improving PM10 Prediction Performance)

  • 조경우;정용진;오창헌
    • 한국항행학회논문지
    • /
    • 제25권6호
    • /
    • pp.576-581
    • /
    • 2021
  • 고농도의 경우 저농도와 비교하였을 때, 발생 빈도수의 차이와 발생 환경에 대한 차이로 예측 성능의 한계를 두드러지게 보이고 있다. 이러한 문제를 해결하기 위해 본 논문에서는 인공신경망 알고리즘을 이용하여 저농도와 고농도로 분류하고 구분된 농도별로 특성을 학습시킨 두 가지 예측 모델을 통해 예측을 수행하는 모델을 제안하였다. 저농도와 고농도를 분류하기 위해 DNN 기반의 분류 모델을 설계하고 분류모델을 통해 구분된 저농도와 고농도를 기준으로 농도별 특성을 반영하기 위한 저농도 예측 모델과 고농도 예측 모델을 설계하였다. 농도별 예측 모델의 성능 평가 결과, 저농도 예측 정확도가 90.38%, 고농도 예측 정확도는 96.37% 의 예측 정확도를 보였다.

고차원 매핑기법과 딥러닝 네트워크를 통한 정형데이터의 분류 (Classification of Tabular Data using High-Dimensional Mapping and Deep Learning Network)

  • 김경택;장원두
    • 사물인터넷융복합논문지
    • /
    • 제9권6호
    • /
    • pp.119-124
    • /
    • 2023
  • 최근 딥러닝은 다양한 분야에서 전통적인 기계학습에 비해 월등히 높은 성능을 보이고 있으며, 패턴인식을 위한 보편적인 방법으로 자리 잡아 가고 있다. 하지만, 이에 비해 정형데이터를 사용하는 분류 문제에서는 여전히 머신러닝 기법이 주류를 이루고 있다. 본 논문에서는 정형데이터를 고차원 텐서로 변환하는 네트워크 모듈을 제안하며, 이 모듈을 보편적인 딥러닝 네트워크와 함께 구성하여 정형데이터의 분류 문제에 적용하였다. 제안된 방법은 4종의 데이터셋을 활용하여 학습 및 검증되었으며, 제안된 방법은 90.22%의 평균 정확도를 달성하여, 최신 딥러닝 모델인 TabNet에 비해 2.55%p 높은 정확도를 보였다. 제안된 방법은 컴퓨터 비전 분야에서 높은 성능을 보이는 다양한 네트워크 구조를 정형데이터에 활용할 수 있다는 점에서 의미가 있다.

Machine learning techniques for reinforced concrete's tensile strength assessment under different wetting and drying cycles

  • Ibrahim Albaijan;Danial Fakhri;Adil Hussein Mohammed;Arsalan Mahmoodzadeh;Hawkar Hashim Ibrahim;Khaled Mohamed Elhadi;Shima Rashidi
    • Steel and Composite Structures
    • /
    • 제49권3호
    • /
    • pp.337-348
    • /
    • 2023
  • Successive wetting and drying cycles of concrete due to weather changes can endanger the safety of engineering structures over time. Considering wetting and drying cycles in concrete tests can lead to a more correct and reliable design of engineering structures. This study aims to provide a model that can be used to estimate the resistance properties of concrete under different wetting and drying cycles. Complex sample preparation methods, the necessity for highly accurate and sensitive instruments, early sample failure, and brittle samples all contribute to the difficulty of measuring the strength of concrete in the laboratory. To address these problems, in this study, the potential ability of six machine learning techniques, including ANN, SVM, RF, KNN, XGBoost, and NB, to predict the concrete's tensile strength was investigated by applying 240 datasets obtained using the Brazilian test (80% for training and 20% for test). In conducting the test, the effect of additives such as glass and polypropylene, as well as the effect of wetting and drying cycles on the tensile strength of concrete, was investigated. Finally, the statistical analysis results revealed that the XGBoost model was the most robust one with R2 = 0.9155, mean absolute error (MAE) = 0.1080 Mpa, and variance accounted for (VAF) = 91.54% to predict the concrete tensile strength. This work's significance is that it allows civil engineers to accurately estimate the tensile strength of different types of concrete. In this way, the high time and cost required for the laboratory tests can be eliminated.

Learning-to-rank 기법을 활용한 서울 경마경기 순위 예측 (Horse race rank prediction using learning-to-rank approaches)

  • 정준형;신동욱;황세용;박건웅
    • 응용통계연구
    • /
    • 제37권2호
    • /
    • pp.239-253
    • /
    • 2024
  • 본 연구는 learning-to-rank (LTR) 기법 중 point-wise와 pair-wise learning을 적용하여 서울 경마경기 순위 예측을 수행하였다. Point-wise learning으로는 선형 회귀와 랜덤 포레스트를 pair-wise learning으로는 RankNet, LambdaMART (XGBoost Ranker, LightGBM Ranker, CatBoost Ranker)을 활용하였다. 또한 데이터 불균형 문제를 해결하기 위해 전처리 과정에서 경주기록을 경주거리에 따라 표준화하는 방식을 채택하였으며, 모형의 예측 능력 향상을 위해 경기 정보, 기수 정보, 마필 정보, 조교사 정보 등의 다양한 데이터를 사용하였다. 그 결과 아이템 간의 순위관계를 학습할 수 있는 pair-wise learning이 point-wise learning보다 전반적으로 더 뛰어난 예측력을 보이는 것을 확인하였다. 특히 CatBoost Ranker는 제시된 모형들 중 가장 뛰어난 예측 성능을 보였다. 마지막으로 섀플리 값을 통해 CatBoost Ranker에서 경주마의 성적, 직전 경주기록, 경주마의 출발훈련 횟수, 누적 출발훈련 횟수, 질병 진단횟수 등이 상위 10개 중요 변수에 포함된 것을 확인하였다.

Focal Loss와 앙상블 학습을 이용한 야생조류 소리 분류 기법 (Wild Bird Sound Classification Scheme using Focal Loss and Ensemble Learning)

  • 이재승;유제혁
    • 한국산업정보학회논문지
    • /
    • 제29권2호
    • /
    • pp.15-25
    • /
    • 2024
  • 효과적인 동물 생태계 분석을 위해서는 동물 서식 현황을 자동으로 파악할 수 있는 동물 관제 기술이 중요하다. 특히 울음소리로 종을 판별하는 동물 소리 분류 기술은 영상을 통한 판별이 어려운 환경에서 큰 주목을 받고 있다. 기존 연구들은 단일 딥러닝 모델을 사용하여 동물 소리를 분류하였으나, 야외 환경에서 수집된 동물 소리는 많은 배경 잡음을 포함하여 단일 모델의 판별력을 악화시키며, 종에 따른 데이터 불균형으로 인해 모델의 편향된 학습을 야기한다. 이에, 본 논문에서는 클래스의 데이터 수를 고려하여 페널티를 부여하는 Focal Loss를 사용한 여러 분류 모델의 예측결과를 앙상블을 통해 결합하여 잡음이 많은 동물 소리를 효과적으로 분류할 수 있는 기법을 제안한다. 공개 데이터 셋을 사용한 실험에서, 제안된 기법은 단일 모델의 평균 성능에 비해 Recall 기준으로 최대 22.6%의 성능 개선을 달성하였다.

Predicting restraining effects in CFS channels: A machine learning approach

  • Seyed Mohammad Mojtabaei;Rasoul Khandan;Iman Hajirasouliha
    • Steel and Composite Structures
    • /
    • 제51권4호
    • /
    • pp.441-456
    • /
    • 2024
  • This paper aims to develop Machine Learning (ML) algorithms to predict the buckling resistance of cold-formed steel (CFS) channels with restrained flanges, widely used in typical CFS sheathed wall panels, and provide practical design tools for engineers. The effects of cross-sectional restraints were first evaluated on the elastic buckling behaviour of CFS channels subjected to pure axial compressive load or bending moment. Feedforward multi-layer Artificial Neural Networks (ANNs) were then trained on different datasets comprising CFS channels with various dimensions and properties, plate thicknesses, and restraining conditions on one or two flanges, while the elastic distortional buckling resistance of the elements were determined according to the Finite Strip Method (FSM). To develop less biased networks and ensure that every observation from the original dataset has the chance of appearing in the training and test set, a K-fold cross-validation technique was implemented. In addition, the hyperparameters of the ANNs were tuned using a grid search technique to provide ANNs with optimum performances. The results demonstrated that the trained ANNs were able to predict the elastic distortional buckling resistance of CFS flange-restrained elements with an average accuracy of 99% in terms of coefficient of determination. The developed models were then used to propose a simple ANN-based design formula for the prediction of the elastic distortional buckling stress of CFS flange-restrained elements. Finally, the proposed formula was further evaluated on a separate set of unseen data to ensure its accuracy for practical applications.