• Title/Summary/Keyword: 머신러닝 기법

Search Result 498, Processing Time 0.031 seconds

Developing radar-based rainfall prediction model with GAN(Generative Adversarial Network) (생성적 적대 신경망(GAN)을 활용한 강우예측모델 개발)

  • Choi, Suyeon;Sohn, Soyoung;Kim, Yeonjoo
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2021.06a
    • /
    • pp.185-185
    • /
    • 2021
  • 기후변화로 인한 돌발 강우 등 이상 기후 현상이 증가함에 따라 정확한 강우예측의 중요성은 더 증가하는 추세이다. 전통적인 강우예측의 경우 기상수치모델 또는 외삽법을 이용한 레이더 기반 강우예측 기법을 이용하며, 최근 머신러닝 기술의 발달에 따라 이를 활용한 레이더 자료기반 강우예측기법이 개발되고 있다. 기존 머신러닝을 이용한 강우예측 모델의 경우 주로 시계열 이미지 예측에 적합한 2차원 순환 신경망 기반 기법(Convolutional Long Short-Term Memory, ConvLSTM) 또는 합성곱 신경망 기반 기법(Convolutional Neural Network(CNN) Encoder-Decoder) 등을 이용한다. 본 연구에서는 생성적 적대 신경망 기반 기법(Generative Adversarial Network, GAN)을 이용해 미래 강우예측을 수행하도록 하였다. GAN 방법론은 이미지를 생성하는 생성자와 이를 실제 이미지와 구분하는 구별자가 경쟁하며 학습되어 현재 이미지 생성 분야에서 높은 성능을 보여주고 있다. 본 연구에서 개발한 GAN 기반 모델은 기상청에서 제공된 2016년~2019년까지의 레이더 이미지 자료를 이용하여 초단기, 단기 강우예측을 수행하도록 학습시키고, 2020년 레이더 이미지 자료를 이용해 단기강우예측을 모의하였다. 또한, 기존 머신러닝 기법을 기반으로 한 모델들의 강우예측결과와 GAN 기반 모델의 강우예측결과를 비교분석한 결과, 본 연구를 통해 개발한 강우예측모델이 단기강우예측에 뛰어난 성능을 보이는 것을 확인할 수 있었다.

  • PDF

The Algorithm For The Flow Of Debris Through Machine Learning (머신러닝 기법을 통한 토석류 흐름 구현 알고리즘)

  • Moon, Ju-Hwan;Yoon, Hong-Sik
    • Proceedings of the Korean Society of Disaster Information Conference
    • /
    • 2017.11a
    • /
    • pp.366-368
    • /
    • 2017
  • 본 연구는 국내 산사태 발생 데이터를 기반으로 시뮬레이션 모델을 머신러닝 기법을 통해 학습시켜 산사태의 토석류 흐름을 구현하는 알고리즘에 대한 연구이다. 전통적인 프로그래밍을 통한 산사태 시뮬레이션 모델 개발을 해당 시스템에 더 많은 고도의 물리학 법칙을 통합 적용시켜 토석류의 흐름을 공학적으로 재현해내는데 중점을 두고 개발이 진행되지만, 본 연구에서 다루는 머신러닝 기법을 통한 산사태 시뮬레이션 모델 개발의 경우 시스템에 입력되는 데이터를 기반으로한 학습을 통하여 토석류 흐름에 영향을 미치는 변수와 파라메터를 산출하고 정의는데 중점을 두고 개발이 진행된다. 본 연구에서 산사태 시뮬레이션 모델 개발에 활용하는 머신러닝 알고리즘은 강화학습 알고리즘으로 기존 산사태 발생 지점을 기반으로 에이전트를 설정해 시간에 따라 시뮬레이션의 각 스텝에서 토석류의 흐름 즉 액션을 환경에 따른 가중치를 기준으로 산정하게 된다. 여기서 환경에 따른 가중치는 시뮬레이션 모델에 정의된 메서드에 따라 산정된다. 시간이 목표값에 도달하여 결과가 출력되면 출력된 결과와 해당 산사태 발생 지점의 실제 산사태 피해 지역 데이터 즉 시뮬레이션 결과 이상치와의 비교를 통하여 시뮬레이션을 평가하게 된다. 이러한 평가는 시뮬레이션 데이터와 실제 데이터간의 유사도 비교를 통해 손실률을 도출하게 되고 이러한 손실률을 경사하강법등의 최적화 알고리즘을 통해 최소화 하여 입력된 데이터를 기반으로한 최적의 토석류 흐름 구현 알고리즘을 도출한다.

  • PDF

Study on Water Quality Predictability through Machine Learning Techniques in Non-point Pollutant Management Area (비점오염원관리지역의 머신러닝 기법을 통한 수질 예측 가능성 연구)

  • Yeong Na Yu;Min Hwan Shin;Dong Hyuk Kum;Kyoung Jae Lim;Jong Gun Kim
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2023.05a
    • /
    • pp.467-467
    • /
    • 2023
  • 강우에 의해 발생하는 비점오염물질의 수질 데이터가 충분하지 않아 비점오염원이 문제가 되고 있는 유역의 수질개선을 위한 대책마련이 어려운 실정이다. 기존에 환경부에서 운영하고 있는 자동측정망은 1시간 간격으로 데이터를 축적하고 있으나, 비점오염원이 문제가 되는 유역에 설치되어 있지 않거나 수온, DO, pH 등 현장항목만을 측정하고 있어 하천의 수질오염을 대표할 수 있는 T-P나 SS 등의 수질분석 항목의 부재하다. 이로인해 유역의 수질개선 대책을 수립하기 위한 오염원의 현황을 파악하기 어려운 실정이다. 따라서, 본 연구에서는 비점오염원관리지역 중 골지천 유역을 대상으로 수질항목별 상관성을 분석하고, 실측자료를 기반으로 DT, MLP, SVM, RF, GB, XGB 등의 머신러닝 기법을 통해 수질 예측 가능성을 연구하였다. 상관관계 분석결과 입력변수인 탁도 항목이 예측 수질과 뚜렷한 상관관계를 보이는 것으로 나타났으나, 그 외 항목에서는 약한 상관관계를 보이거나 상관관계가 없는 것으로 나타났다. 머신러닝 기법을 활용한 수질 예측 분석 결과, 검무교와 태봉2교, 제1여량교는 RF 기법에서 결정계수(R2) 0.57~0.86, RMSE 16.49~175.60으로 예측성이 우수한 것으로 나타났다. 관말교는 SVM 기법에서 R2 0.65, RMSE 57.69로, 송계교는 XGB 기법에서 R2 0.74, RMSE 282.86으로 가장 예측성이 우수한 것으로 나타났다. 분석결과와 같이 머신러닝 기법을 활용한 수질 예측은 가능하나, 예측성이 우수한 머신러닝 기법의 R2 비교 결과, 유역면적이 큰 제1여량교와 작은 관말교에서 0.57과 0.65로 다른 지점에 비해 낮은 것으로 나타났다. RMSE 비교 결과, 상류 산간지역에 발생한 국지성 호우의 영향으로 흙탕물이 가장 자주 발생하는 태봉2교 지점과 우선관리지역이 합류되는 송계교 지점에서 175.60과 282.86으로 예측값과 실측값의 오차가 큰 것으로 나타났다. 연구결과와 같이 하천 수질을 예측하기 위해서는 유역면적 혹은 유역특성과 관련한 기초자료를 추가로 적용하여 머신러닝 기법을 적용 해야할 것으로 판단된다. 또한, 본 연구에서 예측한 수질 항목 이외에 입력변수를 추가로 확보하여 수질의 예측 가능성을 검토해야 할 것으로 보여진다.

  • PDF

Study on Memory Performance Improvement based on Machine Learning (머신러닝 기반 메모리 성능 개선 연구)

  • Cho, Doosan
    • The Journal of the Convergence on Culture Technology
    • /
    • v.7 no.1
    • /
    • pp.615-619
    • /
    • 2021
  • This study focuses on memory systems that are optimized to increase performance and energy efficiency in many embedded systems such as IoT, cloud computing, and edge computing, and proposes a performance improvement technique. The proposed technique improves memory system performance based on machine learning algorithms that are widely used in many applications. The machine learning technique can be used for various applications through supervised learning, and can be applied to a data classification task used in improving memory system performance. Data classification based on highly accurate machine learning techniques enables data to be appropriately arranged according to data usage patterns, thereby improving overall system performance.

Exploring the Predictive Variables of Government Statistical Indicators on Retail sales Using Machine Learning: Focusing on Pharmacy (머신러닝을 이용한 정부통계지표가 소매업 매출액에 미치는 예측 변인 탐색: 약국을 중심으로)

  • Lee, Gwang-Su
    • Journal of Internet Computing and Services
    • /
    • v.23 no.3
    • /
    • pp.125-135
    • /
    • 2022
  • This study aims to explore variables using machine learning and provide analysis techniques suitable for predicting pharmacy sales whether government statistical indicators built to create an industrial ecosystem based on data, network, and artificial intelligence affect pharmacy sales. Therefore, this study explored predictive variables and performance through machine learning techniques such as Random Forest, XGBoost, LightGBM, and CatBoost using analysis data from January 2016 to December 2021 for 28 government statistical indicators and pharmacies in the retail sector. As a result of the analysis, economic sentiment index, economic accompanying index circulation change, and consumer sentiment index, which are economic indicators, were found to be important variables affecting pharmacy sales. As a result of examining the indicators MAE, MSE, and RMSE for regression performance, random forests showed the best performance than XGBoost, LightGBM, and CatBoost. Therefore, this study presented variables and optimal machine learning techniques that affect pharmacy sales based on machine learning results, and proposed several implications and follow-up studies.

Estimation of regional flow duration curve applicable to ungauged areas using machine learning technique (머신러닝 기법을 이용한 미계측 유역에 적용 가능한 지역화 유황곡선 산정)

  • Jeung, Se Jin;Lee, Seung Pil;Kim, Byung Sik
    • Journal of Korea Water Resources Association
    • /
    • v.54 no.spc1
    • /
    • pp.1183-1193
    • /
    • 2021
  • Low flow affects various fields such as river water supply management and planning, and irrigation water. A sufficient period of flow data is required to calculate the Flow Duration Curve. However, in order to calculate the Flow Duration Curve, it is essential to secure flow data for more than 30 years. However, in the case of rivers below the national river unit, there is no long-term flow data or there are observed data missing for a certain period in the middle, so there is a limit to calculating the Flow Duration Curve for each river. In the past, statistical-based methods such as Multiple Regression Analysis and ARIMA models were used to predict sulfur in the unmeasured watershed, but recently, the demand for machine learning and deep learning models is increasing. Therefore, in this study, we present the DNN technique, which is a machine learning technique that fits the latest paradigm. The DNN technique is a method that compensates for the shortcomings of the ANN technique, such as difficult to find optimal parameter values in the learning process and slow learning time. Therefore, in this study, the Flow Duration Curve applicable to the unmeasured watershed is calculated using the DNN model. First, the factors affecting the Flow Duration Curve were collected and statistically significant variables were selected through multicollinearity analysis between the factors, and input data were built into the machine learning model. The effectiveness of machine learning techniques was reviewed through statistical verification.

Prediction of Track Quality Index (TQI) Using Vehicle Acceleration Data based on Machine Learning (차량가속도데이터를 이용한 머신러닝 기반의 궤도품질지수(TQI) 예측)

  • Choi, Chanyong;Kim, Hunki;Kim, Young Cheul;Kim, Sang-su
    • Journal of the Korean Geosynthetics Society
    • /
    • v.19 no.1
    • /
    • pp.45-53
    • /
    • 2020
  • There is an increasing tendency to try to make predictive analysis using measurement data based on machine learning techniques in the railway industries. In this paper, it was predicted that Track quality index (TQI) using vehicle acceleration data based on the machine learning method. The XGB (XGBoost) was the most accurate with 85% in the all data sets. Unlike the SVM model with a single algorithm, the RF and XGB model with a ensemble system were considered to be good at the prediction performance. In the case of the Surface TQI, it is shown that the acceleration of the z axis is highly related to the vertical direction and is in good agreement with the previous studies. Therefore, it is appropriate to apply the model with the ensemble algorithm to predict the track quality index using the vehicle vibration acceleration data because the accuracy may vary depending on the applied model in the machine learning methods.

Hierarchical IoT Edge Resource Allocation and Management Techniques based on Synthetic Neural Networks in Distributed AIoT Environments (분산 AIoT 환경에서 합성곱신경망 기반 계층적 IoT Edge 자원 할당 및 관리 기법)

  • Yoon-Su Jeong
    • Advanced Industrial SCIence
    • /
    • v.2 no.3
    • /
    • pp.8-14
    • /
    • 2023
  • The majority of IoT devices already employ AIoT, however there are still numerous issues that need to be resolved before AI applications can be deployed. In order to more effectively distribute IoT edge resources, this paper propose a machine learning-based approach to managing IoT edge resources. The suggested method constantly improves the allocation of IoT resources by identifying IoT edge resource trends using machine learning. IoT resources that have been optimized make use of machine learning convolution to reliably sustain IoT edge resources that are always changing. By storing each machine learning-based IoT edge resource as a hash value alongside the resource of the previous pattern, the suggested approach effectively verifies the resource as an attack pattern in a distributed AIoT context. Experimental results evaluate energy efficiency in three different test scenarios to verify the integrity of IoT Edge resources to see if they work well in complex environments with heterogeneous computational hardware.

Estimation of River Flow Data Using Machine Learning (머신러닝 기법을 이용한 유량 자료 생산 방법)

  • Kang, Noel;Lee, Ji Hun;Lee, Jung Hoon;Lee, Chungdae
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2020.06a
    • /
    • pp.261-261
    • /
    • 2020
  • 물관리의 기본이 되는 연속적인 유량 자료 확보를 위해서는 정확도 높은 수위-유량 관계 곡선식 개발이 필수적이다. 수위-유량 관계곡선식은 모든 수문시설 설계의 기초가 되며 홍수, 가뭄 등 물재해 대응을 위해서도 중요한 의미를 가지고 있다. 그러나 일반적으로 유량 측정은 많은 비용과 시간이 들고, 식생성장, 단면변화 등의 통제특성(control)이 변함에 따라 구간분리, 기간분리와 같은 비선형적인 양상이 나타나 자료 해석에 어려움이 존재한다. 특히, 국내 하천의 경우 자연적 및 인위적인 환경 변화가 다양하여 지점 및 기간에 따라 세밀한 분석이 요구된다. 머신러닝(Machine Learning)이란 데이터를 통해 컴퓨터가 스스로 학습하여 모델을 구축하고 성능을 향상시키는 일련의 과정을 뜻한다. 기존의 수위-유량 관계곡선식은 개발자의 판단에 의해 데이터의 종류와 기간 등을 설정하여 회귀식의 파라미터를 산출한다면, 머신러닝은 유효한 전체 데이터를 이용해 스스로 학습하여 자료 간 상관성을 찾아내 모델을 구축하고 성능을 지속적으로 향상 시킬 수 있다. 머신러닝은 충분한 수문자료가 확보되었다는 전제 하에 복잡하고 가변적인 수자원 환경을 반영하여 유량 추정의 정확도를 지속적으로 향상시킬 수 있다는 이점을 가지고 있다. 본 연구는 머신러닝의 대표적인 알고리즘들을 활용하여 유량을 추정하는 모델을 구축하고 성능을 비교·분석하였다. 대상지역은 안정적인 수량을 확보하고 있는 한강수계의 거운교 지점이며, 사용자료는 2010~2018년의 시간, 수위, 유량, 수면폭 등 이다. 프로그램은 파이썬을 기반으로 한 머신러닝 라이브러리인 사이킷런(sklearn)을 사용하였고 알고리즘은 랜덤포레스트 회귀, 의사결정트리, KNN(K-Nearest Neighbor), rgboost을 적용하였다. 학습(train) 데이터는 입력자료 종류별로 조합하여 6개의 세트로 구분하여 모델을 구축하였고, 이를 적용해 검증(test) 데이터를 RMSE(Roog Mean Square Error)로 평가하였다. 그 결과 모델 및 입력 자료의 조합에 따라 3.67~171.46로 다소 넓은 범위의 값이 도출되었다. 그 중 가장 우수한 유형은 수위, 연도, 수면폭 3개의 입력자료를 조합하여 랜덤포레스트 회귀 모델에 적용한 경우이다. 비교를 위해 동일한 검증 데이터를 한국수문조사연보(2018년) 내거운교 지점의 수위별 수위-유량 곡선식을 이용해 유량을 추정한 결과 RMSE가 3.76이 산출되어, 머신러닝이 세분화된 수위-유량 곡선식과 비슷한 수준까지 성능을 내는 것으로 확인되었다. 본 연구는 양질의 유량자료 생산을 위해 기 구축된 수문자료를 기반으로 머신러닝 기법의 적용 가능성을 검토한 기초 연구로써, 국내 효율적인 수문자료 측정 및 수위-유량 곡선 산출에 도움이 될 수 있을 것으로 판단된다. 향후 수자원 환경 및 통제특성에 영향을 미치는 다양한 영향변수를 파악하기 위해 기상자료, 취수량 등의 입력 자료를 적용할 필요가 있으며, 머신러닝 내 비지도학습인 딥러닝과 같은 보다 정교한 모델에 대한 추가적인 연구도 수행되어야 할 것이다.

  • PDF

A Study of User Behavior Recognition-Based PIN Entry Using Machine Learning Technique (머신러닝을 이용한 사용자 행동 인식 기반의 PIN 입력 기법 연구)

  • Jung, Changhun;Dagvatur, Zayabaatar;Jang, RhongHo;Nyang, DaeHun;Lee, KyungHee
    • KIPS Transactions on Computer and Communication Systems
    • /
    • v.7 no.5
    • /
    • pp.127-136
    • /
    • 2018
  • In this paper, we propose a PIN entry method that combines with machine learning technique on smartphone. We use not only a PIN but also touch time intervals and locations as factors to identify whether the user is correct or not. In the user registration phase, a remote server was used to train/create a machine learning model using data that collected from end-user device (i.e. smartphone). In the user authentication phase, the pre-trained model and the saved PIN was used to decide the authentication success or failure. We examined that there is no big inconvenience to use this technique (FRR: 0%) and more secure than the previous PIN entry techniques (FAR : 0%), through usability and security experiments, as a result we could confirm that this technique can be used sufficiently. In addition, we examined that a security incident is unlikely to occur (FAR: 5%) even if the PIN is leaked through the shoulder surfing attack experiments.