• Title/Summary/Keyword: 훈련자료

Search Result 938, Processing Time 0.041 seconds

Automatic Extraction of Training Data Based on Semi-supervised Learning for Time-series Land-cover Mapping (시계열 토지피복도 제작을 위한 준감독학습 기반의 훈련자료 자동 추출)

  • Kwak, Geun-Ho;Park, No-Wook
    • Korean Journal of Remote Sensing
    • /
    • v.38 no.5_1
    • /
    • pp.461-469
    • /
    • 2022
  • This paper presents a novel training data extraction approach using semi-supervised learning (SSL)-based classification without the analyst intervention for time-series land-cover mapping. The SSL-based approach first performs initial classification using initial training data obtained from past images including land-cover characteristics similar to the image to be classified. Reliable training data from the initial classification result are then extracted from SSL-based iterative classification using classification uncertainty information and class labels of neighboring pixels as constraints. The potential of the SSL-based training data extraction approach was evaluated from a classification experiment using unmanned aerial vehicle images in croplands. The use of new training data automatically extracted by the proposed SSL approach could significantly alleviate the misclassification in the initial classification result. In particular, isolated pixels were substantially reduced by considering spatial contextual information from adjacent pixels. Consequently, the classification accuracy of the proposed approach was similar to that of classification using manually extracted training data. These results indicate that the SSL-based iterative classification presented in this study could be effectively applied to automatically extract reliable training data for time-series land-cover mapping.

Predicting water temperature and water quality in a reservoir using a hybrid of mechanistic model and deep learning model (역학적 모델과 딥러닝 모델을 결합한 저수지 수온 및 수질 예측)

  • Sung Jin Kim;Se Woong Chung
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2023.05a
    • /
    • pp.150-150
    • /
    • 2023
  • 기작기반의 역학적 모델과 자료기반의 딥러닝 모델은 수질예측에 다양하게 적용되고 있으나, 각각의 모델은 고유한 구조와 가정으로 인해 장·단점을 가지고 있다. 특히, 딥러닝 모델은 우수한 예측 성능에도 불구하고 훈련자료가 부족한 경우 오차와 과적합에 따른 분산(variance) 문제를 야기하며, 기작기반 모델과 달리 물리법칙이 결여된 예측 결과를 생산할 수 있다. 본 연구의 목적은 주요 상수원인 댐 저수지를 대상으로 수심별 수온과 탁도를 예측하기 위해 기작기반과 자료기반 모델의 장점을 융합한 PGDL(Process-Guided Deep Learninig) 모델을 개발하고, 물리적 법칙 만족도와 예측 성능을 평가하는데 있다. PGDL 모델 개발에 사용된 기작기반 및 자료기반 모델은 각각 CE-QUAL-W2와 순환 신경망 딥러닝 모델인 LSTM(Long Short-Term Memory) 모델이다. 각 모델은 2020년 1월부터 12월까지 소양강댐 댐 앞의 K-water 자동측정망 지점에서 실측한 수온과 탁도 자료를 이용하여 각각 보정하고 훈련하였다. 수온 및 탁도 예측을 위한 PGDL 모델의 주요 알고리즘은 LSTM 모델의 목적함수(또는 손실함수)에 실측값과 예측값의 오차항 이외에 역학적 모델의 에너지 및 질량 수지 항을 제약 조건에 추가하여 예측결과가 물리적 보존법칙을 만족하지 않는 경우 penalty를 부가하여 매개변수를 최적화시켰다. 또한, 자료 부족에 따른 LSTM 모델의 예측성능 저하 문제를 극복하기 위해 보정되지 않은 역학적 모델의 모의 결과를 모델의 훈련자료로 사용하는 pre-training 기법을 활용하여 실측자료 비율에 따른 모델의 예측성능을 평가하였다. 연구결과, PGDL 모델은 저수지 수온과 탁도 예측에 있어서 경계조건을 통한 에너지와 질량 변화와 저수지 내 수온 및 탁도 증감에 따른 공간적 에너지와 질량 변화의 일치도에 있어서 LSTM보다 우수하였다. 또한 역학적 모델 결과를 LSTM 모델의 훈련자료의 일부로 사용한 PGDL 모델은 적은 양의 실측자료를 사용하여도 CE-QUAL-W2와 LSTM 보다 우수한 예측 성능을 보였다. 연구결과는 다차원의 역학적 수리수질 모델과 자료기반 딥러닝 모델의 장점을 결합한 새로운 모델링 기술의 적용 가능성을 보여주며, 자료기반 모델의 훈련자료 부족에 따른 예측 성능 저하 문제를 극복하기 위해 역학적 모델이 유용하게 활용될 수 있음을 시사한다.

  • PDF

과학화 전투훈련 신뢰성 제고를 위한 자료검증 방법

  • 문형곤;유승근
    • Proceedings of the Korea Society for Simulation Conference
    • /
    • 2002.05a
    • /
    • pp.123-123
    • /
    • 2002
  • 부대기동 및 실사격을 적용한 군사훈련이 가장 사실적이며 현실감이 있지만, 부대기동에 따른 교통체증 유발과 실사격 훈련에 대한 민원 증가로 인하여 실기동에 의한 군사훈련을 실시하기에는 많은 어려움이 있다. 그러므로 실사격 훈련의 제한 및 통제형 선형훈련으로 인하여 현장감이 저하되고 학습효과가 상대적으로 떨어지게 되는 단점을 극복하기 위하여, 미국, 영국, 독일, 프랑스 등 군사선진국들은 실전적 훈련묘사 및 정밀 훈련분석이 가능한 과학화 전투훈련장을 구축하여 군사훈련의 성과를 높이고 있다. 국내에서도 육군 과학화 전투훈련장(KCTC) 구축사업이 현재 진행중에 있다. 과학화 전투훈련은 일반적으로 마일즈 장비와 시뮬레이션을 사용하여, 지휘/통제/통신 및 기동, 전투근무 지원에 이르는 군사훈련 전과정을 모의하며, 직/곡사화기 교전, 화학 및 지뢰지대 운용, 항공지원 등 전투과정을 재현함으로써 훈련에 참여하는 지휘관과 병사로 하여금 현장감 있는 전투훈련을 유도한다. 이러한 과학화 전투훈련이 실제 훈련과 동일한 훈련효과를 창출하기 위해서는, 신뢰성 있는 교전 피해평가가 필요하다. 예를 들어, 곡사화기에 의한 살상범위, 피해정도 등이 실무부대 전투결과들과 큰 차이가 발생하면 소기의 훈련목적을 달성할 수 없다. 본 고는 과학화 전투훈련장의 전투피해평가 자료체계에 대한 객관적이고 신뢰성 있는 자료검증방법을 제시하여, 향후 과학화 전투훈련의 신뢰성 제고에 기여하고자 한다.

  • PDF

Automatic Extraction of Initial Training Data Using National Land Cover Map and Unsupervised Classification and Updating Land Cover Map (국가토지피복도와 무감독분류를 이용한 초기 훈련자료 자동추출과 토지피복지도 갱신)

  • Soungki, Lee;Seok Keun, Choi;Sintaek, Noh;Noyeol, Lim;Juweon, Choi
    • Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography
    • /
    • v.33 no.4
    • /
    • pp.267-275
    • /
    • 2015
  • Those land cover maps have widely been used in various fields, such as environmental studies, military strategies as well as in decision-makings. This study proposes a method to extract training data, automatically and classify the cover using ingle satellite images and national land cover maps, provided by the Ministry of Environment. For this purpose, as the initial training data, those three were used; the unsupervised classification, the ISODATA, and the existing land cover maps. The class was classified and named automatically using the class information in the existing land cover maps to overcome the difficulty in selecting classification by each class and in naming class by the unsupervised classification; so as achieve difficulty in selecting the training data in supervised classification. The extracted initial training data were utilized as the training data of MLC for the land cover classification of target satellite images, which increase the accuracy of unsupervised classification. Finally, the land cover maps could be extracted from updated training data that has been applied by an iterative method. Also, in order to reduce salt and pepper occurring in the pixel classification method, the MRF was applied in each repeated phase to enhance the accuracy of classification. It was verified quantitatively and visually that the proposed method could effectively generate the land cover maps.

Investigating Data Preprocessing Algorithms of a Deep Learning Postprocessing Model for the Improvement of Sub-Seasonal to Seasonal Climate Predictions (계절내-계절 기후예측의 딥러닝 기반 후보정을 위한 입력자료 전처리 기법 평가)

  • Uran Chung;Jinyoung Rhee;Miae Kim;Soo-Jin Sohn
    • Korean Journal of Agricultural and Forest Meteorology
    • /
    • v.25 no.2
    • /
    • pp.80-98
    • /
    • 2023
  • This study explores the effectiveness of various data preprocessing algorithms for improving subseasonal to seasonal (S2S) climate predictions from six climate forecast models and their Multi-Model Ensemble (MME) using a deep learning-based postprocessing model. A pipeline of data transformation algorithms was constructed to convert raw S2S prediction data into the training data processed with several statistical distribution. A dimensionality reduction algorithm for selecting features through rankings of correlation coefficients between the observed and the input data. The training model in the study was designed with TimeDistributed wrapper applied to all convolutional layers of U-Net: The TimeDistributed wrapper allows a U-Net convolutional layer to be directly applied to 5-dimensional time series data while maintaining the time axis of data, but every input should be at least 3D in U-Net. We found that Robust and Standard transformation algorithms are most suitable for improving S2S predictions. The dimensionality reduction based on feature selections did not significantly improve predictions of daily precipitation for six climate models and even worsened predictions of daily maximum and minimum temperatures. While deep learning-based postprocessing was also improved MME S2S precipitation predictions, it did not have a significant effect on temperature predictions, particularly for the lead time of weeks 1 and 2. Further research is needed to develop an optimal deep learning model for improving S2S temperature predictions by testing various models and parameters.

Accuracy Assessment of Supervised Classification using Training Samples Acquired by a Field Spectroradiometer: A Case Study for Kumnam-myun, Sejong City (지상 분광반사자료를 훈련샘플로 이용한 감독분류의 정확도 평가: 세종시 금남면을 사례로)

  • Shin, Jung Il;Kim, Ik Jae;Kim, Dong Wook
    • Journal of Korean Society for Geospatial Information Science
    • /
    • v.24 no.1
    • /
    • pp.121-128
    • /
    • 2016
  • Many studies are focused on image data and classifier for comparison or improvement of classification accuracy. Therefore studies are needed aspect of the training samples on supervised classification which depend on reference data or skill of analyst. This study tries to assess usability of field spectra as training samples on supervised classification. Classification accuracies of hyperspectral and multispectral images were assessed using training samples from image itself and field spectra, respectively. The results shown about 90% accuracy with training sample collected from image. Using field spectra as training sample, accuracy was decreased 10%p for hyperspectral image, and 20%p for multispectral image. Especially, some classes shown very low accuracies due to similar spectral characteristics on multispectral image. Therefore, field spectra might be used as training samples on classification of hyperspectral image, although it has limitation for multispectral image.

Application of transfer learning to develop radar-based rainfall prediction model with GAN(Generative Adversarial Network) for multiple dam domains (다중 댐 유역에 대한 강우예측모델 개발을 위한 전이학습 기법의 적용)

  • Choi, Suyeon;Kim, Yeonjoo
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2022.05a
    • /
    • pp.61-61
    • /
    • 2022
  • 최근 머신러닝 기술의 발달에 따라 이를 활용한 레이더 자료기반 강우예측기법이 활발히 개발되고 있다. 기존 머신러닝을 이용한 강우예측모델 개발 관련 연구는 주로 한 지역에 대해 수행되며, 데이터 기반으로 훈련되는 머신러닝 기법의 특성상 개발된 모델이 훈련된 지역에 대해서만 좋은 성능을 보인다는 한계점이 존재한다. 이러한 한계점을 해결하기 위해 사전 훈련된 모델을 이용하여 새로운 데이터에 대해 모델을 훈련하는 전이학습 기법 (transfer learning)을 적용하여 여러 유역에 대한 강우예측모델을 개발하고자 하였다. 본 연구에서는 사전 훈련된 강우예측 모델로 생성적 적대 신경망 기반 기법(Generative Adversarial Network, GAN)을 이용한 미래 강우예측모델을 사용하였다. 해당 모델은 기상청에서 제공된 2014년~2017년 여름의 레이더 이미지 자료를 이용하여 초단기, 단기 강우예측을 수행하도록 학습시켰으며, 2018년 레이더 이미지 자료를 이용한 단기강우예측 모의에서 좋은 성능을 보였다. 본 연구에서는 훈련된 모델을 이용해 새로운 댐 유역(안동댐, 충주댐)에 대한 강우예측모델을 개발하기 위해 여러 전이학습 기법을 적용하고, 그 결과를 비교하였다. 결과를 통해 새로운 데이터로 처음부터 훈련시킨 모델보다 전이학습 기법을 사용하였을 때 좋은 성능을 보이는 것을 확인하였으며, 이를 통해 여러 댐 유역에 대한 모델 개발 시 전이학습 기법이 효율적으로 적용될 수 있음을 확인하였다.

  • PDF

The Flood Water Stage Prediction based on Neural Networks Method in Stream Gauge Station (하천수위표지점에서 신경망기법을 이용한 홍수위의 예측)

  • Kim, Seong-Won;Salas, Jose-D.
    • Journal of Korea Water Resources Association
    • /
    • v.33 no.2
    • /
    • pp.247-262
    • /
    • 2000
  • In this paper, the WSANN(Water Stage Analysis with Neural Network) model was presented so as to predict flood water stage at Jindong which has been the major stream gauging station in Nakdong river basin. The WSANN model used the improved backpropagation training algorithm which was complemented by the momentum method, improvement of initial condition and adaptive-learning rate and the data which were used for this study were classified into training and testing data sets. An empirical equation was derived to determine optimal hidden layer node between the hidden layer node and threshold iteration number. And, the calibration of the WSANN model was performed by the four training data sets. As a result of calibration, the WSANN22 and WSANN32 model were selected for the optimal models which would be used for model verification. The model verification was carried out so as to evaluate model fitness with the two-untrained testing data sets. And, flood water stages were reasonably predicted through the results of statistical analysis. As results of this study, further research activities are needed for the construction of a real-time warning of the impending flood and for the control of flood water stage with neural network method in river basin. basin.

  • PDF

데이터마이닝 기법을 이용한 주가자료 분석

  • 손인석;황창하;조길호;김태윤
    • Proceedings of the Korean Statistical Society Conference
    • /
    • 2001.11a
    • /
    • pp.99-104
    • /
    • 2001
  • 본 연구의 주된 목표는 1997년 주가자료를 데이터마이닝 기법인 로지스틱모형, 의사결정트리, 신경망, SVM(support vector machine), 뉴로퍼지모형을 사용하여 분석한 후 우리나라 경제상황을 진단하고 예측하는데 가장 적합한 모형을 찾고 그 모형을 해석하는데 있다. 1997년 주가자료를 훈련자료로 간주하여 그 당시 경제 상황에 따라 적절한 구간으로 나누고 훈련시킨 결과 중요한 변수로는 주가지수, 등락률 10일 이동분산, 10일 이동분산의 변동비로 나타났으며 적절한 기법으로는 의사결정트리, 신경망, SVM임을 알 수 있다. 1997년 이외의 주가자료를 데이터마이닝 기법(신경망, 의사결정트리, SVM)에 적용한 결과, 우리나라 경제상황을 고려해 볼 때 신경망이 가장 정확도가 좋은 기법으로 보여진다.

  • PDF

Classification of Class-Imbalanced Data: Effect of Over-sampling and Under-sampling of Training Data (계급불균형자료의 분류: 훈련표본 구성방법에 따른 효과)

  • 김지현;정종빈
    • The Korean Journal of Applied Statistics
    • /
    • v.17 no.3
    • /
    • pp.445-457
    • /
    • 2004
  • Given class-imbalanced data in two-class classification problem, we often do over-sampling and/or under-sampling of training data to make it balanced. We investigate the validity of such practice. Also we study the effect of such sampling practice on boosting of classification trees. Through experiments on twelve real datasets it is observed that keeping the natural distribution of training data is the best way if you plan to apply boosting methods to class-imbalanced data.