• Title/Summary/Keyword: 학습데이터 구성기법

Search Result 289, Processing Time 0.029 seconds

Explainable Solar Irradiation Forecasting Based on Conditional Random Forests (조건부 랜덤 포레스트 기반의 설명 가능한 일사량 예측)

  • Moon, Jihoon;Hwang, Eenjun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2020.05a
    • /
    • pp.323-326
    • /
    • 2020
  • 태양광 발전은 이산화탄소 배출로 인한 기후 변화에 대응하는 주요 수단으로 인식되어 수요와 필요성이 급격하게 증가하고 있다. 최적의 태양광 발전 시스템의 운영을 위해서는 정교한 전력수요 및 태양광 발전량 예측 모델이 요구되며, 온도 및 일사량은 태양광 발전량 예측 모델의 필수적인 입력 변수이다. 하지만, 한국 기상청의 동네예보는 일사량에 관한 예측값을 제공하지 않아 정교한 태양광 발전량 예측 모델을 구축하는 것은 어렵다. 이를 위해 일사량 예측 기법에 관한 많은 연구사례가 보고되고 있지만, 다수의 연구들은 충분한 데이터 셋을 이용하여 일사량 예측 모델을 개발하였다. 초기 태양광 발전 시스템 운영을 위해서는 불충분한 데이터 셋을 이용한 예측 모델 개발이 필요하나 이에 대한 사례는 불충분하다. 본 논문은 실제 태양광 발전 시스템에서 수집된 불충분한 데이터 셋을 이용한 단기 일사량 예측 기법을 제안한다. 먼저, 기상청 동네예보의 다양한 기상 요인들을 이용하여 일사량 예측 모델을 위한 입력 변수를 구성한다. 다음으로, 조건부 랜덤 포레스트를 이용하여 일사량 예측 모델을 구성하며, 설명 가능한 일사량 예측뿐만 아니라 더욱더 많은 데이터 셋을 학습하기 위해 시계열 교차검증을 수행한다. 실험 결과, 제안한 기법은 다른 예측 기법들보다 높은 예측 정확도를 보일 뿐만 아니라 설명 가능한 예측 결과를 제시할 수 있음을 보여준다.

Image Classification of Damaged Bolts using Convolution Neural Networks (합성곱 신경망을 이용한 손상된 볼트의 이미지 분류)

  • Lee, Soo-Byoung;Lee, Seok-Soon
    • Journal of Aerospace System Engineering
    • /
    • v.16 no.4
    • /
    • pp.109-115
    • /
    • 2022
  • The CNN (Convolution Neural Network) algorithm which combines a deep learning technique, and a computer vision technology, makes image classification feasible with the high-performance computing system. In this thesis, the CNN algorithm is applied to the classification problem, by using a typical deep learning framework of TensorFlow and machine learning techniques. The data set required for supervised learning is generated with the same type of bolts. some of which have undamaged threads, but others have damaged threads. The learning model with less quantity data showed good classification performance on detecting damage in a bolt image. Additionally, the model performance is reviewed by altering the quantity of convolution layers, or applying selectively the over and under fitting alleviation algorithm.

Food Exchange Table Organization Model Based on Decision Tree Using Machine Learning (머신러닝을 이용한 의사결정트리 기반의 식품교환표 구성 모델)

  • Kim, JiYun;Lee, Sangmin;Jeon, Hyeongjun;Kim, Gaeun;Kim, Ji-Hyun;Park, Naeun;Jin, ChangGyun;Kwon, Jin young;Kim Jongwan
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2020.11a
    • /
    • pp.680-684
    • /
    • 2020
  • 최근 국내에서는 식품에 대한 관심도가 높아짐에 따라 먹거리에 건강·환경·미래지향적 가치가 부여되고 있으며 식품 산업에서도 신규 식품 개발이 증가하는 추세이다. 식단을 구성할 때 기준이 되는 식품교환표는 개정과정에서 많은 인력과 시간이 소요되기 때문에 식품 섭취 변화를 신속하게 반영하기 어렵다. 본 논문에서는 식품교환표의 활용도를 높이기 위한 식품교환표 갱신 기법을 제안한다. 제안 기법은 의사결정트리 모델을 학습하여 새롭게 추가된 식품의 정보를 바탕으로 식품군을 분류하여 식품교환표를 갱신한다. 이는 영양 관리가 필요한 당뇨병 환자 등에게 실용적이며 기호성·다양성이 높은 식단을 구성하는 데 도움을 준다.

A Data Sampling Technique for Secure Dataset Using Weight VAE Oversampling(W-VAE) (가중치 VAE 오버샘플링(W-VAE)을 이용한 보안데이터셋 샘플링 기법 연구)

  • Kang, Hanbada;Lee, Jaewoo
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.26 no.12
    • /
    • pp.1872-1879
    • /
    • 2022
  • Recently, with the development of artificial intelligence technology, research to use artificial intelligence to detect hacking attacks is being actively conducted. However, the fact that security data is a representative imbalanced data is recognized as a major obstacle in composing the learning data, which is the key to the development of artificial intelligence models. Therefore, in this paper, we propose a W-VAE oversampling technique that applies VAE, a deep learning generation model, to data extraction for oversampling, and sets the number of oversampling for each class through weight calculation using K-NN for sampling. In this paper, a total of five oversampling techniques such as ROS, SMOTE, and ADASYN were applied through NSL-KDD, an open network security dataset. The oversampling method proposed in this paper proved to be the most effective sampling method compared to the existing oversampling method through the F1-Score evaluation index.

Response Modeling with Semi-Supervised Support Vector Regression (준지도 지지 벡터 회귀 모델을 이용한 반응 모델링)

  • Kim, Dong-Il
    • Journal of the Korea Society of Computer and Information
    • /
    • v.19 no.9
    • /
    • pp.125-139
    • /
    • 2014
  • In this paper, I propose a response modeling with a Semi-Supervised Support Vector Regression (SS-SVR) algorithm. In order to increase the accuracy and profit of response modeling, unlabeled data in the customer dataset are used with the labeled data during training. The proposed SS-SVR algorithm is designed to be a batch learning to reduce the training complexity. The label distributions of unlabeled data are estimated in order to consider the uncertainty of labeling. Then, multiple training data are generated from the unlabeled data and their estimated label distributions with oversampling to construct the training dataset with the labeled data. Finally, a data selection algorithm, Expected Margin based Pattern Selection (EMPS), is employed to reduce the training complexity. The experimental results conducted on a real-world marketing dataset showed that the proposed response modeling method trained efficiently, and improved the accuracy and the expected profit.

Learning Bayesian Networks for Text Documents Classification (텍스트 문서 분류를 위한 베이지안망 학습)

  • 황규백;장병탁;김영택
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.04b
    • /
    • pp.262-264
    • /
    • 2000
  • 텍스트 문서 분류는 텍스트 형태로 주어진 문서를 종류별로 구분하는 작업으로 웹페이지 검색, 뉴스 그룹 검색, 메일 필터링 등이 분야에 응용될 수 있는 기반 작업이다. 지금까지 문서를 분류하는데는 k-NN, 신경망 등 여러 가지 기계학습 기법이 이용되어 왔다. 이 논문에서는 베이지안망을 이용해서 텍스트 문서 분류를 행한다. 베이지안망은 다수의 변수들간의 확률적 관계를 표현하는 그래프 모델로 DAG 형태인 망 구조와 각 노드에 연관된 지역확률분포로 구성된다. 그래프 모델을 사용할 경우 학습에 이용되는 각 속성들간의 관계를 사람이 알아보기 쉬운 형태로 학습할 수 있다는 장점이 있다. 실험 데이터로는 Reuters-21578 문서분류데이터를 이용했으며 베이안망의 성능은 나이브 베이즈 분류기와 비슷했다.

  • PDF

A Rule Extraction Method Using Relevance Factor for FMM Neural Networks (FMM 신경망에서 연관도요소를 이용한 규칙 추출 기법)

  • Lee, Seung-Kang;Lee, Jae-Hyuk;Kim, Ho-Joon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2012.11a
    • /
    • pp.377-380
    • /
    • 2012
  • 본 연구에서는 학습데이터의 빈도요소를 반영하도록 수정된 구조의 FMM 신경망을 소개하고, 이로부터 패턴 분류를 위한 지식 표현을 생성하는 방법론을 제안한다. 하이퍼박스 멤버쉽함수는 5종류의 퍼지 분할을 기반으로 설정한 구간에 대하여 소속정도를 반영하여 결정하며, 각 차원별로 특징범위의 폭과 빈도 요소로부터 가중치 값이 학습된다. 본 연구에서는 제안된 이론을 수화인식 문제를 대상으로 고찰하였다. 인식 시스템의 구성은 특징추출을 위하여 3차원으로 확장된 구조의 CNN 모델을 사용하였으며, 수화패턴 데이터의 표현은 모션 히스토리 볼륨(Motion History Volume) 구조를 기반으로 하였다. 6종류의 수화패턴 동영상으로부터 27개 특징요소를 추출하고 이를 사용한 FMM 신경망의 학습과정과 지식의 추출 과정을 실험으로 보이고 그 유용성을 고찰한다.

Probability Model-Based Data Mining Approach for Real-Time Processing of Large Data: High-Risk Group Detection and Rule Management System for Patients with High Blood Pressure (대용량 데이터의 실시간 처리를 위한 확률모형 기반 마이닝 기법: 고혈압환자 관리를 위한 고위험군 탐지 및 룰 관리 시스템)

  • Park, Sung-Hyuk;Yang, Kun-Woo
    • 한국IT서비스학회:학술대회논문집
    • /
    • 2010.05a
    • /
    • pp.469-474
    • /
    • 2010
  • 본 연구에서는 보건기관이 효율적으로 고혈압 관리 대상자를 탐색하고, 고혈압 관련 요인에 대한 지식을 효과적으로 관리할 수 있도록 하는 고혈압 고위험군 추정 모형 및 우선 사업 대상자 탐색 모형을 제안한다. 특히, 대용량 데이터 처리 및 실시간 시스템 운영, 외부 환경 변화를 고려한 자동 학습과 같은 현실적인 제약 조건을 해결하는 모형을 개발하는 것을 주 목표로 한다. 지역 보건소에서 수집된 의료 데이터를 이용하여 최적의 파라미터 값을 설정한 고혈압 고위험군 탐색 모형을 도출하였으며, 모형의 검증을 위하여 고혈압 환자정보로 구성된 평가용 데이터를 사용하여 고혈압 자연 발병률 대비 약 2배 수준으로 향상된 고혈압 환자 예측 정확도가 얻어지는 것을 확인하였다. 시스템 운영과 유비보수 측면에서 현실적으로 중요한 문제인 대용량 데이터 처리 및 외부 환경 변화에 강인한 자동학습 이슈를 해결하기 위한 방안에 대해서도 설명하였다.

  • PDF

Analysis of Gene-Drug Interactions Using Bayesian Networks (베이지안망을 이용한 유전자와 약물 간 관계 분석)

  • O, Seok-Jun;Hwang, Gyu-Baek;Jang, Jeong-Ho;Jang, Byeong-Tak
    • Proceedings of the Korean Statistical Society Conference
    • /
    • 2002.05a
    • /
    • pp.91-97
    • /
    • 2002
  • 최근의 생물학 연구를 위한 기기의 자동화 및 고속화는 생물학 관련 정보량의 급증을 가져오고 있다. 예를 들어, DNA chip에서 얻어지는 마이크로어레이(microarray)는 수천 종류의 유전자의 발현량을 동시에 측정한다. 이러한 기술들은 생물의 세포나 조직에서 일어나는 일련의 다양한 현상을 전체적으로 조망하는 관점에서 관찰할 수 있는 기회를 제공하고 있으며, 이를 통한 생명공학의 전반적인 발전이 기대되고 있다. 따라서 대량의 생물학 관련 정보의 분석이나 데이터 마이닝이 행해지고 있으며 이를 위한 대표적인 기법들로는 각종 클러스터링(clustering) 및 신경망 계열의 모델 등이 있다. 본 논문에서는 확률그래프모델의 하나인 베이지안망(Bayesian network)을 생물정보분석에 이용한다. 구체적으로 유전자 발현패턴과 약물의 활성패턴 및 암 종류 사이의 확률적 관계를 모델링한다. 이러한 모델은 NCI60 dataset(http://discover.nci.nih.gov)에서 베이지안망을 학습함으로써 구성된다. 분석의 대상이 되는 데이터가 sparse하기 때문에 발생하는 어려움들을 해결하기 위한 기법들이 제시되며 학습된 모델에 대한 검증은 이미 생물학적으로 확인되어 있는 사실과의 비교를 통해 이루어진다. 학습된 베이지안망 모델은 각각의 유전자 간, 혹은 유전자와 처리된 약물 간의 실제 생물학적 관계를 다수 표현하며, 이는 제시되는 방법이 생물학적으로 유의미한 가설을 데이터 분석을 통해 효율적으로 생성하는데 유용하게 활용될 수 있음을 보인다.

  • PDF

Spam Text Filtering by Using Sen2Vec and Feedforward Neural Network (문장 벡터와 전방향 신경망을 이용한 스팸 문자 필터링)

  • Lee, Hyun-Young;Kang, Seung-Shik
    • Annual Conference on Human and Language Technology
    • /
    • 2017.10a
    • /
    • pp.255-259
    • /
    • 2017
  • 스팸 문자 메시지를 표현하는 한국어의 단어 구성이나 패턴은 점점 더 지능화되고 다양해지고 있다. 본 논문에서는 이러한 한국어 문자 메시지에 대해 단어 임베딩 기법으로 문장 벡터를 구성하여 인공신경망의 일종인 전방향 신경망(Feedforward Neural Network)을 이용한 스팸 문자 메시지 필터링 방법을 제안한다. 전방향 신경망을 이용한 방법의 성능을 평가하기 위하여 기존의 스팸 문자 메시지 필터링에 보편적으로 사용되고 있는 SVM light를 이용한 스팸 문자 메시지 필터링의 정확도를 비교하였다. 학습 및 성능 평가를 위하여 약 10만 개의 SMS 문자 데이터로 학습을 진행하였고, 약 1만 개의 실험 데이터에 대하여 스팸 문자 필터링의 정확도를 평가하였다.

  • PDF