• 제목/요약/키워드: training data

검색결과 7,432건 처리시간 0.034초

퍼지와 인공 신경망을 이용한 침입탐지시스템의 탐지 성능 비교 연구 (Comparison of Detection Performance of Intrusion Detection System Using Fuzzy and Artificial Neural Network)

  • 양은목;이학재;서창호
    • 디지털융복합연구
    • /
    • 제15권6호
    • /
    • pp.391-398
    • /
    • 2017
  • 본 논문에서는 "퍼지 컨트롤 언어를 이용한 공격 특징 선택기반 네트워크 침입탐지 시스템"[1]과 "RNN을 이용한 공격 분류를 위한 지능형 침입탐지 시스템 모델"[2]의 성능을 비교 하였다. 이 논문에서는 KDD CUP 99 데이터 셋[3]을 이용하여 두 기법의 침입 탐지 성능을 비교하였다. KDD CUP 99 데이터 셋에는 훈련을 위한 데이터 셋과 훈련을 통해 기존의 침입을 탐지 할 수 있는 테스트 데이터 셋이 있다. 또한 훈련 데이터 및 테스트 데이터에 존재 하지 않는 침입의 유형을 탐지할 수 있는가를 테스트 할 수 있는 데이터도 존재한다. 훈련 및 테스트 데이터에서 좋은 침입탐지 성능을 보이는 두 개의 논문을 비교하였다. 비교한 결과 존재하는 침입을 탐지 하는 성능은 우수하지만 기존에 존재하지 않는 침입을 탐지 하는 성능은 부족한 부분이 있다. 공격 유형 중 DoS, Probe, R2L는 퍼지를 이용하는 것이 탐지율이 높았고, U2L은 RNN을 이용하는 것이 탐지율이 높았다.

픽셀값 변환 기법을 더한 데이터 복원공격에의한 연합학습의 프라이버시 침해 (Invasion of Pivacy of Federated Learning by Data Reconstruction Attack with Technique for Converting Pixel Value)

  • 오윤주;최대선
    • 정보보호학회논문지
    • /
    • 제33권1호
    • /
    • pp.63-74
    • /
    • 2023
  • 프라이버시 침해에 대한 안전성을 보장하기 위해 매개변수를 주고받아 학습하는 연합학습이 대두되고 있다. 하지만 최근 그래디언트를 이용하여 학습 데이터를 유출하는 논문이 발표되었다. 본 논문은 연합학습 환경에서 그래디언트를 이용하여 학습 데이터를 유출하는 실험을 구현하였으며, 학습 데이터를 유출하는 기존 공격을 개선하여 복원성능을 높이는 방법을 제안한다. 제안 방법에 대해 Yale face database B, MNIST dataset를 이용하여 실험한 결과, 연합학습 성능이 accuracy=99~100%로 높을 때 100개의 학습 데이터 중 최대 100개의 데이터를 식별 가능한 수준으로 복원하여, 연합학습이 프라이버시 침해로부터 안전하지 않다는 것을 보인다. 또한, 픽셀단위의 성능(MSE, PSNR, SSIM)과 Human Test에 의한 식별적인 성능을 비교함으로써 픽셀에 기반한 성능보다 식별적인 성능의 중요성을 강조하고자 한다.

지도학습 기반 암상 분류 시 클래스 간 자료 불균형을 고려한 평가지표 개발 (Development of Evaluation Metrics that Consider Data Imbalance between Classes in Facies Classification)

  • 김도완;최준환;변중무
    • 지구물리와물리탐사
    • /
    • 제23권3호
    • /
    • pp.131-140
    • /
    • 2020
  • 머신러닝을 이용한 분류 모델 훈련에서 학습자료의 양과 질은 학습한 모델의 성능을 좌우하므로 학습자료 생성이 매우 중요한 역할을 한다. 그러나 자료 생성에 높은 비용이 들어 이상적인 학습자료 생성이 어려울 때에는 클래스 간 자료 불균형 문제가 발생한다. 만약 학습자료로 사용될 탐사자료가 클래스 간 불균형하게 얻어지면, 클래스 별로 균형있는 학습이 이루어지기 힘들다. 따라서 데이터가 상대적으로 적은 클래스는 재현율이 현저히 떨어지게 된다. 그 뿐만 아니라 정확도와 정밀도 등의 평가지표들에 대한 신뢰도가 떨어지게 된다. 따라서 이 연구에서는 두 단계에 걸쳐 자료 불균형 문제를 해소하고자 하였다. 첫 번째로 기존의 정확도와 정밀도를 개선하여 자료 불균형을 고려할 수 있는 새로운 평가지표로 가중정확도와 가중정밀도를 고안하였다. 다음으로 클래스 간의 가중정밀도와 재현율의 균형을 맞추어 주도록 오버샘플링을 수행하였다. 개발한 알고리듬을 물리검층 자료를 이용한 암상 및 공극유체 규명 문제에 적용함으로써 검증하였다. 그 결과 다수 클래스와 소수 클래스들 간의 불균형이 상당 부분 완화되었고, 클래스 간의 경계를 보다 명확하게 확인할 수 있었다.

The classified method for overlapping data

  • Kruatrachue, Boontee;Warunsin, Kulwarun;Siriboon, Kritawan
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 2004년도 ICCAS
    • /
    • pp.2037-2040
    • /
    • 2004
  • In this paper we introduce a new prototype based classifiers for overlapping data, where training pattern can be overlap on the feature space. The proposed classifier is based on the prototype from neural network classifier (NNC)[1] for overlap data. The method automatically chooses the initial center and two radiuses for each class. The center is used as a mean representative of training data for each class. The unclassified pattern is classified by measure distance from the class center. If the distance is in the lower (shorter radius) the unknown pattern has the high percentage of being in this class. If the distance is between the lower and upper (further radius), the pattern has the probability of being in this class or others. But if the distance is outside the upper, the pattern is not in this class. We borrow the words upper and lower from the rough set to represent the region of certainty [3]. The training algorithm to find number of cluster and their parameters (center, lower, upper) is presented. The clustering result is tested using patterns from Thai handwritten letter and the clustering result is very similar to human eyes clustering.

  • PDF

Influence on overfitting and reliability due to change in training data

  • Kim, Sung-Hyeock;Oh, Sang-Jin;Yoon, Geun-Young;Jung, Yong-Gyu;Kang, Min-Soo
    • International Journal of Advanced Culture Technology
    • /
    • 제5권2호
    • /
    • pp.82-89
    • /
    • 2017
  • The range of problems that can be handled by the activation of big data and the development of hardware has been rapidly expanded and machine learning such as deep learning has become a very versatile technology. In this paper, mnist data set is used as experimental data, and the Cross Entropy function is used as a loss model for evaluating the efficiency of machine learning, and the value of the loss function in the steepest descent method is We applied the GradientDescentOptimize algorithm to minimize and updated weight and bias via backpropagation. In this way we analyze optimal reliability value corresponding to the number of exercises and optimal reliability value without overfitting. And comparing the overfitting time according to the number of data changes based on the number of training times, when the training frequency was 1110 times, we obtained the result of 92%, which is the optimal reliability value without overfitting.

Prediction of rebound in shotcrete using deep bi-directional LSTM

  • Suzen, Ahmet A.;Cakiroglu, Melda A.
    • Computers and Concrete
    • /
    • 제24권6호
    • /
    • pp.555-560
    • /
    • 2019
  • During the application of shotcrete, a part of the concrete bounces back after hitting to the surface, the reinforcement or previously sprayed concrete. This rebound material is definitely not added to the mixture and considered as waste. In this study, a deep neural network model was developed to predict the rebound material during shotcrete application. The factors affecting rebound and the datasets of these parameters were obtained from previous experiments. The Long Short-Term Memory (LSTM) architecture of the proposed deep neural network model was used in accordance with this data set. In the development of the proposed four-tier prediction model, the dataset was divided into 90% training and 10% test. The deep neural network was modeled with 11 dependents 1 independent data by determining the most appropriate hyper parameter values for prediction. Accuracy and error performance in success performance of LSTM model were evaluated over MSE and RMSE. A success of 93.2% was achieved at the end of training of the model and a success of 85.6% in the test. There was a difference of 7.6% between training and test. In the following stage, it is aimed to increase the success rate of the model by increasing the number of data in the data set with synthetic and experimental data. In addition, it is thought that prediction of the amount of rebound during dry-mix shotcrete application will provide economic gain as well as contributing to environmental protection.

연속된 데이터의 퍼지학습에 의한 비정상 시계열 예측 (Predicting Nonstationary Time Series with Fuzzy Learning Based on Consecutive Data)

  • 김인택
    • 대한전기학회논문지:시스템및제어부문D
    • /
    • 제50권5호
    • /
    • pp.233-240
    • /
    • 2001
  • This paper presents a time series prediction method using a fuzzy rule-based system. Extracting fuzzy rules by performing a simple one-pass operation on the training data is quite attractive because it is easy to understand, verify, and extend. The simplest method is probably to relate an estimate, x(n+k), with past data such as x(n), x(n-1), ..x(n-m), where k and m are prefixed positive integers. The relation is represented by fuzzy if-then rules, where the past data stand for premise part and the predicted value for consequence part. However, a serious problem of the method is that it cannot handle nonstationary data whose long-term mean is varying. To cope with this, a new training method is proposed, which utilizes the difference of consecutive data in a time series. In this paper, typical previous works relating time series prediction are briefly surveyed and a new method is proposed to overcome the difficulty of prediction nonstationary data. Finally, computer simulations are illustrated to show the improved results for various time series.

  • PDF

데이터 트레이드 직무 모델링에 관한 연구 (Designing Job Description of Data Trader)

  • 엄혜미
    • 디지털융복합연구
    • /
    • 제19권4호
    • /
    • pp.33-38
    • /
    • 2021
  • '데이터 경제(Data Economy)'의 기폭제 역할을 한 코로나시대를 맞이하여 모든 일상은 디지털 형태로 급속하게 전환되고 있다. 디지털 데이터의 양과 질적은 급속하게 증가하고 있다. 국내 데이터 산업은 다양한 데이터 인력이 필요하지만, 양질의 데이터 인력은 여전히 부족한 실정이다. 수요가 많은 데이터 인력은 개발 인력이지만, 데이터 산업의 부가가치를 높이기 위해서 데이터 비즈니스 인력이 필요하다. 데이터 비즈니스 인력 중에서 높은 핵심적인 가치를 창출하는 데이터 트레이드 매니저의 역할이 주목받고 있다. 본 연구는 데이터 트레이드 메니저의 직무 정의, 필요한 지식 및 기술, 양성 교육 과정에 필요한 교육 내용 등을 델파이 연구를 통해서 도출한다. 연구 결과의 유효성을 파악하기 위하여 전문가와 직업 수요자를 대상으로 데이터 트레이드 메니저의 직업 안착 가능성을 검증한다. 본 연구는 데이터 인력 양성에 근거가 되는 교육 모델의 이론적 근거로 활용될 수 있고, 향후 인력 양성 정책 수립에 활용될 수 있다.

환경분야 직업교육훈련과정 개발을 위한 직무분석 기초 연구 (A Study on Job Analysis for the Development of Vocational Education & Training Curriculum for the Environmental field)

  • 주인중;박종성
    • 공학교육연구
    • /
    • 제7권3호
    • /
    • pp.5-18
    • /
    • 2004
  • 이 연구는 1998년부터 수행된 직업교육훈련 프로그램 개발을 위한 직무분석 기초 연구로서 교육 훈련 자격 분야에서 활용도를 높일 수 있도록 2002년도에 개발된 직무분석 지침서를 보완하고, 2003년에 이 연구와 함께 수행된 $\ulcorner$직업 변동에 관한 연구(III)$\lrcorner$에서 추출된 환경 산업 관련 직업 중에서 직업교육훈련과정 및 출제 기준을 개발하기 위해 선행적으로 요구되는 10개 직업을 선정하고, 직무분석을 실시하여 이들에 대한 교육 과정, 훈련 기준, 자격 검정의 출제 기준을 개발할 수 있는 기초 자료를 제작 보급하는 데 목적이 있다. 이 연구의 내용은 첫째, 직무분석 관련 선행 내용을 분석하고, 둘째, 직무분석 지침서를 보완하며, 셋째, 직무분석 대상 직업을 선정한 후, 넷째, 직업교육훈련과정 및 출제 기준을 개발하기 위한 직무분석을 실시하고, 그 결과를 제공하는 것이다. 이 연구의 목적을 달성하기 위한 연구 방법으로는 직무분석 관련 선행 연구 및 자료 분석, 직무분석 보완 및 대상 직업 선정과 직업별 직무분석을 위한 전문가 협의회, 데이컴법(DACUM process)을 이용한 직무분석 등을 실시하였다. 이 연구는 우선 직업교육훈련과정의 개발을 위한 직무분석의 모형을 절차별로 정리 제시하였는데, 1단계는 직무분석 준비, 2단계는 직무모형 설정, 3단계는 지식, 기능, 도구 추출, 4단계는 선수 코스 및 교과목 선정, 5단계는 교육 훈련 내용 상세화, 6단계는 출제 기준 설정 등으로 구성되어 있다. 이 연구에서는 이러한 절차에 따라 10개 직업에 대한 직업별 직무분석이 진행되었다.

기대최대화 알고리즘을 활용한 도로노면 training 자료 자동추출에 관한 연구 - 감독분류를 통한 도로 네트워크의 자동추출을 위하여 (Automatic Extraction of Training Dataset Using Expectation Maximization Algorithm - for Automatic Supervised Classification of Road Networks)

  • 한유경;최재완;이재빈;유기윤;김용일
    • 한국측량학회지
    • /
    • 제27권2호
    • /
    • pp.289-297
    • /
    • 2009
  • 본 논문은 감독분류 기법을 활용한 도로 네트워크 추출의 기본 과정인 트레이닝 자료의 추출과정을 자동화함으로써 감독분류를 활용한 도로 네트워크 추출 과정의 자동화에 기여할 수 있는 방법론의 개발을 목적으로 한다. 이를 위해 본 연구에서는 상호 기하보정 된 항공사진과 LIDAR 자료로부터 정사영상과 LIDAR 반사강도 영상을 제작하고, 기 구축된 수치지도를 활용하여 초기 트레이닝 자료를 자동으로 추출하였다. 하지만 위의 과정을 통하여 추출된 초기 트레이닝 자료는 기하보정과정에서 수반되는 기하학적 오차 및 다양한 개체들로 구성된 도로의 특성에 영향을 받아 다양한 분광특성을 포함하게 된다. 따라서 본 연구에서는 추출된 초기 트레이닝 자료에서 도로 추출의 기본이 되는 도로노면의 분광특성을 통계학적 기법인 기대최대화 알고리즘에 기초하여 효과적으로 결정하기 위한 방법론을 제안하였다. 또한 개발된 방법론의 평가를 위하여 동일지역에 대해 수동으로 취득한 트레이닝 자료와 본 연구에서 자동으로 추출한 자료를 비교 평가하여 정확도를 분석하였다. 실험결과에 대한 통계검증결과 본 논문에서 제안한 도로노면 트레이닝 자료 자동추출기법의 효용성을 증명하였다.