• 제목/요약/키워드: training data

검색결과 7,315건 처리시간 0.03초

트래픽 유통계획 기반 사이버전 훈련데이터셋 생성방법 설계 및 구현 (Design and Implementation of Cyber Warfare Training Data Set Generation Method based on Traffic Distribution Plan)

  • 김용현;안명길
    • 융합보안논문지
    • /
    • 제20권4호
    • /
    • pp.71-80
    • /
    • 2020
  • 사이버전 훈련 시스템에 현실감 있는 트래픽을 제공하기 위해서는 사전에 트래픽 유통계획 작성과 정상/위협 데이터셋을 이용한 훈련데이터셋 생성이 필요하다. 본 논문은 사이버전 훈련 시스템에 실제 환경과 같은 배경 트래픽을 제공하기 위한 트래픽 유통계획 저작과 훈련데이터셋을 생성하는 방법의 설계와 구현 결과를 제시한다. 트래픽 유통계획은 트래픽을 유통할 훈련 환경의 네트워크 토폴로지와 실제 및 모의환경에서 수집한 트래픽 속성 정보를 이용하여 저작하는 방법을 제안한다. 트래픽 유통계획에 따라 훈련데이터셋을 생성하는 방법은 단위트래픽을 이용하는 방법과 프로토콜의 비율을 이용하는 혼합트래픽 양상 방법을 제안한다. 구현한 도구를 이용하여 트래픽 유통계획을 저작하고, 유통계획에 따른 훈련데이터셋 생성결과를 확인하였다.

북미 대학도서관 연구데이터 관리 교육 프로그램 내용 분석: 데이터 리터러시 세부 역량을 중심으로 (A Content Analysis of Research Data Management Training Programs at the University Libraries in North America: Focusing on Data Literacy Competencies)

  • 김지현
    • 정보관리학회지
    • /
    • 제35권4호
    • /
    • pp.7-36
    • /
    • 2018
  • 본 연구에서는 북미에서 연구데이터 관리 서비스를 제공하는 121개 대학도서관 중 연구데이터 관리 교육 프로그램을 제공하는 51개 기관을 대상으로 제공되는 교육 프로그램의 내용을 12개 데이터 리터러시 세부 역량에 기반을 두어 분석하고 시사점을 제시하는 것을 목적으로 하였다. 내용 분석을 위해 집합 교육 프로그램의 제목 317개와 온라인 튜토리얼의 상위 목차 제목 42개를 수집하였으며 선행연구에서 제시된 12개 데이터 리터러시 세부 역량에 따라 코딩을 수행하였다. 집합 교육 프로그램 중에서는 데이터 처리 및 분석 역량에 대한 교육 프로그램이 가장 많은 것으로 나타났으며, 가장 많은 수의 기관에서 데이터 관리 및 조직 역량에 대한 교육을 제공하고 있었다. 데이터 시각화 및 표현은 집합 교육 프로그램 중에서 세 번째로 많이 다루어지는 역량이었다. 그러나 나머지 9개 역량에 대한 교육 프로그램은 매우 적은 것으로 나타나 교육 프로그램 내용이 특정 역량에 집중되어 있음을 알 수 있다. 집합 교육 없이 자체 개발한 온라인 튜토리얼을 제공하는 기관은 5곳이었으며 목차 제목을 분석한 결과 데이터 보존, 윤리 및 데이터 인용, 데이터 관리 및 조직 역량에 대한 교육 내용을 중점적으로 다루고 있어 집합 교육 프로그램에서 강조되는 역량과 차이를 보였다. 효과적인 연구데이터 관리 교육 프로그램 운영을 위해서는 대학도서관 사서들이 전통적으로 교육하고 강조해왔던 역량뿐만 아니라 데이터 처리와 분석, 데이터 시각화와 표현 등 연구자들의 연구 결과 도출에 필요한 데이터 리터러시 세부 역량에 대한 이해와 지원이 요청된다. 또한 연구데이터 관리 서비스와 관련된 사서들의 계속 교육을 지원하는 교육 자원의 개발도 필요할 것이다.

어린이 음성인식을 위한 동적 가중 손실 기반 도메인 적대적 훈련 (Dynamically weighted loss based domain adversarial training for children's speech recognition)

  • 마승희
    • 한국음향학회지
    • /
    • 제41권6호
    • /
    • pp.647-654
    • /
    • 2022
  • 어린이 음성인식의 활용 분야가 증가하고 있지만, 양질의 데이터 부족은 어린이 음성인식 성능 향상의 걸림돌이 되고 있다. 본 논문은 성인의 음성 데이터를 추가로 사용하여 어린이 음성인식 성능을 개선하는 방법을 새롭게 제안한다. 제안하는 방법은 성인 학습 데이터양이 증가할수록 커지는 연령 간 데이터 불균형을 효과적으로 다루기 위해 dynamically weighted loss를 사용하여 트랜스포머 기반 도메인 적대적 훈련하는 방식이다. 구체적으로, 학습 중 미니 배치 내 클래스 불균형 정도를 수치화하고, 데이터가 적을수록 큰 가중치를 갖도록 손실함수를 정의하여 사용하였다. 실험에서는 성인과 어린이 학습 데이터 간 비대칭성에 따른 제안된 도메인 적대적 훈련의 효용성을 검증하였다. 실험 결과, 학습 데이터 내 연령 간 비대칭이 발생하는 모든 조건에서 제안하는 방법이 기존 도메인 적대적 훈련 방식보다 높은 어린이 음성인식 성능을 가짐을 확인할 수 있었다.

Reference Map을 이용한 시계열 image data의 자동분류법 (Automatic Classification Method for Time-Series Image Data using Reference Map)

  • 홍선표
    • 한국음향학회지
    • /
    • 제16권2호
    • /
    • pp.58-65
    • /
    • 1997
  • 본 논문에서는 시계열 image data를 안정되고 높은 정확도로 분류할 수 있는 자동분류법을 제안하였다. 제안한 방법은 대상 영역에 관한 분류도가 기존재하던 가, 아니면 최소한 시계열 image data 중 어느 한 image data가 분류되어 있다고 하는 전제조건에 그 기초를 두고 있다. 분류도는 training area를 선정하기 위라여 사용하는 기준주제도로 사용되어진다. 제안한 방법은 1)기준주제도를 사용한 training data의 추출, 2)taining data의 균질성에 의거한 변화화소의 검출, 3)검출된 변화화소에 대한 clustering, 4)training data의 재구성, 5)maximum likelihood classifier와 같은 판별법에 의한 분류 등 5개의 단계로 구성된다. 제안한 방법의 성능을 정량적으로 평가하기 위하여 4개의 시계열 Landsat TM image data를 제안한 방법과 숙련된 operator가 필요한 기존의 방법으로 각각 분류하여 비교 검토하였다. 그 결과, 기존의 방법으로는 숙련된 operator가 필요하고, 분류도를 얻기까지 수일이 소요되는 데 반하여, 제안한 방법으로는 숙련된 operator 없이, 신뢰성 있는 분류도를 수 시간 내에 자동으로 얻을 수 있었다.

  • PDF

Performance Comparison between Neural Network and Genetic Programming Using Gas Furnace Data

  • Bae, Hyeon;Jeon, Tae-Ryong;Kim, Sung-Shin
    • Journal of information and communication convergence engineering
    • /
    • 제6권4호
    • /
    • pp.448-453
    • /
    • 2008
  • This study describes design and development techniques of estimation models for process modeling. One case study is undertaken to design a model using standard gas furnace data. Neural networks (NN) and genetic programming (GP) are each employed to model the crucial relationships between input factors and output responses. In the case study, two models were generated by using 70% training data and evaluated by using 30% testing data for genetic programming and neural network modeling. The model performance was compared by using RMSE values, which were calculated based on the model outputs. The average RMSE for training and testing were 0.8925 (training) and 0.9951 (testing) for the NN model, and 0.707227 (training) and 0.673150 (testing) for the GP model, respectively. As concern the results, the NN model has a strong advantage in model training (using the all data for training), and the GP model appears to have an advantage in model testing (using the separated data for training and testing). The performance reproducibility of the GP model is good, so this approach appears suitable for modeling physical fabrication processes.

A Survey of Applications of Artificial Intelligence Algorithms in Eco-environmental Modelling

  • Kim, Kang-Suk;Park, Joon-Hong
    • Environmental Engineering Research
    • /
    • 제14권2호
    • /
    • pp.102-110
    • /
    • 2009
  • Application of artificial intelligence (AI) approaches in eco-environmental modeling has gradually increased for the last decade. Comprehensive understanding and evaluation on the applicability of this approach to eco-environmental modeling are needed. In this study, we reviewed the previous studies that used AI-techniques in eco-environmental modeling. Decision Tree (DT) and Artificial Neural Network (ANN) were found to be major AI algorithms preferred by researchers in ecological and environmental modeling areas. When the effect of the size of training data on model prediction accuracy was explored using the data from the previous studies, the prediction accuracy and the size of training data showed nonlinear correlation, which was best-described by hyperbolic saturation function among the tested nonlinear functions including power and logarithmic functions. The hyperbolic saturation equations were proposed to be used as a guideline for optimizing the size of training data set, which is critically important in designing the field experiments required for training AI-based eco-environmental modeling.

세미감독형 학습 기법을 사용한 소프트웨어 결함 예측 (Software Fault Prediction using Semi-supervised Learning Methods)

  • 홍의석
    • 한국인터넷방송통신학회논문지
    • /
    • 제19권3호
    • /
    • pp.127-133
    • /
    • 2019
  • 소프트웨어 결함 예측 연구들의 대부분은 라벨 데이터를 훈련 데이터로 사용하는 감독형 모델에 관한 연구들이다. 감독형 모델은 높은 예측 성능을 지니지만 대부분 개발 집단들은 충분한 라벨 데이터를 보유하고 있지 않다. 언라벨 데이터만 훈련에 사용하는 비감독형 모델은 모델 구축이 어렵고 성능이 떨어진다. 훈련 데이터로 라벨 데이터와 언라벨 데이터를 모두 사용하는 세미 감독형 모델은 이들의 문제점을 해결한다. Self-training은 세미 감독형 기법들 중 여러 가정과 제약조건들이 가장 적은 기법이다. 본 논문은 Self-training 알고리즘들을 이용해 여러 모델들을 구현하였으며, Accuracy와 AUC를 이용하여 그들을 평가한 결과 YATSI 모델이 가장 좋은 성능을 보였다.

프로토타입 선택을 이용한 최근접 분류 학습의 성능 개선 (Performance Improvement of Nearest-neighbor Classification Learning through Prototype Selections)

  • 황두성
    • 전자공학회논문지CI
    • /
    • 제49권2호
    • /
    • pp.53-60
    • /
    • 2012
  • 최근접 이웃 분류에서 입력 데이터의 클래스는 선택된 근접 학습 데이터들 중에서 가장 빈번한 클래스로 예측된다. 최근접분류 학습은 학습 단계가 없으나, 준비된 데이터가 모두 예측 분류에 참여하여 일반화 성능이 학습 데이터의 질에 의존된다. 그러므로 학습 데이터가 많아지면 높은 기억 장치 용량과 예측 분류 시 높은 계산 시간이 요구된다. 본 논문에서는 분리 경계면에 위치한 학습 데이터들로 구성된 새로운 학습 데이터를 생성시켜 분류 예측을 수행하는 프로토타입 선택 알고리즘을 제안한다. 제안하는 알고리즘에서는 분리 경계 영역에 위치한 데이터를 Tomek links와 거리를 이용하여 선별하며, 이미 선택된 데이터와 클래스와 거리 관계 분석을 이용하여 프로토타입 집합에 추가 여부를 결정한다. 실험에서 선택된 프로토타입의 수는 원래 학습 데이터에 비해 적은 수의 데이터 집합이 되어 최근접 분류의 적용 시 기억장소의 축소와 빠른 예측 시간을 제공할수 있다.

Big Data Analysis on the Perception of Home Training According to the Implementation of COVID-19 Social Distancing

  • Hyun-Chang Keum;Kyung-Won Byun
    • International Journal of Internet, Broadcasting and Communication
    • /
    • 제15권3호
    • /
    • pp.211-218
    • /
    • 2023
  • Due to the implementation of COVID-19 distancing, interest and users in 'home training' are rapidly increasing. Therefore, the purpose of this study is to identify the perception of 'home training' through big data analysis on social media channels and provide basic data to related business sector. Social media channels collected big data from various news and social content provided on Naver and Google sites. Data for three years from March 22, 2020 were collected based on the time when COVID-19 distancing was implemented in Korea. The collected data included 4,000 Naver blogs, 2,673 news, 4,000 cafes, 3,989 knowledge IN, and 953 Google channel news. These data analyzed TF and TF-IDF through text mining, and through this, semantic network analysis was conducted on 70 keywords, big data analysis programs such as Textom and Ucinet were used for social big data analysis, and NetDraw was used for visualization. As a result of text mining analysis, 'home training' was found the most frequently in relation to TF with 4,045 times. The next order is 'exercise', 'Homt', 'house', 'apparatus', 'recommendation', and 'diet'. Regarding TF-IDF, the main keywords are 'exercise', 'apparatus', 'home', 'house', 'diet', 'recommendation', and 'mat'. Based on these results, 70 keywords with high frequency were extracted, and then semantic indicators and centrality analysis were conducted. Finally, through CONCOR analysis, it was clustered into 'purchase cluster', 'equipment cluster', 'diet cluster', and 'execute method cluster'. For the results of these four clusters, basic data on the 'home training' business sector were presented based on consumers' main perception of 'home training' and analysis of the meaning network.

한정된 레이블 데이터를 이용한 효율적인 철도 표면 결함 감지 방법 (An Efficient Detection Method for Rail Surface Defect using Limited Label Data)

  • 한석민
    • 한국인터넷방송통신학회논문지
    • /
    • 제24권1호
    • /
    • pp.83-88
    • /
    • 2024
  • 본 연구에서는 Railroad surface 데이터를 활용하여 Semi-Supervised learning방식으로 railroad surface의 defect를 검출해내는 방안을 제안한다. Resnet50에 ImageNet으로 pretrained된 모델을 이용한다. Label이 없는 데이터에서 무작위로 데이터를 선정, 선정한 데이터에 label을 부여한 뒤 이 데이터로 모델을 학습시킨다. 학습된 모델을 이용하여 나머지 데이터의 결과값을 예측한 후, 그 예측값이 일정한 threshold보다 큰 것을 골라내고, threshold보다 큰 값들을 값이 큰 순서대로 정렬하여, 일정한 크기만큼 training data에 추가한다. 이 때, 각 class에 속할 확률이 높은 쪽으로 pseudo-labeling을 수행한다. 초기에 label이 부여된 데이터 개수에 따른 전체적인 class 분류 성능을 확인하는 실험 또한 진행하였고, 전체 training data대비 10% 미만의 labeled data로 최대 98%의 정확도를 얻는 성능을 보였다.