• 제목/요약/키워드: Machine Learning & Training

검색결과 789건 처리시간 0.031초

속성분할이 없는 향상된 협력학습 방법 (An Improved Co-training Method without Feature Split)

  • 이창환;이소민
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제31권10호
    • /
    • pp.1259-1265
    • /
    • 2004
  • 분류학습에서 높은 정확도를 유지하기 위해서는 충분한 분류 데이타가 필요하게 되는데 분류 데이타는 미 분류 데이타보다 생성하기가 어려운 경우가 많다. 따라서 미 분류 데이타를 활용하여 분류의 정확도를 향상시키는 것은 큰 효용성을 가지며 이러한 미 분류 데이타를 활용하는 대표적인 학습방법 중의 하나는 협력학습(co-training) 알고리즘이다. 이는 데이타를 두 개의 독립적인 속성그룹으로 나누어 두개의 분류자로 학습한 후 미 분류 데이타를 분류하고 그중 가장 신뢰성이 높은 데이타를 분류 데이터에 포함하고 이를 반복하는 학습모델이다. 하지만 이 방법은 전체 데이타의 속성을 독립적인 두개의 집합으로 분할하여야하는 제약이 있다. 따라서 본 연구에서는 이와 같은 문제점을 개선하여 보통의 데이터베이스에 적용시킬 수 있는 새로운 협력학습방법을 제시 하고자한다. 즉. 두 개의 독립적인 속성 그룹으로 나누는 가정을 따르지 않고 전체 속성을 사용할 수 있으며 두 개 이상의 분류자를 사용하는 새로운 협력학습방법을 제안하였다.

Study on Machine Learning Techniques for Malware Classification and Detection

  • Moon, Jaewoong;Kim, Subin;Song, Jaeseung;Kim, Kyungshin
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제15권12호
    • /
    • pp.4308-4325
    • /
    • 2021
  • The importance and necessity of artificial intelligence, particularly machine learning, has recently been emphasized. In fact, artificial intelligence, such as intelligent surveillance cameras and other security systems, is used to solve various problems or provide convenience, providing solutions to problems that humans traditionally had to manually deal with one at a time. Among them, information security is one of the domains where the use of artificial intelligence is especially needed because the frequency of occurrence and processing capacity of dangerous codes exceeds the capabilities of humans. Therefore, this study intends to examine the definition of artificial intelligence and machine learning, its execution method, process, learning algorithm, and cases of utilization in various domains, particularly the cases and contents of artificial intelligence technology used in the field of information security. Based on this, this study proposes a method to apply machine learning technology to the method of classifying and detecting malware that has rapidly increased in recent years. The proposed methodology converts software programs containing malicious codes into images and creates training data suitable for machine learning by preparing data and augmenting the dataset. The model trained using the images created in this manner is expected to be effective in classifying and detecting malware.

딥러닝 기반 탄성파 단층 해석을 위한 합성 학습 자료 생성 (Synthetic Training Data Generation for Fault Detection Based on Deep Learning)

  • 최우창;편석준
    • 지구물리와물리탐사
    • /
    • 제24권3호
    • /
    • pp.89-97
    • /
    • 2021
  • 탄성파 자료에서의 단층 해석은 기계학습을 적용하기 매우 적합한 분야라고 할 수 있다. 결과적으로 다양한 형태의 기계학습 기반 단층 해석 기술들이 개발되고 있으며, 특히 합성 자료를 사용해 기계학습 모델을 훈련시키는 연구들이 중점적으로 수행되고 있다. 합성 자료를 사용할 경우 기계학습 모델을 훈련시키기 위한 대량의 자료를 확보하기가 용이하고, 정확한 단층 구조 라벨을 함께 제작할 수 있다는 장점이 있다. 합성 자료로 훈련시킨 모델을 사용해 현장 자료를 해석하기 위해서는 모델 훈련에 사용한 합성 자료가 지질학적으로 현실적이어야 한다. 이 연구에서는 실제 현장 자료와 유사한 합성 자료 제작을 위한 기술을 소개한다. 먼저 현실적인 단층 구조가 포함된 반사계수 모델을 제작한 후 일방향 파동 방정식 모델링을 적용해 효율적으로 겹쌓기 단면을 생성한다. 생성된 겹쌓기 단면에 참반사보정을 적용해 회절파의 영향을 제거하고, 무작위 잡음을 추가함으로써 현장 자료와 비슷한 형태의 합성 자료를 생성할 수 있다. 생성한 합성 자료를 U-Net 구조의 합성곱 신경망 모델에 적용하여 검증한 결과, 현실적으로 만들어진 합성 자료는 현장 자료에 적용이 가능한 딥러닝 모델을 효과적으로 훈련시킬 수 있다는 것을 확인하였다.

한국어 의존 관계 분석과 자질 집합 분할을 이용한 기계학습의 성능 개선 (Analysis of Korean Language Parsing System and Speed Improvement of Machine Learning using Feature Module)

  • 김성진;옥철영
    • 전자공학회논문지
    • /
    • 제51권8호
    • /
    • pp.66-74
    • /
    • 2014
  • 최근에 한국어 의존 관계에 대한 파싱 시스템과 관련된 연구가 소프트웨어 공학자들이나 언어학자들에 의해 다양하게 연구되고 있으며, 시스템 구현은 주로 기계 학습이나 기호 주의를 사용하고 있다. 기계 학습을 사용한 방법은 한국어 문장 데이터가 매우 크기 때문에 시스템 특성상 매우 긴 학습시간을 가지며, 데이터 자체가 가지는 오류로 인하여 한정된 인식율을 가진다. 본 연구에서는 기계학습을 이용한 시스템에 대하여 학습 시간을 줄일 수 있도록 특징들을 자질 집합 모듈로 분할하여 처리하는 방법을 제안하고, 문장수와 반복횟수에 따른 인식율을 분석하였다. 설계된 시스템은 분리된 모듈과 이진 검색을 위한 정렬 기법이 사용되었다. 데이터는 세종 말뭉치로부터 추출한 후 정제된 36,090문장을 사용하였다. 학습 시간은 약 3시간으로 줄었으며, 인식율은 10,000 문장을 50회 학습하였을 때 84.54%로 가장 높았다. 모든 학습 문장(32,481)을 10회 학습하였을 때 인식율은 82.99%이다. 결과적으로 정제된 데이터를 이용하여 시스템이 안정화될 때까지 반복하는 것이 더 효율적이었다.

In-depth exploration of machine learning algorithms for predicting sidewall displacement in underground caverns

  • Hanan Samadi;Abed Alanazi;Sabih Hashim Muhodir;Shtwai Alsubai;Abdullah Alqahtani;Mehrez Marzougui
    • Geomechanics and Engineering
    • /
    • 제37권4호
    • /
    • pp.307-321
    • /
    • 2024
  • This paper delves into the critical assessment of predicting sidewall displacement in underground caverns through the application of nine distinct machine learning techniques. The accurate prediction of sidewall displacement is essential for ensuring the structural safety and stability of underground caverns, which are prone to various geological challenges. The dataset utilized in this study comprises a total of 310 data points, each containing 13 relevant parameters extracted from 10 underground cavern projects located in Iran and other regions. To facilitate a comprehensive evaluation, the dataset is evenly divided into training and testing subset. The study employs a diverse array of machine learning models, including recurrent neural network, back-propagation neural network, K-nearest neighbors, normalized and ordinary radial basis function, support vector machine, weight estimation, feed-forward stepwise regression, and fuzzy inference system. These models are leveraged to develop predictive models that can accurately forecast sidewall displacement in underground caverns. The training phase involves utilizing 80% of the dataset (248 data points) to train the models, while the remaining 20% (62 data points) are used for testing and validation purposes. The findings of the study highlight the back-propagation neural network (BPNN) model as the most effective in providing accurate predictions. The BPNN model demonstrates a remarkably high correlation coefficient (R2 = 0.99) and a low error rate (RMSE = 4.27E-05), indicating its superior performance in predicting sidewall displacement in underground caverns. This research contributes valuable insights into the application of machine learning techniques for enhancing the safety and stability of underground structures.

유니티 실시간 엔진과 End-to-End CNN 접근법을 이용한 자율주행차 학습환경 (Autonomous-Driving Vehicle Learning Environments using Unity Real-time Engine and End-to-End CNN Approach)

  • 사비르 호사인;이덕진
    • 로봇학회논문지
    • /
    • 제14권2호
    • /
    • pp.122-130
    • /
    • 2019
  • Collecting a rich but meaningful training data plays a key role in machine learning and deep learning researches for a self-driving vehicle. This paper introduces a detailed overview of existing open-source simulators which could be used for training self-driving vehicles. After reviewing the simulators, we propose a new effective approach to make a synthetic autonomous vehicle simulation platform suitable for learning and training artificial intelligence algorithms. Specially, we develop a synthetic simulator with various realistic situations and weather conditions which make the autonomous shuttle to learn more realistic situations and handle some unexpected events. The virtual environment is the mimics of the activity of a genuine shuttle vehicle on a physical world. Instead of doing the whole experiment of training in the real physical world, scenarios in 3D virtual worlds are made to calculate the parameters and training the model. From the simulator, the user can obtain data for the various situation and utilize it for the training purpose. Flexible options are available to choose sensors, monitor the output and implement any autonomous driving algorithm. Finally, we verify the effectiveness of the developed simulator by implementing an end-to-end CNN algorithm for training a self-driving shuttle.

Comparison of theoretical and machine learning models to estimate gamma ray source positions using plastic scintillating optical fiber detector

  • Kim, Jinhong;Kim, Seunghyeon;Song, Siwon;Park, Jae Hyung;Kim, Jin Ho;Lim, Taeseob;Pyeon, Cheol Ho;Lee, Bongsoo
    • Nuclear Engineering and Technology
    • /
    • 제53권10호
    • /
    • pp.3431-3437
    • /
    • 2021
  • In this study, one-dimensional gamma ray source positions are estimated using a plastic scintillating optical fiber, two photon counters and via data processing with a machine learning algorithm. A nonlinear regression algorithm is used to construct a machine learning model for the position estimation of radioactive sources. The position estimation results of radioactive sources using machine learning are compared with the theoretical position estimation results based on the same measured data. Various tests at the source positions are conducted to determine the improvement in the accuracy of source position estimation. In addition, an evaluation is performed to compare the change in accuracy when varying the number of training datasets. The proposed one-dimensional gamma ray source position estimation system with plastic scintillating fiber using machine learning algorithm can be used as radioactive leakage scanners at disposal sites.

경년열화를 고려한 전단벽 구조물의 기계학습 기반 지진응답 예측모델 개발 (Development of Machine Learning Based Seismic Response Prediction Model for Shear Wall Structure considering Aging Deteriorations)

  • 김현수;김유경;이소연;장준수
    • 한국공간구조학회논문집
    • /
    • 제24권2호
    • /
    • pp.83-90
    • /
    • 2024
  • Machine learning is widely applied to various engineering fields. In structural engineering area, machine learning is generally used to predict structural responses of building structures. The aging deterioration of reinforced concrete structure affects its structural behavior. Therefore, the aging deterioration of R.C. structure should be consider to exactly predict seismic responses of the structure. In this study, the machine learning based seismic response prediction model was developed. To this end, four machine learning algorithms were employed and prediction performance of each algorithm was compared. A 3-story coupled shear wall structure was selected as an example structure for numerical simulation. Artificial ground motions were generated based on domestic site characteristics. Elastic modulus, damping ratio and density were changed to considering concrete degradation due to chloride penetration and carbonation, etc. Various intensity measures were used input parameters of the training database. Performance evaluation was performed using metrics like root mean square error, mean square error, mean absolute error, and coefficient of determination. The optimization of hyperparameters was achieved through k-fold cross-validation and grid search techniques. The analysis results show that neural networks and extreme gradient boosting algorithms present good prediction performance.

Multiple Classifier System for Activity Recognition

  • Han, Yong-Koo;Lee, Sung-Young;Lee, young-Koo;Lee, Jae-Won
    • 한국지능정보시스템학회:학술대회논문집
    • /
    • 한국지능정보시스템학회 2007년도 추계학술대회
    • /
    • pp.439-443
    • /
    • 2007
  • Nowadays, activity recognition becomes a hot topic in context-aware computing. In activity recognition, machine learning techniques have been widely applied to learn the activity models from labeled activity samples. Most of the existing work uses only one learning method for activity learning and is focused on how to effectively utilize the labeled samples by refining the learning method. However, not much attention has been paid to the use of multiple classifiers for boosting the learning performance. In this paper, we use two methods to generate multiple classifiers. In the first method, the basic learning algorithms for each classifier are the same, while the training data is different (ASTD). In the second method, the basic learning algorithms for each classifier are different, while the training data is the same (ADTS). Experimental results indicate that ADTS can effectively improve activity recognition performance, while ASTD cannot achieve any improvement of the performance. We believe that the classifiers in ADTS are more diverse than those in ASTD.

  • PDF

작물분류에서 기계학습 및 딥러닝 알고리즘의 분류 성능 평가: 하이퍼파라미터와 훈련자료 크기의 영향 분석 (Performance Evaluation of Machine Learning and Deep Learning Algorithms in Crop Classification: Impact of Hyper-parameters and Training Sample Size)

  • 김예슬;곽근호;이경도;나상일;박찬원;박노욱
    • 대한원격탐사학회지
    • /
    • 제34권5호
    • /
    • pp.811-827
    • /
    • 2018
  • 본 연구의 목적은 다중시기 원격탐사 자료를 이용한 작물분류에서 기계학습 알고리즘과 딥러닝 알고리즘의 비교에 있다. 이를 위해 전라남도 해남군과 미국 Illinois 주의 작물 재배지를 대상으로 기계학습 알고리즘과 딥러닝 알고리즘에 대해 (1) 하이퍼파라미터와 (2) 훈련자료의 크기에 따른 영향을 비교 분석하였다. 비교 실험에는 기계학습 알고리즘으로 support vector machine(SVM)을 적용하고 딥러닝 알고리즘으로 convolutional neural network(CNN)를 적용하였다. 특히 CNN에서 2차원의 공간정보를 고려하는 2D-CNN과 시간차원을 확장한 구조의 3D-CNN을 적용하였다. 비교 실험 결과, 다양한 하이퍼파라미터를 고려해야 하는 CNN의 경우 SVM과 다르게 두 지역에서 정의된 하이퍼파라미터 값이 유사한 것으로 나타났다. 이러한 결과를 바탕으로 모델 최적화에 많은 시간이 소요되지만 최적화된 CNN 모델을 다른 지역으로 확장할 수 있는 전이학습의 적용 가능성이 높을 것으로 판단된다. 다음 훈련자료 크기에 따른 비교 실험 결과, SVM 보다 CNN에서 훈련자료 크기의 영향이 큰 것으로 나타났는데 특히 다양한 공간특성을 갖는 Illinois 주에서 이러한 경향이 두드러지게 나타났다. 또한 Illinois 주에서 3D-CNN의 분류 성능이 저하되는 것으로 나타났는데, 이는 모델 복잡도가 증가하면서 과적합의 영향이 발생한 것으로 판단된다. 즉 모델의 훈련 정확도는 높지만 다양한 공간특성이나 입력 자료의 잡음 효과 등으로 오히려 분류 성능이 저하된 것으로 나타났다. 이러한 결과는 대상 지역의 공간특성을 고려해 적절한 분류 알고리즘을 선택해야 하는 것을 의미한다. 또한 CNN에서 특히, 3D-CNN에서 일정 수준의 분류 성능을 담보하기 위해 다량의 훈련자료 수집이 필요하다는 것을 의미한다.