• Title/Summary/Keyword: 비지도 기계학습

Search Result 36, Processing Time 0.025 seconds

The Use of Unsupervised Machine Learning for the Attenuation of Seismic Noise (탄성파 자료 잡음 제거를 위한 비지도 학습 연구)

  • Kim, Sujeong;Jun, Hyunggu
    • Geophysics and Geophysical Exploration
    • /
    • v.25 no.2
    • /
    • pp.71-84
    • /
    • 2022
  • When acquiring seismic data, various types of simultaneously recorded seismic noise hinder accurate interpretation. Therefore, it is essential to attenuate this noise during the processing of seismic data and research on seismic noise attenuation. For this purpose, machine learning is extensively used. This study attempts to attenuate noise in prestack seismic data using unsupervised machine learning. Three unsupervised machine learning models, N2NUNET, PATCHUNET, and DDUL, are trained and applied to synthetic and field prestack seismic data to attenuate the noise and leave clean seismic data. The results are qualitatively and quantitatively analyzed and demonstrated that all three unsupervised learning models succeeded in removing seismic noise from both synthetic and field data. Of the three, the N2NUNET model performed the worst, and the PATCHUNET and DDUL models produced almost identical results, although the DDUL model performed slightly better.

Classification of hysteretic loop feature for runoff generation through a unsupervised machine learning algorithm (비지도 기계학습을 통한 유출 발생 내 이력 현상 구분)

  • Lee, Eunhyung;Jeon, Hangtak;Kim, Dahong;Friday, Bassey Bassey;Kim, Sanghyun
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2022.05a
    • /
    • pp.360-360
    • /
    • 2022
  • 토양수분과 유출 간 관계를 정량화하는 것은 수문 기작 및 유출 발생 과정의 이해를 위한 중요한 정보를 제공한다. 특히, 유출과정의 특성화는 수문 사상에 따른 불포화대 내 토양수 및 토사 손실 제어와 산사태 및 비점오염원 발생 예측을 위해 필수적이다. 유출과정과 관련된 비선형성과 복잡성을 확인하기 위해 토양수분과 유출 사이의 이력 거동이 조사되었다. 특히, 수문 과정 내 이력 현상 구체화를 위해 정성적인 시각적 분류 및 정량적 평가를 위한 이력 지수들이 개발되었다. 정성적인 시각적 분류는 시간에 따라 시계 및 반시계방향으로 다중 루프 형상을 나누는 방식으로 진행되었고, 정량적 평가의 경우 이력 고리(Hysteretic loop) 내 상승 고리(Rising limb)와 하강 고리(Falling limb)의 차이를 기준으로 한 지수로 이력 현상을 특성화하였다. 이전에 제안된 방법론들은 연구자의 판단이 들어가기 때문에 보편적이지 않고 이력 현상을 개발된 지수에 맞춤에 따라 자료 손실이 나타나는 한계가 존재한다. 자료의 손실 없이 불포화대 내 발생 가능한 대표 이력 현상을 자동으로 추출하기 위해 적합한 비지도 학습기반 기계학습 방법론의 제안이 필요하다. 우리 연구에서는 국내 산지 사면에서 강우 사상 동안 다중 깊이(10, 30, 60cm)로 56개의 토양수분 측정지점에서 확보된 토양수분 시계열 자료와 산지 사면 내 위어를 통해 확보된 유출 시계열 자료를 사용하였다. 먼저, 기존에 분류 방법을 기반으로 계절 및 공간특성에 따라 지배적으로 발생하는 토양수분-유출 간 이력 현상을 특성화하였다. 다음으로, 토양수분-유출 간 이력 패턴을 자료 손실 없이 형상화하여 자동으로 데이터베이스화하는 알고리즘을 개발하였다. 마지막으로, 비지도 학습방법을 이용하여 데이터베이스화된 실제 발현 이력 현상 내 확률분포를 최대한 가깝게 추정하는 은닉층을 반복적인 재구성 학습을 통해 구현함으로써 대표 이력 현상 패턴을 추출하였다.

  • PDF

Performance Evaluation of One Class Classification to detect anomalies of NIDS (NIDS의 비정상 행위 탐지를 위한 단일 클래스 분류성능 평가)

  • Seo, Jae-Hyun
    • Journal of the Korea Convergence Society
    • /
    • v.9 no.11
    • /
    • pp.15-21
    • /
    • 2018
  • In this study, we try to detect anomalies on the network intrusion detection system by learning only one class. We use KDD CUP 1999 dataset, an intrusion detection dataset, which is used to evaluate classification performance. One class classification is one of unsupervised learning methods that classifies attack class by learning only normal class. When using unsupervised learning, it difficult to achieve relatively high classification efficiency because it does not use negative instances for learning. However, unsupervised learning has the advantage for classifying unlabeled data. In this study, we use one class classifiers based on support vector machines and density estimation to detect new unknown attacks. The test using the classifier based on density estimation has shown relatively better performance and has a detection rate of about 96% while maintaining a low FPR for the new attacks.

The Unsupervised Learning-based Language Modeling of Word Comprehension in Korean

  • Kim, Euhee
    • Journal of the Korea Society of Computer and Information
    • /
    • v.24 no.11
    • /
    • pp.41-49
    • /
    • 2019
  • We are to build an unsupervised machine learning-based language model which can estimate the amount of information that are in need to process words consisting of subword-level morphemes and syllables. We are then to investigate whether the reading times of words reflecting their morphemic and syllabic structures are predicted by an information-theoretic measure such as surprisal. Specifically, the proposed Morfessor-based unsupervised machine learning model is first to be trained on the large dataset of sentences on Sejong Corpus and is then to be applied to estimate the information-theoretic measure on each word in the test data of Korean words. The reading times of the words in the test data are to be recruited from Korean Lexicon Project (KLP) Database. A comparison between the information-theoretic measures of the words in point and the corresponding reading times by using a linear mixed effect model reveals a reliable correlation between surprisal and reading time. We conclude that surprisal is positively related to the processing effort (i.e. reading time), confirming the surprisal hypothesis.

Detection of Car Hacking Using One Class Classifier (단일 클래스 분류기를 사용한 차량 해킹 탐지)

  • Seo, Jae-Hyun
    • Journal of the Korea Convergence Society
    • /
    • v.9 no.6
    • /
    • pp.33-38
    • /
    • 2018
  • In this study, we try to detect new attacks for vehicle by learning only one class. We use Car-Hacking dataset, an intrusion detection dataset, which is used to evaluate classification performance. The dataset are created by logging CAN (Controller Area Network) traffic through OBD-II port from a real vehicle. The dataset have four attack types. One class classification is one of unsupervised learning methods that classifies attack class by learning only normal class. When using unsupervised learning, it difficult to achieve high efficiency because it does not use negative instances for learning. However, unsupervised learning has the advantage for classifying unlabeled data, which are new attacks. In this study, we use one class classifier to detect new attacks that are difficult to detect using signature-based rules on network intrusion detection system. The proposed method suggests a combination of parameters that detect all new attacks and show efficient classification performance for normal dataset.

A Study on the Work Type of Machine Learning Administrative Service in Metropolitan Government (광역자치단체의 기계학습 행정서비스 업무유형에 관한 연구 -서울시를 중심으로-)

  • Ha, Chung-Yeol;Jung, Jin-Teak
    • Journal of Digital Convergence
    • /
    • v.18 no.12
    • /
    • pp.29-36
    • /
    • 2020
  • The background of this study is that machine learning administrative services are recently attracting attention as a major policy tool for non-face-to-face administrative services in the post-corona era. This study investigated the types of work expected to be effective when introducing machine learning administrative services for Seoul Metropolitan Government officials who are piloting machine learning administrative services. The research method is a machine that can be introduced by organizational unit by distributing and collecting questionnaires for Seoul administrative organizations that have performed machine learning-based administrative services for one month in July 2020 targeting Seoul public officials using machine learning-based administrative services. By analyzing the learning administration service and application service, the business characteristics of each machine learning administration service type such as supervised learning work type, unsupervised learning work type, and reinforced learning work type were analyzed. As a result of the research analysis, it was found that there were significant differences in the characteristics of administrative tasks by supervised and unsupervised learning areas. In particular, it was found that the reinforcement learning domain contains the most appropriate business characteristics for machine learning administrative services. Implications were drawn. The results of this study can be provided as a reference material to practitioners who want to introduce machine learning administration services, and can be used as basic data for research to researchers who want to study machine learning administration services in the future.

Face Morphing Using Generative Adversarial Networks (Generative Adversarial Networks를 이용한 Face Morphing 기법 연구)

  • Han, Yoon;Kim, Hyoung Joong
    • Journal of Digital Contents Society
    • /
    • v.19 no.3
    • /
    • pp.435-443
    • /
    • 2018
  • Recently, with the explosive development of computing power, various methods such as RNN and CNN have been proposed under the name of Deep Learning, which solve many problems of Computer Vision have. The Generative Adversarial Network, released in 2014, showed that the problem of computer vision can be sufficiently solved in unsupervised learning, and the generation domain can also be studied using learned generators. GAN is being developed in various forms in combination with various models. Machine learning has difficulty in collecting data. If it is too large, it is difficult to refine the effective data set by removing the noise. If it is too small, the small difference becomes too big noise, and learning is not easy. In this paper, we apply a deep CNN model for extracting facial region in image frame to GAN model as a preprocessing filter, and propose a method to produce composite images of various facial expressions by stably learning with limited collection data of two persons.

Standard Industrial Classification in Short Sentence Based on Machine Learning Approach (기계학습 기반 단문에서의 문장 분류 방법을 이용한 한국표준산업분류)

  • Oh, Kyo-Joong;Choi, Ho-Jin;An, Hweongak
    • Annual Conference on Human and Language Technology
    • /
    • 2020.10a
    • /
    • pp.394-398
    • /
    • 2020
  • 산업/직업분류 자동코딩시스템은 고용조사 등을 함에 있어 사업체 정보, 업무, 직급, 부서명 등 사용자의 다양한 입력을 표준 산업/직업분류에 맞춰 코드 정보를 제공해주는 시스템이다. 입력 데이터로부터 비지도학습 기반의 색인어 추출 모델을 학습하고, 부분단어 임베딩이 적용된 색인어 임베딩 모델을 통해 입력 벡터를 추출 후, 출력 분류 코드를 인코딩하여 지도학습 모델에서 학습하는 방법을 적용하였다. 기존 시스템의 분류 결과 데이터를 통해 대, 중, 소, 세분류에서 높은 정확도의 모델을 구축할 수 있으며, 기계학습 기술의 적용이 가능한 시스템임을 알 수 있다.

  • PDF

머신러닝을 위한 베이지안 방법론: 군집분석을 중심으로

  • Kim, Yong-Dae;Jeong, Gu-Hwan
    • Information and Communications Magazine
    • /
    • v.33 no.10
    • /
    • pp.60-64
    • /
    • 2016
  • 본고에서는 베이지안 기계학습 방법론에 대해서 간략히 살펴본다. 특히, 복잡한 자료들 사이의 관계를 규명하는 것이 목적이며 비지도학습(unsupervised learning)의 한 분야인 군집분석에서 베이지안 방법론들이 어떻게 사용되어지는지를 설명한다. 군집의 수를 사전에 아는 경우에 사용되는 모수적 베이지안 방법을 간단하게 설명하고, 군집의 수까지 추론 할 수 있는 비모수 베이지안방법에 대해서 자세하게 다룬다.

Semi-Supervised Data Augmentation Method for Korean Fact Verification Using Generative Language Models (자연어 생성 모델을 이용한 준지도 학습 기반 한국어 사실 확인 자료 구축)

  • Jeong, Jae-Hwan;Jeon, Dong-Hyeon;Kim, Seon-Hun;Gang, In-Ho
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.105-111
    • /
    • 2021
  • 한국어 사실 확인 과제는 학습 자료의 부재로 인해 연구에 어려움을 겪고 있다. 본 논문은 수작업으로 구성된 학습 자료를 토대로 자연어 생성 모델을 이용하여 한국어 사실 확인 자료를 구축하는 방법을 제안한다. 본 연구는 임의의 근거를 기반으로 하는 주장을 생성하는 방법 (E2C)과 임의의 주장을 기반으로 근거를 생성하는 방법 (C2E)을 모두 실험해보았다. 이때 기존 학습 자료에 위 두 학습 자료를 각각 추가하여 학습한 사실 확인 분류기가 기존의 학습 자료나 영문 사실 확인 자료 FEVER를 국문으로 기계 번역한 학습 자료를 토대로 구성된 분류기보다 평가 자료에 대해 높은 성능을 기록하였다. 또한, C2E 방법의 경우 수작업으로 구성된 자료 없이 기존의 자연어 추론 과제 자료와 HyperCLOVA Few Shot 예제만으로도 높은 성능을 기록하여, 비지도 학습 방식으로 사실 확인 자료를 구축할 수 있는 가능성 역시 확인하였다.

  • PDF