• Information and Communications Magazine
• /
• v.33 no.10
• /
• pp.40-48
• /
• 2016

본고에서는 최근 활발하게 연구되고 있는 심층 학습에 대하여 알아본다. 기계 학습 분야 중 하나인 심층 학습은 인공 신경망의 한 형태인 심층 신경망을 통해 구현된다. 심층 신경망은 기존 다층 신경망의 구조와 거의 유사한 학습 구조를 가지지만, 학습 과정에서 발생하는 부정확한 학습 문제를 해결함으로써 최근의 성공을 이끌어낼 수 있었다. 본고에서는 다층 신경망이 가지고 있던 문제점들을 심층 신경망에서 어떻게 극복하였는지 심층 신경망의 발전 과정을 통해 알아보고, 기계 학습의 기본개념을 바탕으로 이를 설명하여 비전문가들의 이해를 돕고자 하였다.

• Review of KIISC
• /
• v.30 no.6
• /
• pp.107-115
• /
• 2020

다양한 응용분야에서 심층신경망 기반의 학습 모델이 앞 다투어 이용됨에 따라 인공지능의 설명 가능한 동작 원리 해석과, 추론이 갖는 불확실성에 관한 분석 또한 심도 있게 연구되고 있다. 이에 심층신경망 기반 기계학습 모델의 취약성이 수면 위로 드러났으며, 이러한 취약성을 이용하여 악의적으로 모델을 공격함으로써 오동작을 유도하고자 하는 시도가 다방면으로 이루어짐에 의해 학습 모델의 강건함 보장은 보안 분야에서의 쟁점으로 부각되고 있다. 모델 추론의 입력으로 이용되는 이미지에 교란값을 추가함으로써 심층신경망의 오분류를 발생시키는 임의의 변형된 이미지를 적대적 사례라 정의하며, 본 논문에서는 최근 인공지능 및 컴퓨터비전 분야에서 이루어지고 있는 이미지 기반 적대적 사례의 생성 기법에 대하여 논한다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.125-130
• /
• 2023

최근 심층 신경망을 활용한 한국어 자연어 처리에 대한 관심이 높아지고 있지만, 한국어 자연어 처리에 적합한 신경망 구조 탐색에 대한 연구는 이뤄지지 않았다. 본 논문에서는 문서 분류 정확도를 보상으로 하는 강화 학습 알고리즘을 이용하여 장단기 기억 신경망으로 한국어 문서 분류에 적합한 심층 신경망 구조를 탐색하였으며, 탐색을 위해 사전 학습한 한국어 임베딩 성능과 탐색한 신경망 구조를 분석하였다. 탐색을 통해 찾아낸 신경망 구조는 기존 한국어 자연어 처리 모델에 대해 4 가지 한국어 문서 분류 과제로 비교하였을 때 일반적으로 성능이 우수하고 모델의 크기가 작아 효율적이었다.

• The Journal of The Korea Institute of Intelligent Transport Systems
• /
• v.18 no.3
• /
• pp.106-118
• /
• 2019

In recent years, research and development on image object recognition using artificial intelligence have been actively carried out, and it is expected to be used for road maintenance. Among them, artificial intelligence models for object detection of road surface are continuously introduced. In order to develop such object recognition algorithms, a backbone network that extracts feature maps is essential. In this paper, we will discuss how to select the appropriate neural network. To accomplish it, we compared with 4 different deep neural networks using 6,000 road surface damage images. Based on three evaluation methods for analyzing characteristics of neural networks, we propose a method to determine optimal neural networks. In addition, we improved the performance through optimal tuning of hyper-parameters, and finally developed a light backbone network that can achieve 85.9% accuracy of road surface damage classification.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2018.10a
• /
• pp.916-919
• /
• 2018

심층신경망 모델은 우수한 성능을 갖고 있음에도 불구하고 모델이 어떤 판단 과정을 통해 결론을 내렸는지 파악하기 어렵다. 그에 따라 판단에 대한 근거가 중요한 분야에서는 심층신경망 모델을 적용한 실제 사례를 찾기 어렵다. 인공신경망 모델을 해석하기 어렵다는 문제를 해결하기 위해 내부 구조를 이용하여 규칙을 추출하는 decompositional 접근법이 제안되었으나 기존의 연구는 대부분 은닉층이 1개인 다층 퍼셉트론 모델에서 규칙을 생성하는 것을 가정하고 있다. 오늘날 사용하는 심층신경망 모델은 일반적으로 여러 은닉층을 가지고 있기 때문에 기존의 접근법을 그대로 적용할 경우 규칙 불확실성에 따라 잘못된 규칙을 추출하는 문제가 발생한다. 본 논문은 decompositional 접근법에 존재하는 규칙 불확실성 문제를 완화하고 깊이가 깊은 심층신경망 모델에 규칙을 추출하는 방법을 제안한다. 제안한 접근법은 실제 활성화 값을 통해 지식을 추출하며, 이를 통해 규칙 불확실성 문제를 완화할 수 있었다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.1258-1260
• /
• 2022

재료공학에서 머신러닝을 이용해 목적 성능에 부합하는 물질의 조성을 탐색하는 연구가 있다. 물질의 성능은밀도 범함수 계산을 통해 시뮬레이션 할 수 있지만, 계산량이 많은 문제가 있다. 본 연구를 통해 우리는 고효율 페로브스카이트 태양광전지를 만들기 위한 페로브스카이트 조성을 추천하는 심층신경망과 베이지안 최적화 모델을 제안했다. 본 연구에서 높은 전력효율이 예상되는 페로브스카이트 조성을 심층신경망과 베이지안 최적화 방법을 통해 추천하는 모델을 구현하였다. 심층신경망 모델은 주어진 조성과 실험조건에서 예상되는 전력효율을 예측해 베이지안 최적화를 통한 탐색과정에서 소요되는 실험비용을 줄인다. 베이지안 최적화 모델은 실험공간을 입력으로 받아 고효율이 예상되는 실험조건을 출력하는데, 미리 설정한 실험공간만을 탐색하기 때문에 실험적으로 가능한 출력값만을 제시 할 수 있다. 본 연구는 심층신경망과 베이지안 최적화 방법을 조합해 주어진 실험공간을 탐색하는 시간과 비용을 최소화하는 방법을 제시한다

• Annual Conference on Human and Language Technology
• /
• 2019.10a
• /
• pp.120-124
• /
• 2019

딥러닝은 자연어처리, 이미지 처리, 음성인식 등에서 우수한 성능을 보이고 있다. 그렇지만 복잡한 인공신경망 내부에서 어떠한 동작이 일어나는지 검증하지 못하고 있다. 본 논문에서는 비디오 캡셔닝 분야에서 인공신경망 내부에서 어떠한 동작이 이루어지는지 검사한다. 이를 위해서 우리는 각 단계에서 출력층을 추가하였다. 출력된 결과를 검토하여 인공 신경망의 정상동작 여부를 검증한다. 우리는 한국어 MSR-VTT에 적용하여 우리의 방법을 평가하였다. 이러한 방법을 통해 인공 신경망의 동작을 이해하는데 도움을 줄 수 있을 것으로 기대된다.

• Geophysics and Geophysical Exploration
• /
• v.24 no.2
• /
• pp.53-66
• /
• 2021

Velocity model building is an essential procedure in seismic data processing. Conventional techniques, such as traveltime tomography or velocity analysis take longer computational time to predict a single velocity model and the quality of the inversion results is highly dependent on human expertise. Full-waveform inversions also depend on an accurate initial model. Recently, deep neural network techniques are gaining widespread acceptance due to an increase in their integration to solving complex and nonlinear problems. This study investigated cases of seismic velocity model building using deep neural network techniques by classifying items according to the neural networks used in each study. We also included cases of generating training synthetic velocity models. Deep neural networks automatically optimize model parameters by training neural networks from large amounts of data. Thus, less human interaction is involved in the quality of the inversion results compared to that of conventional techniques and the computational cost of predicting a single velocity model after training is negligible. Additionally, unlike full-waveform inversions, the initial velocity model is not required. Several studies have demonstrated that deep neural network techniques achieve outstanding performance not only in computational cost but also in inversion results. Based on the research results, we analyzed and discussed the characteristics of deep neural network techniques for building velocity models.

• Journal of Energy Engineering
• /
• v.26 no.3
• /
• pp.11-29
• /
• 2017

In recent years, the use of artificial intelligence technology such as deep neural net machine learning(deep learning) is becoming an effective and practical option in industrial manufacturing process. This study focuses on recent deep learning development environments and their applications in the manufacturing field.

• The Journal of the Korea institute of electronic communication sciences
• /
• v.16 no.1
• /
• pp.75-80
• /
• 2021

Artificial intelligence is becoming an important part of our lives providing incredible benefits. In this respect, facial expression recognition has been one of the hot topics among computer vision researchers in recent decades. Classifying small dataset of low resolution images requires the development of a new small scale deep CNN model. To do this, we propose a method suitable for small datasets. Compared to the traditional deep CNN models, this model uses only a fraction of the memory in terms of total learnable weights, but it shows very similar results for the FER2013 and FERPlus datasets.