• Korean Journal of Mathematics
• /
• 제30권1호
• /
• pp.131-146
• /
• 2022

This is an expository article about the gradients in deep neural network. It is hard to find a place where gradients in a deep neural network are dealt in details in a systematic and mathematical way. We review and compute the gradients and Jacobians to derive formulas for gradients which appear in the backpropagation and implement them in vectorized forms in Python.

• 지구물리와물리탐사
• /
• 제24권2호
• /
• pp.53-66
• /
• 2021

속도 모델 구축은 탄성파 탐사 자료처리에서 필수적인 절차이다. 주시 토모그래피나 속도 분석과 같은 기존 기법들은 하나의 속도 모델을 예측하는 데 계산 시간이 오래 걸리며 역산 결과의 품질이 전문가의 판단에 크게 의존한다. 전파형 역산 또한 초기 속도 모델에 크게 의존한다는 문제가 있다. 최근 심층 신경망 기법이 복잡하고 비선형적인 문제를 푸는데 적용되는 사례가 많아지면서 널리 보급되고 있다. 이 논문에서는 심층 신경망 기법을 이용한 탄성파 속도 모델 구축 사례들을 각 연구에 사용한 신경망에 따라 분류하며 조사하였다. 또한 훈련용 인공 속도 모델 생성 사례도 포함하였다. 심층 신경망은 대량의 데이터로부터 신경망을 훈련함으로써 모델 매개변수를 자동으로 최적화한다. 따라서 기존 기법들에 비해 역산 결과에 사람의 판단이 개입될 여지가 적으며 훈련을 마친 후 하나의 속도 모델을 예측하는 비용은 무시할 수 있다. 또한, 심층 신경망은 전파형 역산과 달리 초기 속도 모델이 필요하지 않다. 여러 연구에서 계산 비용뿐만 아니라 역산 결과에서도 심층 신경망 기법이 뛰어난 성과를 달성하는 것을 보여주었다. 연구 결과들을 바탕으로 속도 모델 구축에 사용된 심층 신경망 기법의 특징에 대해 분석하고 논의하였다.

• 한국정보통신학회논문지
• /
• 제22권5호
• /
• pp.728-733
• /
• 2018

단백질을 구성하는 아미노산의 서열 정보만으로 단백질 이차 구조를 예측하기 위하여 심층 학습이 활발히 연구되고 있다. 본 논문에서는 단백질 이차 구조를 예측하기 위하여 다양한 구조의 합성곱 신경망의 성능을 비교하였다. 단백질 이차 구조의 예측에 적합한 신경망의 층의 깊이를 알아내기 위하여 층의 개수에 따른 성능을 조사하였다. 또한 이미지 분류 분야의 많은 방법들이 기반 하는 GoogLeNet과 ResNet의 구조를 적용하였는데, 이러한 방법은 입력 자료에서 다양한 특성을 추출하거나, 깊은 층을 사용하여도 학습과정에서 그래디언트 전달을 원활하게 한다. 합성곱 신경망의 여러 구조를 단백질 자료의 특성에 적합하게 변경하여 성능을 향상시켰다.

• 데이타베이스연구회지:데이타베이스연구
• /
• 제34권3호
• /
• pp.3-13
• /
• 2018

자동문서분류(Text Classification)는 주어진 텍스트 문서를 이에 적합한 카테고리로 분류하는 텍스트 마이닝 기술 중의 하나로서 스팸메일 탐지, 뉴스분류, 자동응답, 감성분석, 쳇봇 등 다양한 분야에 활용되고 있다. 일반적으로 자동문서분류 시스템은 기계학습 알고리즘을 활용하며, 이 중에서 텍스트 데이터에 적합한 알고리즘인 나이브베이즈(Naive Bayes), 지지벡터머신(Support Vector Machine) 등이 합리적 수준의 성능을 보이는 것으로 알려져 있다. 최근 딥러닝 기술의 발전에 따라 자동문서분류 시스템의 성능을 개선하기 위해 순환신경망(Recurrent Neural Network)과 콘볼루션 신경망(Convolutional Neural Network)을 적용하는 연구가 소개되고 있다. 그러나 이러한 최신 기법들이 아직 완벽한 수준의 문서분류에는 미치지 못하고 있다. 본 논문은 그 이유가 텍스트 데이터가 단어 차원 중심의 벡터로 표현되어 텍스트에 내재한 의미 정보를 훼손하는데 주목하고, 선행 연구에서 그 효능이 검증된 시멘틱 텐서공간모델에 기반하여 심층 신경망 아키텍처를 제안하고 이를 활용한 문서분류기의 성능이 대폭 상승함을 보인다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제7권8호
• /
• pp.307-324
• /
• 2018

최근 순환 신경 망(Recurrent Neural Networks)은 시간에 대한 의존성을 고려한 구조를 통해 순차 데이터(Sequential data)의 예측 문제 해결에서 각광받고 있다. 하지만 순차 데이터의 시간 스텝이 늘어남에 따라 발생하는 그라디언트 소실(Gradients vanishing)이 문제로 대두되었다. 이를 해결하기 위해 장단기 기억 모델(Long Short-Term Memory)이 제안되었지만, 많은 데이터를 저장하고 장기간 보존하는 데에 한계가 있다. 따라서 순환 신경망과 메모리 요소(Memory component)를 활용한 학습 모델인 메모리-증대 신경망(Memory-Augmented Neural Networks)에 대한 연구가 최근 활발히 진행되고 있다. 본 논문에서는 딥 러닝(Deep Learning) 분야의 화두로 떠오른 메모리-증대 신경망 주요 모델들의 구조와 특징을 열거하고, 이를 활용한 최신 기법들과 향후 연구 방향을 제시한다.

• 스마트미디어저널
• /
• 제11권3호
• /
• pp.26-30
• /
• 2022

스파이킹 신경망은 실제 두뇌 뉴런의 작동원리를 적용한 신경망으로, 뉴런의 생물학적 메커니즘으로 인해 기존 신경망보다 학습과 추론에 소모되는 전력이 적다. 최근 딥러닝 모델이 거대해지며 운용에 소모되는 비용 또한 기하급수적으로 증가함에 따라 스파이킹 신경망은 합성곱, 순환 신경망을 잇는 3세대 신경망으로 주목받으며 관련 연구가 활발히 진행되고 있다. 그러나 스파이킹 신경망 모델을 산업에 적용하기 위해서는 아직 선행되어야 할 연구가 많이 남아있고, 새로운 모델을 적용하기 위한 모델 재학습 문제 역시 해결해야 한다. 본 논문에서는 기존의 학습된 딥러닝 모델의 가중치를 추출하여 스파이킹 신경망 모델의 가중치로 변환하는 것으로 모델 재학습 비용을 최소화하는 방법을 제안한다. 또한, 변환된 가중치를 사용한 추론 결과와 기존 모델의 결과를 비교해 가중치 변환이 올바르게 작동함을 보인다.

• 한국지능시스템학회논문지
• /
• 제25권5호
• /
• pp.425-430
• /
• 2015

본 논문은 딥러닝 알고리즘을 적용한 깊은신경망을 이용하여 회전 객체의 분류 효율성을 높이기 위한 연구이다. 회전객체의 분류 실험을 위하여 데이터는 COIL-20을 사용하며 객체의 2/3영역을 학습시키고 1/3영역을 유추하여 분류한다. 연구에 이용된 3가지 분류기는 주성분 분석법을 이용해 데이터의 차원을 축소하면서 특징값을 추출하고 유클리디안 거리를 이용하여 분류하는 PCA분류기와 오류역전파 알고리즘을 이용하여 오류 에너지를 줄여가는 방식의 MLP분류기, 마지막으로 pre-training을 통하여 학습데이터의 관찰될 확률을 높여주고 fine-tuning으로 오류에너지를 줄여가는 방식의 딥러닝을 적용한 DBN분류기이다. 깊은신경망의 구조별 오류율을 확인하기 위하여 은닉층의 개수와 은닉뉴런의 개수를 변경해가며 실험하고 실제로 가장 낮은 오류율을 나타내는 구조를 기술한다. 가장 낮은 오류율을 보였던 분류기는 DBN을 이용한 분류기이다. 은닉층을 2개 갖는 깊은신경망의 구조로 매개 변수들을 인식에 도움이 되는 곳으로 이동 시켜 높은 인식률을 보여줬다.

• IEIE Transactions on Smart Processing and Computing
• /
• 제4권1호
• /
• pp.35-43
• /
• 2015

Over the past couple of years, tremendous progress has been made in applying deep learning (DL) techniques to computer vision. Especially, deep convolutional neural networks (DCNNs) have achieved state-of-the-art performance on standard recognition datasets and tasks such as ImageNet Large-Scale Visual Recognition Challenge (ILSVRC). Among them, GoogLeNet network which is a radically redesigned DCNN based on the Hebbian principle and scale invariance set the new state of the art for classification and detection in the ILSVRC 2014. Since there exist various deep learning techniques, this review paper is focusing on techniques directly related to DCNNs, especially those needed to understand the architecture and techniques employed in GoogLeNet network.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제12권10호
• /
• pp.5159-5178
• /
• 2018

Network Intrusion detection is a rapidly growing field of information security due to its importance for modern IT infrastructure. Many supervised and unsupervised learning techniques have been devised by researchers from discipline of machine learning and data mining to achieve reliable detection of anomalies. In this paper, a deep convolutional neural network (DCNN) based intrusion detection system (IDS) is proposed, implemented and analyzed. Deep CNN core of proposed IDS is fine-tuned using Randomized search over configuration space. Proposed system is trained and tested on NSLKDD training and testing datasets using GPU. Performance comparisons of proposed DCNN model are provided with other classifiers using well-known metrics including Receiver operating characteristics (RoC) curve, Area under RoC curve (AuC), accuracy, precision-recall curve and mean average precision (mAP). The experimental results of proposed DCNN based IDS shows promising results for real world application in anomaly detection systems.

• 한국항해항만학회:학술대회논문집
• /
• 한국항해항만학회 2022년도 추계학술대회
• /
• pp.383-384
• /
• 2022

Gas Combustion Unit (GCU) onboard liquefied natural gas carriers handles boil-off to stabilize tank pressure. There are many factors for LNG cargo operators to take into consideration to determine whether to use GCU or not. Gas consumption of main engine and re-liquefied gas through the Partial Re-Liquefaction System (PRS) are good examples of these factors. Human gas operators have decided the operation so far. In this paper, some deep learning neural network models were developed to provide human gas operators with a decision support system. The models consider various factors specially into GCU operation. A deep learning model with Sigmoid activation functions in input layer and hidden layers made the best performance among eight different deep learning models.