• 스마트미디어저널
• /
• 제11권3호
• /
• pp.26-30
• /
• 2022

스파이킹 신경망은 실제 두뇌 뉴런의 작동원리를 적용한 신경망으로, 뉴런의 생물학적 메커니즘으로 인해 기존 신경망보다 학습과 추론에 소모되는 전력이 적다. 최근 딥러닝 모델이 거대해지며 운용에 소모되는 비용 또한 기하급수적으로 증가함에 따라 스파이킹 신경망은 합성곱, 순환 신경망을 잇는 3세대 신경망으로 주목받으며 관련 연구가 활발히 진행되고 있다. 그러나 스파이킹 신경망 모델을 산업에 적용하기 위해서는 아직 선행되어야 할 연구가 많이 남아있고, 새로운 모델을 적용하기 위한 모델 재학습 문제 역시 해결해야 한다. 본 논문에서는 기존의 학습된 딥러닝 모델의 가중치를 추출하여 스파이킹 신경망 모델의 가중치로 변환하는 것으로 모델 재학습 비용을 최소화하는 방법을 제안한다. 또한, 변환된 가중치를 사용한 추론 결과와 기존 모델의 결과를 비교해 가중치 변환이 올바르게 작동함을 보인다.

• Journal of Electrical Engineering and Technology
• /
• 제12권1호
• /
• pp.363-372
• /
• 2017

This paper presents a novel face recognition algorithm based on the deep convolution neural network and key point detection jointed local binary pattern methodology to enhance the accuracy of face recognition. We firstly propose the modified face key feature point location detection method to enhance the traditional localization algorithm to better pre-process the original face images. We put forward the grey information and the color information with combination of a composite model of local information. Then, we optimize the multi-layer network structure deep learning algorithm using the Fisher criterion as reference to adjust the network structure more accurately. Furthermore, we modify the local binary pattern texture description operator and combine it with the neural network to overcome drawbacks that deep neural network could not learn to face image and the local characteristics. Simulation results demonstrate that the proposed algorithm obtains stronger robustness and feasibility compared with the other state-of-the-art algorithms. The proposed algorithm also provides the novel paradigm for the application of deep learning in the field of face recognition which sets the milestone for further research.

• 문화기술의 융합
• /
• 제9권6호
• /
• pp.301-307
• /
• 2023

딥러닝은 심층신경망(Deep Neural Network)을 구축하고 대량의 훈련 데이터를 수집한 후, 구축된 신경망을 오랫동안 학습 시켜야 한다. 만약, 학습이 제대로 진행되지 않거나 과적합이 발생하면, 학습은 실패하게 된다. 현재까지 개발되고 있는 딥러닝 도구들을 사용할 경우, 훈련데이터 수집과 학습에 많은 시간이 소요된다. 하지만, 모바일 환경의 급격한 도래와 센서 데이터의 증가로 인해, 신경망 학습에 걸리는 시간을 획기적으로 줄일 수 있는 실시간 증강형 딥러닝 기술에 대한 요구가 급격하게 증가하고 있다. 본 연구에서는 미세먼지 센서를 장착한 아두이노 시스템을 사용하여 실시간 증강형 딥러닝 시스템을 구현 하였다. 구현된 시스템에서는 미세먼지 데이터를 5초마다 측정하고 최대 120개가 축적이 되면, 기존에 축적된 데이터와 새로이 축적된 데이터를 데이터셋으로 사용하여 학습을 수행하도록 하였다. 학습 수행을 위한 신경망은 입력층 1개, 은닉층 1개, 출력등 1개로 구성하였다. 구현된 시스템에 대한 성능을 평가하기 위해 학습 시간과 평균 제곱근 오차(root mean square error, RMSE)를 측정 하였다. 실험 결과, 평균 학습 오차는 0.04053796이었으며, 학습주기당(1 에포크) 평균 학습 시간은 3,447 초 정도의 시간이 걸렸다.

• 한국정보기술학회 영문논문지
• /
• 제8권2호
• /
• pp.119-127
• /
• 2018

Training a very large deep neural network can be painfully slow and prone to overfitting. Many researches have done for overcoming the problem. In this paper, a combination of early stopping and ADAM based deep neural network was presented. This form of deep network is useful for handling the big data because it automatically stop the training before overfitting occurs. Also generalization ability is better than pure deep neural network model.

• International Journal of Advanced Culture Technology
• /
• 제7권4호
• /
• pp.327-333
• /
• 2019

Wind speed data constitute important weather information for aircrafts flying at low altitudes, such as drones. Currently, the accuracy of low altitude wind predictions is much lower than that of high-altitude wind predictions. Deep neural networks are proposed in this study as a method to improve wind speed forecast information. Deep neural networks mimic the learning process of the interactions among neurons in the brain, and it is used in various fields, such as recognition of image, sound, and texts, image and natural language processing, and pattern recognition in time-series. In this study, the deep neural network model is constructed using the wind prediction values generated by the numerical model as an input to improve the wind speed forecasts. Using the ground wind speed forecast data collected at the Boseong Meteorological Observation Tower, wind speed forecast values obtained by the numerical model are compared with those obtained by the model proposed in this study for the verification of the validity and compatibility of the proposed model.

• 전자공학회논문지
• /
• 제54권2호
• /
• pp.76-82
• /
• 2017

랜섬웨어를 포함한 악성코드를 빠르게 탐지하여 빅데이터를 보호하기 위해 본 연구에서는 인공지능의 딥러닝으로 학습된 이미지 분석을 통한 악성코드 분석 기법을 제안한다. 우선 악성코드들에서 일반적으로 사용하는 2,400여개 이상의 데이터를 분석하여 인공신경망 Convolutional neural network 으로 학습하고 데이터를 이미지화 하였다. 추상화된 이미지 그래프로 변환하고 부분 그래프를 추출하여 악성코드가 나타내는 집합을 정리하였다. 제안한 논문에서 추출된 부분 집합들 간의 비교 분석을 통해 해당 악성코드들이 얼마나 유사한지를 실험으로 분석하였으며 학습을 통한 방법을 이용하여 빠르게 추출하였다. 실험결과로부터 인공지능의 딥러닝을 이용한 정확한 악성코드 탐지 가능성과 악성코드를 이미지화하여 분류함으로써 더욱 빠르고 정확한 탐지 가능성을 보였다.

• 수산해양기술연구
• /
• 제58권3호
• /
• pp.272-280
• /
• 2022

The first step is to determine the principal dimensions of the design ship, such as length between perpendiculars, beam, draft and depth when accomplishing the design of a new vessel. To make this process easier, a database with a large amount of existing ship data and a regression analysis technique are needed. Recently, deep learning, a branch of artificial intelligence (AI) has been used in regression analysis. In this paper, deep learning neural networks are used for regression analysis to find the regression function between the input and output data. To find the neural network structure with the highest accuracy, the errors of neural network structures with varying the number of the layers and the nodes are compared. In this paper, Python TensorFlow Keras API and MATLAB Deep Learning Toolbox are used to build deep learning neural networks. Constructed DNN (deep neural networks) makes helpful in determining the principal dimension of the ship and saves much time in the ship design process.

• 전기전자학회논문지
• /
• 제20권3호
• /
• pp.303-306
• /
• 2016

본 논문에서는 GPGPU를 활용하여 Convolutional neural network의 가속화 방법을 제안한다. Convolutional neural network는 이미지의 특징 값을 학습하여 분류하는 neural network의 일종으로 대량의 데이터를 학습해야하는 영상 처리에 적합하다. 기존의 Convolutional neural network의 convolution layer는 다수의 곱셈 연산을 필요로 하여 임베디드 환경에서 실시간으로 동작하기에 어려움이 있다. 본 논문에서는 이러한 단점을 해결하기 위하여 winograd convolution 연산을 통하여 곱셈 연산을 줄이고 GPGPU의 SIMT 구조를 활용하여 convolution 연산을 병렬 처리한다. 실험은 ModelSim, TestDrive를 사용하여 진행하였고 실험 결과 기존의 convolution 연산보다 처리 시간이 약 17% 개선되었다.

• 로봇학회논문지
• /
• 제17권2호
• /
• pp.133-141
• /
• 2022

This paper introduces model compression algorithms which make a deep neural network smaller and faster for embedded systems. The model compression algorithms can be largely categorized into pruning, quantization and knowledge distillation. In this study, gradual pruning, quantization aware training, and knowledge distillation which learns the activation boundary in the hidden layer of the teacher neural network are integrated. As a large deep neural network is compressed and accelerated by these algorithms, embedded computing boards can run the deep neural network much faster with less memory usage while preserving the reasonable accuracy. To evaluate the performance of the compressed neural networks, we evaluate the size, latency and accuracy of the deep neural network, DenseNet201, for image classification with CIFAR-10 dataset on the NVIDIA Jetson Xavier.

• Korean Journal of Mathematics
• /
• 제30권1호
• /
• pp.131-146
• /
• 2022

This is an expository article about the gradients in deep neural network. It is hard to find a place where gradients in a deep neural network are dealt in details in a systematic and mathematical way. We review and compute the gradients and Jacobians to derive formulas for gradients which appear in the backpropagation and implement them in vectorized forms in Python.