• 한국지능시스템학회논문지
• /
• 제27권1호
• /
• pp.22-28
• /
• 2017

Convolutional Neural Network(CNN)는 특징 추출과 분류의 두 단계로 나눌 수 있다. 그 중 특징 추출 단계의 커널의 크기, 채널의 수, stride 등의 hyperparameter는 CNN의 구조를 결정할 뿐만 아니라 특징을 추출하는 데에도 영향을 주기 때문에 CNN의 전체적인 성능에도 영향을 준다. 본 논문에서는 Parameter-Setting-Free Harmony Search(PSF-HS) 알고리즘을 이용하여 CNN의 특징 추출 단계에서의 hyperparameter를 최적화 하는 방법을 제안하였다. CNN의 전체 구조를 설정한 뒤 hyperparameter를 변수로 설정하였고 PSF-HS 알고리즘을 적용하여 hyperparameter를 최적화 하였다. 시뮬레이션은 MATLAB을 이용하여 진행하였고 CNN은 mnist 데이터를 이용하여 학습과 테스트를 했다. 총 500번 동안 변수를 업데이트했고 제안하는 방법을 이용하여 구한 CNN 구조 중 가장 높은 정확도를 가지는 구조는 99.28%의 정확도로 mnist 데이터를 분류하는 것을 확인할 수 있었다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2018년도 춘계학술대회
• /
• pp.703-704
• /
• 2018

본 논문은 몸을 움직이지 못하는 루게릭병 환자들을 위해 눈동자를 추적하여 의사소통 시스템에 필요한 눈동자의 위치를 파악해주는 인공신경망 설계에 대해 소개한다. Tensorflow를 이용해 신경망 생성 및 학습하고 학습된 신경망을 통하여 눈동자의 위치를 파악한다. 본 논문에서는 컨볼루션계층 2단계와 완전연결계층 2단계로 구성된 Convolution Neural Network(CNN)을 사용해서 구현했다.

• Journal of Information Processing Systems
• /
• 제17권4호
• /
• pp.818-833
• /
• 2021

To address the problems of low precision rate, insufficient feature extraction, and poor contextual ability in existing text sentiment analysis methods, a mixed model account of a CNN-BiLSTM-TE (convolutional neural network, bidirectional long short-term memory, and topic extraction) model was proposed. First, Chinese text data was converted into vectors through the method of transfer learning by Word2Vec. Second, local features were extracted by the CNN model. Then, contextual information was extracted by the BiLSTM neural network and the emotional tendency was obtained using softmax. Finally, topics were extracted by the term frequency-inverse document frequency and K-means. Compared with the CNN, BiLSTM, and gate recurrent unit (GRU) models, the CNN-BiLSTM-TE model's F1-score was higher than other models by 0.0147, 0.006, and 0.0052, respectively. Then compared with CNN-LSTM, LSTM-CNN, and BiLSTM-CNN models, the F1-score was higher by 0.0071, 0.0038, and 0.0049, respectively. Experimental results showed that the CNN-BiLSTM-TE model can effectively improve various indicators in application. Lastly, performed scalability verification through a takeaway dataset, which has great value in practical applications.

• 인터넷정보학회논문지
• /
• 제19권3호
• /
• pp.35-42
• /
• 2018

딥 러닝은 영상 분류를 위한 여러 방법 중 높은 정확도를 보이는 방법으로 알려져 있다. 본 논문에서는 딥 러닝 방법 가운데 합성곱 신경망 (CNN:Convolutional Neural Network)을 이용하여 영상을 분류함에 있어 배치 정규화 방법이 추가된 CNN을 이용하여 영상 분류의 정확도를 높이는 방법을 제시하였다. 본 논문에서는 영상 분류를 더 정확하게 수행하기 위해 기존의 뉴럴 네트워크에 배치 정규화 계층 (layer)를 추가하는 방법을 제안한다. 배치 정규화는 각 계층에 존재하는 편향을 줄이기 위해 고안된 방법으로, 각 배치의 평균과 분산을 계산하여 이동시키는 방법이다. 본 논문에서 제시된 방법의 우수성을 입증하기 위하여 SHREC13, MNIST, SVHN, CIFAR-10, CIFAR-100의 5개 영상 데이터 집합을 이용하여 영상분류 실험을 하여 정확도와 mAP를 측정한다. 실험 결과 일반적인 CNN 보다 배치 정규화가 추가된 CNN이 영상 분류 시 보다 높은 분류 정확도와 mAP를 보임을 확인 할 수 있었다.

• 한국멀티미디어학회논문지
• /
• 제23권6호
• /
• pp.729-737
• /
• 2020

Screening with low-dose spiral computed tomography (LDCT) has been shown to reduce lung cancer mortality by about 20% when compared to standard chest radiography. One of the problems arising from screening programs is that large amounts of CT image data must be interpreted by radiologists. To solve this problem, automated detection of pulmonary nodules is necessary; however, this is a challenging task because of the high number of false positive results. Here we demonstrate detection of pulmonary nodules using six off-the-shelf convolutional neural network (CNN) models after modification of the input/output layers and end-to-end training based on publicly databases for comparative evaluation. We used the well-known CNN models, LeNet-5, VGG-16, GoogLeNet Inception V3, ResNet-152, DensNet-201, and NASNet. Most of the CNN models provided superior results to those of obtained using customized CNN models. It is more desirable to modify the proven off-the-shelf network model than to customize the network model to detect the pulmonary nodules.

• 한국음향학회지
• /
• 제41권2호
• /
• pp.235-241
• /
• 2022

수동 음향 관측을 통해 수집된 방대한 양의 데이터에서 해양포유류의 소리를 탐지하고 식별하기 위해 합성곱 신경망(Convolutional Neural Network, CNN)을 활용한 연구가 많이 수행되고 있다. 본 연구는 2017년 8월부터 2018년 8월까지 동시베리아 해에서 수집된 수중음향 스펙트럼 이미지를 기반으로 CNN을 활용하여 턱수염물범 소리의 분류 자동화 가능성을 확인해 보았다. 학습 데이터로서 다른 소음이 거의 포함되지 않은 뚜렷한 턱수염물범 소리를 사용하였을 때, 암기로 인한 과적합이 발생하였다. 일부 데이터를 소음이 포함된 데이터로 교체하여 학습시켜 수집된 전체 데이터로 평가한 결과 정확도(0.9743), 정밀도(0.9783), 재현율(0.9520)으로 모델이 이전보다 일반화되어 과적합이 방지되는 것을 확인하였다. 본 연구를 통해 물범신호 분류는 학습 데이터에 소음이 포함되었을 때 성능이 증가하는 것으로 나타났다.

• 예술인문사회 융합 멀티미디어 논문지
• /
• 제7권10호
• /
• pp.935-943
• /
• 2017

많은 양의 데이터 기반으로 학습하는 neural network 중 이미지 분류나 음성 인식 등에 사용되어 지고 있는 CNN(Convolution neural network)는 현재까지도 우수한 성능을 가진 구조로 계속적으로 발전되고 있다. 제한된 자원을 가진 임베디드 시스템에서 활용하기에는 많은 어려움이 있다. 그래서 미리 학습된 가중치를 사용하지만 여전히 한계점이 있기 때문에 이를 해결하기 위해 GPU의 범용 연산을 위해서 사용하는 GP-GPU(General-Purpose computing on Graphics Processing Units)를 활용하는 추세다. CNN은 단순하고 반복적인 연산을 수행하기 때문에 SIMT(Single Instruction Multiple Thread)기반의 GPGPU에서 스레드 할당과 활용 방법에 따라 연산 속도가 많이 달라진다. 스레드로 Convolution 연산과 Pooling 연산을 수행할 때 쉬어야 하는 스레드가 발생하는 데 이러한 문제를 해결하기 위해 남은 스레드가 다음 피쳐맵과 커널 계산에 활용되는 방법을 사용함으로써 연산 속도를 증가시켰다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 추계학술대회
• /
• pp.106-107
• /
• 2020

본 논문에서는 촬영과 동시에 유통되는 생방송 영상의 실시간 지적재산권 보호를 위한 Convolutional Neural Network를 기반으로 하는 워터마킹 프로세서의 구조를 제안한다. 제안하는 워터마킹 프로세서는 전처리 네트워크와 삽입 네트워크를 최적화하여 ASIC 칩으로 제작한다. 이는 영상을 입력으로 하는 딥 러닝 분야에서 많이 사용되는 CNN을 기반으로 하기 때문에 일반적인 딥 러닝 가속기 설계로 간주된다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제12권10호
• /
• pp.5159-5178
• /
• 2018

Network Intrusion detection is a rapidly growing field of information security due to its importance for modern IT infrastructure. Many supervised and unsupervised learning techniques have been devised by researchers from discipline of machine learning and data mining to achieve reliable detection of anomalies. In this paper, a deep convolutional neural network (DCNN) based intrusion detection system (IDS) is proposed, implemented and analyzed. Deep CNN core of proposed IDS is fine-tuned using Randomized search over configuration space. Proposed system is trained and tested on NSLKDD training and testing datasets using GPU. Performance comparisons of proposed DCNN model are provided with other classifiers using well-known metrics including Receiver operating characteristics (RoC) curve, Area under RoC curve (AuC), accuracy, precision-recall curve and mean average precision (mAP). The experimental results of proposed DCNN based IDS shows promising results for real world application in anomaly detection systems.

• Journal of Information Science Theory and Practice
• /
• 제7권2호
• /
• pp.32-39
• /
• 2019

A convolutional neural network (CNN) has been widely used in facial expression recognition (FER) because it can automatically learn discriminative appearance features from an expression image. To make full use of its discriminating capability, this paper suggests a simple but effective method for CNN based FER. Specifically, instead of an original expression image that contains facial appearance only, the expression image with facial geometry visualization is used as input to CNN. In this way, geometric and appearance features could be simultaneously learned, making CNN more discriminative for FER. A simple CNN extension is also presented in this paper, aiming to utilize geometric expression change derived from an expression image sequence. Experimental results on two public datasets (CK+ and MMI) show that CNN using facial geometry visualization clearly outperforms the conventional CNN using facial appearance only.