• 한국정보통신학회논문지
• /
• 제26권2호
• /
• pp.325-328
• /
• 2022

A convolutional neural network(CNN) is widely used in the computer vision tasks, but its computing power requirement needs a design of a special circuit. Most of the computations in a CNN can be implemented efficiently in a digital circuit, but the SoftMax layer has operations unsuitable for circuit implementation, which are exponential and logarithmic functions. This paper proposes a new method to integrate the exponential and logarithmic tables of the conventional circuits into a single table. The proposed structure accesses a look-up table (LUT) only with a few maximum values, and the LUT has the result value directly. Our proposed method significantly reduces the space complexity of the SoftMax layer circuit implementation. But our resulting circuit is comparable to the original baseline with small degradation in precision.

• Journal of Multimedia Information System
• /
• 제8권3호
• /
• pp.147-158
• /
• 2021

Versatile Video Coding (VVC) is the latest video coding standard developed by Joint Video Exploration Team (JVET). In VVC, the quadtree plus multi-type tree (QT+MTT) structure of coding unit (CU) partition is adopted, and its computational complexity is considerably high due to the brute-force search for recursive rate-distortion (RD) optimization. In this paper, we aim to reduce the time complexity of inter-picture prediction mode since the inter prediction accounts for a large portion of the total encoding time. The problem can be defined as classifying the split mode of each CU. To classify the split mode effectively, a novel convolutional neural network (CNN) called multi-level tree (MLT-CNN) architecture is introduced. For boosting classification performance, we utilize additional information including inter-picture information while training the CNN. The overall algorithm including the MLT-CNN inference process is implemented on VVC Test Model (VTM) 11.0. The CUs of size 128×128 can be the inputs of the CNN. The sequences are encoded at the random access (RA) configuration with five QP values {22, 27, 32, 37, 42}. The experimental results show that the proposed algorithm can reduce the computational complexity by 11.53% on average, and 26.14% for the maximum with an average 1.01% of the increase in Bjøntegaard delta bit rate (BDBR). Especially, the proposed method shows higher performance on the sequences of the A and B classes, reducing 9.81%~26.14% of encoding time with 0.95%~3.28% of the BDBR increase.

• 한국정보통신학회논문지
• /
• 제23권1호
• /
• pp.39-46
• /
• 2019

본 연구에서 외래어종 퇴치를 위한 시스템 개발에 앞서 물 안의 어류 이미지를 CNN으로 학습하여 어종을 분류하는 알고리즘을 제안하고자 한다. CNN 학습을 위한 원데이터(raw data)는 각 어종에 대해 직접 촬영한 영상을 사용하였으며, 어종 분류성능을 높이기 위해 영상 이미지의 개수를 늘린 데이터세트 1과 최대한 자연환경과 가까운 영상 이미지를 구현한 데이터세트 2를 구성하여 학습 및 테스트 데이터로 사용하였다. 4가지 CNN의 분류성능은 데이터세트 1에 대해 99.97%, 데이터세트 2에 대해 99.5% 이상을 나타내었으며, 특히 데이터세트 2를 사용하여 학습한 CNNs이 자연환경과 유사한 어류 이미지에 대해서도 만족할 만한 성능을 가짐을 확인하였다. 그리고 4가지 CNN 중 AlexNet이 성능에서도 만족스러운 결과를 도출하였으며, 수행시간과 학습시간 역시 가장 짧아 외래어종 퇴치를 위한 시스템 개발에 가장 적합한 구조임을 확인하였다.

• 한국인터넷방송통신학회논문지
• /
• 제19권1호
• /
• pp.145-152
• /
• 2019

본 논문에서는 딥러닝을 활용한 흔들림 영상 안정화 알고리즘을 제안하였다. 제안하는 알고리즘은 기존 몇 가지 2D, 2.5D 및 3D 기반 안정화 기술과 다르게 딥러닝을 활용한다. 제안하는 알고리즘은 흔들리는 영상을 CNN 네트워크 구조와 LSTM 네트워크 구조를 통한 특징 추출 및 비교하여 이전 프레임과 현재 프레임 간의 특징점 위치 차이를 통해 특징점의 이동 크기와 방향의 반대로 영상을 변환하는 알고리즘이다. 흔들림 안정화를 위한 알고리즘은 각 프레임의 특징 추출 및 비교를 위해 Tensorflow를 활용하여 CNN 네트워크과 LSTM 구조를 구현하였으며, 영상 흔들림 안정화는 OpenCV open source를 활용해 구현하였다. 실험결과 영상의 흔들림이 상하좌우로 흔들리는 영상과, 급격한 카메라 이동이 없는 영상을 실험에 사용하여, 제안한 알고리즘을 적용한 결과 사용한 상하좌우 흔들림 영상에서는 안정적인 흔들림 안정화 성능을 기대할 수 있었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 하계학술대회
• /
• pp.1301-1304
• /
• 2022

최근 인공지능 신경망에 대한 활발한 연구를 바탕으로 다양한 분야에서의 적용에 대해 많은 시도들이 이루어지고 있다. 이러한 흐름에 맞추어 화학 문서에서 화학 구조를 인식하는 문제 또한 딥러닝을 이용하여 해결하려는 시도들이 생겨나고 있다. 본 논문에서는 화학 문서에서 화학 구조를 인식하는 모델을 학습시키기 위한 합성 데이터셋을 제안하였다. 문서의 구조를 이용하여 정교하게 화학 구조들을 문서에 합성하여 데이터셋을 생성하였고, 이를 최신 딥러닝 모델 중 하나인 Mask R-CNN[7]에 학습시켜 제안한 데이터셋을 이용하여 문서에서 화학 구조를 인식할 수 있음을 보였다.

• 한국정보통신학회:학술대회논문집
• /
• 한국해양정보통신학회 2003년도 추계종합학술대회
• /
• pp.416-419
• /
• 2003

셀룰러 신경회로망(CNN)은 일반적인 신경회로망과는 다른 형태의 회로구조를 가진다. 이것은 간단한 처리요소인 셀들의 배열로 이루어져 있으며, 각 셀들은 국부적인 연결특성과 공간불변 템플릿 특성을 갖는다. 본 논문에서는 소규모의 CNN셀 블록을 사용하여 대규모의 입력영상을 블록으로 처리하는 실용적인 시다중화 영상처리 기법을 적용하였다. 그리고, C프로그램과 Matlab모델로 구현된 시뮬레이터를 사용하여 윤곽선 검출 시뮬레이션을 하였다. 또한 5$\times$5 CNN 하드웨어와 전ㆍ후 처리기를 설계하여 시험중에 있다.

• 한국항행학회논문지
• /
• 제25권4호
• /
• pp.299-304
• /
• 2021

기존의 사람 행동 인식 시스템은 웨어러블 센서, 카메라와 같은 장치를 통해 행동을 탐지하였다. 그러나, 이와 같은 방법들은 추가적인 장치와 비용이 요구되고, 특히 카메라 장치의 경우 사생활 침해 문제가 발생한다. 이미 설치되어 있는 WiFi 신호를 사용한다면 해당 문제를 해결할 수 있다는 장점이 있다. 본 논문에서는 WiFi 신호의 채널 상태 정보를 활용한 CNN 기반 사람 행동 인식 시스템을 제안하고, 가속 하드웨어 구조 설계 및 구현 결과를 제시한다. 해당 시스템은 실내 공간에서 학습 중 나타날 수 있는 네 가지 행동에 대해 정의하였고, 그에 대한 WiFi의 채널 상태 정보를 CNN으로 분류하여 평균 정확도는 91.86%를 보였다. 또한, 가속화를 위해 CNN 분류기에서 연산량이 가장 많은 완전 연결 계층에 대한 가속 하드웨어 구조 설계 결과를 제시하였다. FPGA 디바이스 상에서 성능 평가 결과, 기존 software 기반 시스템 대비 4.28배 빠른 연산 시간을 보임을 확인하였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제11권12호
• /
• pp.6038-6053
• /
• 2017

In this study, we propose an automatic melody extraction algorithm using deep learning. In this algorithm, feature images, generated using the energy of frequency band, are extracted from polyphonic audio files and a deep learning technique, a convolutional neural network (CNN), is applied on the feature images. In the training data, a short frame of polyphonic music is labeled as a musical note and a classifier based on CNN is learned in order to determine a pitch value of a short frame of audio signal. We want to build a novel structure of melody extraction, thus the proposed algorithm has a simple structure and instead of using various signal processing techniques for melody extraction, we use only a CNN to find a melody from a polyphonic audio. Despite of simple structure, the promising results are obtained in the experiments. Compared with state-of-the-art algorithms, the proposed algorithm did not give the best result, but comparable results were obtained and we believe they could be improved with the appropriate training data. In this paper, melody extraction and the proposed algorithm are introduced first, and the proposed algorithm is then further explained in detail. Finally, we present our experiment and the comparison of results follows.

• International journal of advanced smart convergence
• /
• 제9권2호
• /
• pp.203-211
• /
• 2020

This study proposes a method for estimating gender and age that is robust to various external environment changes by applying deep learning-based learning. To improve the accuracy of the proposed algorithm, an improved CNN network structure and learning method are described, and the performance of the algorithm is also evaluated. In this study, in order to improve the learning method based on CNN composed of 6 layers of hidden layers, a network using GoogLeNet's inception module was constructed. As a result of the experiment, the age estimation accuracy of 5,328 images for the performance test of the age estimation method is about 85%, and the gender estimation accuracy is about 98%. It is expected that real-time age recognition will be possible beyond feature extraction of face images if studies on the construction of a larger data set, pre-processing methods, and various network structures and activation functions have been made to classify the age classes that are further subdivided according to age.

• Journal of Electrical Engineering and Technology
• /
• 제13권1호
• /
• pp.485-492
• /
• 2018

In this paper, we propose facial expression recognition using CNN (Convolutional Neural Network), one of the deep learning technologies. The proposed structure has general classification performance for any environment or subject. For this purpose, we collect a variety of databases and organize the database into six expression classes such as 'expressionless', 'happy', 'sad', 'angry', 'surprised' and 'disgusted'. Pre-processing and data augmentation techniques are applied to improve training efficiency and classification performance. In the existing CNN structure, the optimal structure that best expresses the features of six facial expressions is found by adjusting the number of feature maps of the convolutional layer and the number of nodes of fully-connected layer. The experimental results show good classification performance compared to the state-of-the-arts in experiments of the cross validation and the cross database. Also, compared to other conventional models, it is confirmed that the proposed structure is superior in classification performance with less execution time.