• Journal of Information Processing Systems
• /
• 제17권4호
• /
• pp.818-833
• /
• 2021

To address the problems of low precision rate, insufficient feature extraction, and poor contextual ability in existing text sentiment analysis methods, a mixed model account of a CNN-BiLSTM-TE (convolutional neural network, bidirectional long short-term memory, and topic extraction) model was proposed. First, Chinese text data was converted into vectors through the method of transfer learning by Word2Vec. Second, local features were extracted by the CNN model. Then, contextual information was extracted by the BiLSTM neural network and the emotional tendency was obtained using softmax. Finally, topics were extracted by the term frequency-inverse document frequency and K-means. Compared with the CNN, BiLSTM, and gate recurrent unit (GRU) models, the CNN-BiLSTM-TE model's F1-score was higher than other models by 0.0147, 0.006, and 0.0052, respectively. Then compared with CNN-LSTM, LSTM-CNN, and BiLSTM-CNN models, the F1-score was higher by 0.0071, 0.0038, and 0.0049, respectively. Experimental results showed that the CNN-BiLSTM-TE model can effectively improve various indicators in application. Lastly, performed scalability verification through a takeaway dataset, which has great value in practical applications.

• 대한원격탐사학회지
• /
• 제34권5호
• /
• pp.811-827
• /
• 2018

본 연구의 목적은 다중시기 원격탐사 자료를 이용한 작물분류에서 기계학습 알고리즘과 딥러닝 알고리즘의 비교에 있다. 이를 위해 전라남도 해남군과 미국 Illinois 주의 작물 재배지를 대상으로 기계학습 알고리즘과 딥러닝 알고리즘에 대해 (1) 하이퍼파라미터와 (2) 훈련자료의 크기에 따른 영향을 비교 분석하였다. 비교 실험에는 기계학습 알고리즘으로 support vector machine(SVM)을 적용하고 딥러닝 알고리즘으로 convolutional neural network(CNN)를 적용하였다. 특히 CNN에서 2차원의 공간정보를 고려하는 2D-CNN과 시간차원을 확장한 구조의 3D-CNN을 적용하였다. 비교 실험 결과, 다양한 하이퍼파라미터를 고려해야 하는 CNN의 경우 SVM과 다르게 두 지역에서 정의된 하이퍼파라미터 값이 유사한 것으로 나타났다. 이러한 결과를 바탕으로 모델 최적화에 많은 시간이 소요되지만 최적화된 CNN 모델을 다른 지역으로 확장할 수 있는 전이학습의 적용 가능성이 높을 것으로 판단된다. 다음 훈련자료 크기에 따른 비교 실험 결과, SVM 보다 CNN에서 훈련자료 크기의 영향이 큰 것으로 나타났는데 특히 다양한 공간특성을 갖는 Illinois 주에서 이러한 경향이 두드러지게 나타났다. 또한 Illinois 주에서 3D-CNN의 분류 성능이 저하되는 것으로 나타났는데, 이는 모델 복잡도가 증가하면서 과적합의 영향이 발생한 것으로 판단된다. 즉 모델의 훈련 정확도는 높지만 다양한 공간특성이나 입력 자료의 잡음 효과 등으로 오히려 분류 성능이 저하된 것으로 나타났다. 이러한 결과는 대상 지역의 공간특성을 고려해 적절한 분류 알고리즘을 선택해야 하는 것을 의미한다. 또한 CNN에서 특히, 3D-CNN에서 일정 수준의 분류 성능을 담보하기 위해 다량의 훈련자료 수집이 필요하다는 것을 의미한다.

• 문화기술의 융합
• /
• 제3권4호
• /
• pp.165-169
• /
• 2017

CNN(Convolutional Nerual Network)는 기계학습 알고리즘 중에서도 이미지의 인식과 분류에 뛰어난 성능을 보이는 알고리즘 중 하나이다. CNN의 경우 간단하지만 많은 연산량을 가지고 있어 많은 시간이 소요된다. 따라서 본 논문에서는 CNN 수행과정에서 많은 처리시간이 소모되는 convolution layer와 pooling layer, fully connected layer의 연산수행을 SIMT(Single Instruction Multiple Thread)구조의 GPGPU(General-Purpose computing on Graphics Processing Units)를 통하여 병렬로 연산처리를 수행했다. 또한 convolution layer의 출력을 저장하지 않고 pooling layer의 입력으로 바로 사용함으로 메모리 접근횟수를 줄여 성능 향상을 기대했다. 본 논문에서는 이 실험검증을 위하여 MNIST 데이터 셋을 사용하였고 이를 통하여 제안하는 CNN 구조가 기존의 구조보다 12.38% 더 좋은 성능을 보임을 확인했다.

• 전기전자학회논문지
• /
• 제20권4호
• /
• pp.351-360
• /
• 2016

최근 딥 러닝을 중심으로 빠르게 발전하고 있는 기계학습 분류 알고리즘은 기존의 방법들보다 뛰어난 성능으로 인하여 주목받고 있다. 딥 러닝 중에서도 Convolutional Neural Network(CNN)는 영상처리에 뛰어나 첨단 운전자 보조 시스템(Advanced Driver Assistance System : ADAS)에서 많이 사용되고 있는 추세이다. 하지만 차량용 임베디드 환경에서 CNN을 소프트웨어로 동작시켰을 때는 각 Layer마다 연산이 반복되는 알고리즘의 특성으로 인해 수행시간이 길어져 실시간 처리가 어렵다. 본 논문에서는 임베디드 환경에서 CNN의 실시간 처리를 위하여 Convolution 연산 및 기타 연산들을 병렬로 처리하여 CNN의 속도를 향상시키는 하드웨어 구조를 제안한다. 제안하는 하드웨어의 성능을 검증하기 위하여 Xilinx ZC706 FPGA 보드를 이용하였다. 입력 영상은 $36{\times}36$ 크기이며, 동작주파수 100MHz에서 하드웨어 수행시간은 약 2.812ms로 실시간 처리가 가능함을 확인했다.

• 한국정보통신학회논문지
• /
• 제4권2호
• /
• pp.505-516
• /
• 2000

셀룰러 신경망은 국부적 연결특성을 가지고 있어 실시간 영상처리에 폭넓게 이용되는 비선형 정보처리 시스템이다. 본 논문에서는 소규모의 $CNN(6\time6)$ 셀 블록을 이용하여, 크고 복잡한 처리에 적합한 시다중화 기법을 처리할 수 있는 CNN칩을 설계하였다. 대부분의 출력 형태는 기준 레벨화된 출력에 기인하여 흑백 영상처리에 적합하나, 본 논문의 출력형태는 아날로그 상태값으로 나타나기 때문에 그레이 레벨 영상처리에 적합하다. CNN 칩은 $0.65\mum$ 2P2M N-Well CMOS 공정으로 설계되었으며, 설계된 칩은 15400여개의 트랜지스터로 구성되며 칩면은 $1.85\times1.75m^2$ 이다. 설계된 $6\time6CNN$칩은 그 보다 큰 입력 영상에 대한 윤곽선 검출의 실험을 통하여 회로의 동작을 검증하였다.

• 한국음향학회지
• /
• 제37권1호
• /
• pp.60-65
• /
• 2018

본 논문에서는 양서류 울음소리 구별을 CNN(Convolutional Neural Network)에 적용하기 위한 방법으로 공분산 행렬과 모듈로그램(modulogram)을 제안한다. 먼저, 멸종 위기 종을 포함한 양서류 9종의 울음소리를 자연 환경에서 추출하여 데이터베이스를 구축했다. 구축된 데이터를 CNN에 적용하기 위해서는 길이가 다른 음향신호를 정형화하는 과정이 필요하다. 음향신호를 정형화하기 위해서 분포에 대한 정보를 나타내는 공분산 행렬과 시간에 대한 변화를 내포하는 모듈로그램을 추출하여, CNN의 입력으로 사용했다. CNN은 convolutional layer와 fully-connected layer의 수를 변경해 가며 실험하였다. 추가적으로, CNN의 성능을 비교하기 위해 기존에 음향 신호 분석에서 쓰이는 알고리즘과 비교해보았다. 그 결과, convolutional layer가 fully-connected layer보다 성능에 큰 영향을 끼치는 것을 확인했다. 또한 CNN을 사용하였을 때 99.07 % 인식률로, 기존에 음향분석에 쓰이는 알고리즘 보다 높은 성능을 보인 것을 확인했다.

• 한국정보통신학회논문지
• /
• 제23권1호
• /
• pp.39-46
• /
• 2019

본 연구에서 외래어종 퇴치를 위한 시스템 개발에 앞서 물 안의 어류 이미지를 CNN으로 학습하여 어종을 분류하는 알고리즘을 제안하고자 한다. CNN 학습을 위한 원데이터(raw data)는 각 어종에 대해 직접 촬영한 영상을 사용하였으며, 어종 분류성능을 높이기 위해 영상 이미지의 개수를 늘린 데이터세트 1과 최대한 자연환경과 가까운 영상 이미지를 구현한 데이터세트 2를 구성하여 학습 및 테스트 데이터로 사용하였다. 4가지 CNN의 분류성능은 데이터세트 1에 대해 99.97%, 데이터세트 2에 대해 99.5% 이상을 나타내었으며, 특히 데이터세트 2를 사용하여 학습한 CNNs이 자연환경과 유사한 어류 이미지에 대해서도 만족할 만한 성능을 가짐을 확인하였다. 그리고 4가지 CNN 중 AlexNet이 성능에서도 만족스러운 결과를 도출하였으며, 수행시간과 학습시간 역시 가장 짧아 외래어종 퇴치를 위한 시스템 개발에 가장 적합한 구조임을 확인하였다.

• 지적과 국토정보
• /
• 제48권2호
• /
• pp.213-225
• /
• 2018

3차원 공간정보 구축을 위해 건물 텍스처를 촬영하는 과정에서 폐색영역 문제가 발생한다. 이를 해결하기 위해선 폐색영역을 자동 인식하여 이를 검출하고 텍스처를 자동 보완하는 자동화 기법 연구가 필요하다. 현실적으로 매우 다양한 구조물 형상과 폐색을 발생시키는 경우가 있으므로 이를 극복하는 대안들이 고려되고 있다. 본 연구는 최근 대두되고 있는 딥러닝 기반의 알고리즘을 이용하여 폐색지역 패턴화하고, 학습기반 폐색영역 자동 검출하는 접근을 시도한다. 영상 내 객체 추출에서 우수한 성과를 발표하는 Convolutional Neural Network (CNN) 기법의 향상된 알고리즘인 Faster Region-based Convolutional Network (R-CNN)과 Mask R-CNN 2가지를 이용하여, 건물 벽면 촬영 시 폐색을 유발하는 사람, 현수막, 차량, 신호등에 대한 자동 탐지하는 성능을 알아보기 위해 실험하고, Mask R-CNN의 미리 학습된 모델에 현수막을 학습시켜 자동탐지하는 실험을 통해 적용이 높은 결과를 확인할 수 있었다.

• 한국정보통신학회논문지
• /
• 제23권11호
• /
• pp.1357-1363
• /
• 2019

본 논문은 사람의 중기 염색체로 이루어진 디지털 이미지에서 Faster Region-based Convolutional Neural Network(R-CNN) 모델로 염색체 객체를 검출할 때 필요한 경사 하강 최적화기의 성능을 비교한다. Faster R-CNN의 경사 하강 최적화기는 Region Proposal Network(RPN) 모듈과 분류 점수 및 바운딩 박스 예측 블록의 목적 함수를 최소화하기 위해 사용된다. 실험에서는 이러한 네 가지 경사 하강 최적화기의 성능을 비교하였으며 VGG16이 기본 네트워크인 Faster R-CNN 모델은 Adamax 최적화기가 약 52%의 Mean Average Precision(mAP)를 달성하였고 ResNet50이 기본 네트워크인 Faster R-CNN 모델은 Adadelta 최적화기가 약 58%의 mAP를 달성하였다.

• Journal of Platform Technology
• /
• 제12권2호
• /
• pp.12-22
• /
• 2024

현대 사회에서의 디지털 데이터의 빠른 증가로 디지털 포렌식이 핵심적인 역할을 하고 있으며, 파일 유형 식별은 그 중에서 중요한 부분 중 하나이다. 파일 유형을 빠르고 정확하게 식별하기 위해서 인공지능을 사용한 파일 유형 식별 모델 개발 연구가 진행되고 있다. 그러나 기존 연구들은 일부 국내 점유율이 높은 파일을 식별할 수 없어, 국내에서 사용하기에 부족함이 있다. 따라서 본 논문에서는 CNN과 GRU를 활용한 더욱 정확하고 강력한 파일 유형 식별 모델을 제안한다. 기존 방법의 한계를 극복하기 위해 제안한 모델은 FFT-75 데이터셋에서 가장 우수한 성능을 보이며, 국내에서 높은 점유율을 가지는 HWP, ALZ, EGG와 같은 파일 유형도 효과적으로 식별할 수 있다. 제안한 모델과 세 개의 기존 연구 모델(CNN-CO, FiFTy, CNN-LSTM)을 서로 비교하여 모델 성능을 검증하였다. 최종적으로 CNN과 GRU 기반의 파일 유형 식별 및 분류 모델은 512바이트 파일 조각에서 68.2%의 정확도를, 4096바이트 파일 조각에서는 81.4%의 정확도를 달성하였다.