• 디지털콘텐츠학회 논문지
• /
• 제18권5호
• /
• pp.969-976
• /
• 2017

본 논문에서는 최적화 알고리즘으로 개발된 WFSO(Water Flowing and Shaking Optimization) 알고리즘을 사용한 인공신경망 과합성공 신경망의 학습 방법을 제안한다. 최적화 알고리즘은 다수의 후보 해를 기반으로 탐색해 나가기 때문에 일반적으로 속도가 느린 단점이 있으나 지역 최소값에 거의 빠지지 않고 병렬화가 용이하며 미분 불가능한 활성화함수를 갖는 인공신경망 학습도 가능하고 구조와 가중치를 동시에 최적화 할 수 있는 장점이 있다. 본 논문에서는 WFSO 알고리즘을 인공신경망 학습에 적용하는 방법을 설명하고 다층 인공신경망과 합성곱 신경망에서 오류역전파 알고리즘과 성능을 비교한다.

• 대한토목학회논문집
• /
• 제43권4호
• /
• pp.511-523
• /
• 2023

철근콘크리트 손상 감지를 위한 무인항공기와 딥러닝 연계에 대한 연구가 활발히 진행 중이다. 컨볼루션 신경망은 객체 분류, 검출, 분할 모델의 백본으로 모델 성능에 높은 영향을 준다. 사전학습 컨볼루션 신경망인 모바일넷은 적은 연산량으로 충분한 정확도가 확보 될 수 있어 무인항공기 기반 실시간 손상 감지 백본으로 효율적이다. 바닐라 컨볼루션 신경망과 모바일넷을 분석 한 결과 모바일넷이 바닐라 컨볼루션 신경망의 15.9~22.9% 수준의 낮은 연산량으로도 6.0~9.0% 높은 검증 정확도를 가지는 것으로 평가되었다. 모바일넷V2, 모바일넷V3Large, 모바일넷 V3Small은 거의 동일한 최대 검증 정확도를 가지는 것으로 나타났으며 모바일넷의 철근콘트리트 손상 이미지 특성 추출 최적 조건은 옵티마이저 RMSprop, 드롭아웃 미적용, 평균풀링인 것으로 분석되었다. 본 연구에서 도출된 모바일넷V2 기반 7가지 손상 감지 최대 검증 정확도 75.49%는 이미지 축적과 지속적 학습으로 향상 될 수 있다.

• Asia pacific journal of information systems
• /
• 제29권4호
• /
• pp.771-788
• /
• 2019

Deep learning techniques such as Convolutional Neural Networks (CNNs) and Recurrent Neural Networks (RNNs) show superior performance in text classification than traditional approaches such as Support Vector Machines (SVMs) and Naïve Bayesian approaches. When using CNNs for text classification tasks, word embedding or character embedding is a step to transform words or characters to fixed size vectors before feeding them into convolutional layers. In this paper, we propose a parallel word-level and character-level embedding approach in CNNs for text classification. The proposed approach can capture word-level and character-level patterns concurrently in CNNs. To show the usefulness of proposed approach, we perform experiments with two English and three Korean text datasets. The experimental results show that character-level embedding works better in Korean and word-level embedding performs well in English. Also the experimental results reveal that the proposed approach provides better performance than traditional CNNs with word-level embedding or character-level embedding in both Korean and English documents. From more detail investigation, we find that the proposed approach tends to perform better when there is relatively small amount of data comparing to the traditional embedding approaches.

• 한국정보통신학회논문지
• /
• 제22권1호
• /
• pp.1-8
• /
• 2018

최근 합성곱 신경망은 컴퓨터 비전에 관련된 여러 분야에서 높은 성능을 보여 주고 있으나 합성곱 신경망이 요구하는 많은 연산양은 임베디드 환경에 도입되는 것을 어렵게 하고 있다. 이를 해결하기 위해 ASIC이나 FPGA를 통한 합성곱 신경망의 구현에 많은 관심이 모이고 있고, 이러한 구현을 위해서는 효율적인 고정 소수점 표현이 필요하다. 고정 소수점 표현은 ASIC이나 FPGA에서의 구현에 적합하나 합성곱 신경망의 성능이 저하될 수 있는 문제가 있다. 이 논문에서는 합성곱 계층과 배치(batch) 정규화 계층에 대해 고정 소수점 표현을 분리해서, ResNet-50 합성곱 신경망의 합성곱 계층을 표현하기 위해 필요한 비트 수를 16비트에서 10비트로 줄일 수 있게 하였다. 연산이 집중되는 합성곱 계층이 더 간단하게 표현되므로 합성곱 신경망 구현이 전체적으로 더 효율적으로 될 것이다.

• 방송공학회논문지
• /
• 제24권6호
• /
• pp.1113-1121
• /
• 2019

본 논문에서는 얼굴의 밝기와 색상 정보를 함께 이용한 합성곱 신경망 기반의 얼굴 위변조 검출 방법을 제안한다. 제안하는 방법은 적층된 합성곱 신경망과 보조 신경망을 이용하여 실제 얼굴과 위변조된 얼굴의 밝기 특징과 색상 특징을 독립적으로 추출한다. 기존의 방법과는 달리, 본 논문에서는 추출된 특징을 단순 결합(Concatenation)하는 것이 아니라 주의 모듈(Attention Module)을 이용하여 적응적(Adaptively)으로 조합할 수 있도록 하였다. 또한, 효과적인 분류기 학습을 위하여 대비 손실함수(Contrast Loss Function)를 새롭게 제안하였는데, 대비 손실함수는 동일 클래스 내의 특징 간의 차이는 최소화 시키고 서로 다른 클래스의 특징 간의 차이는 최대화 시킴으로써 특징의 분별력을 높인다. 다양한 실험을 통해 본 논문에서 제안하는 방법이 기존 얼굴 위변조 검출 방법 대비 개선된 성능을 보임을 확인하고 그 결과를 분석한다.

• 한국IT서비스학회지
• /
• 제16권4호
• /
• pp.149-160
• /
• 2017

Sentiment analysis is the process of determining whether a piece of document, text or conversation is positive, negative, neural or other emotion. Sentiment analysis has been applied for several real-world applications, such as chatbot. In the last five years, the practical use of the chatbot has been prevailing in many field of industry. In the chatbot applications, to recognize the user emotion, sentiment analysis must be performed in advance in order to understand the intent of speakers. The specific emotion is more than describing positive or negative sentences. In light of this context, we propose deep learning models for conducting multi-class sentiment analysis for identifying speaker's emotion which is categorized to be joy, fear, guilt, sad, shame, disgust, and anger. Thus, we develop convolutional neural network (CNN), long short term memory (LSTM), and multi-layer neural network models, as deep neural networks models, for detecting emotion in a sentence. In addition, word embedding process was also applied in our research. In our experiments, we have found that long short term memory (LSTM) model performs best compared to convolutional neural networks and multi-layer neural networks. Moreover, we also show the practical applicability of the deep learning models to the sentiment analysis for chatbot.

• 한국산업정보학회논문지
• /
• 제25권4호
• /
• pp.29-38
• /
• 2020

본 논문에서는 다중 레이블 콘볼루션 신경회로망(Multi-label Convolution Neural Networks)을 이용하는 능동펄스 식별 알고리즘을 제안한다. 제안하는 기법은 기존의 단일 레이블 기반 알고리즘이 여러 개의 신경회로망 구조로 되어 있던 것과 달리 하나의 신경회로망 구조로 능동펄스의 정보를 한번에 획득할 수 있으며, 학습과정 역시 간편해지는 장점이 있다. 제안한 능동펄스 식별 알고리즘을 검증하기 위해서 해상실험 데이터를 이용하여 신경회로망을 학습시키고 성능을 분석하였다. 분석결과 제안한 능동펄스 식별 알고리즘이 수렴하는 것을 확인하였으며, 오차행렬(Confusion Matrix) 분석을 통하여 우수한 능동펄스 식별성능을 가지는 것을 확인하였다.

• 농업과학연구
• /
• 제50권3호
• /
• pp.357-364
• /
• 2023

In this study, we propose a ripe tomato bunch localization method based on convolutional neural networks, to be applied in robotic harvesting systems. Tomato images were obtained from a smart greenhouse at the Rural Development Administration (RDA). The sample images for training were extracted based on tomato maturity and resized to 128 × 128 pixels for use in the classification model. The model was constructed based on four-layer convolutional neural networks, and the classes were determined based on stage of maturity, using a Softmax classifier. The localization of the ripe tomato bunch region was indicated on a class activation map. The class activation map could show the approximate location of the tomato bunch but tends to present a local part or a large part of the ripe tomato bunch region, which could lead to poor performance. Therefore, we suggest a recursive method to improve the performance of the model. The classification results indicated that the accuracy, precision, recall, and F1-score were 0.98, 0.87, 0.98, and 0.92, respectively. The localization performance was 0.52, estimated by the Intersection over Union (IoU), and through input recursion, the IoU was improved by 13%. Based on the results, the proposed localization of the ripe tomato bunch area can be incorporated in robotic harvesting systems to establish the optimal harvesting paths.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2018년도 추계학술대회
• /
• pp.11-14
• /
• 2018

The aim of this study is to rectify the misclassified image features and enhance the performance of image classification tasks by incorporating a channel- coding technique, widely used in telecommunication. Specifically, the proposed algorithm employs the error - correcting mechanism of convolutional coding combined with the convolutional neural networks (CNNs) that are the state - of- the- arts image classifier s. We develop an encoder and a decoder to employ the error - correcting capability of the convolutional coding. In the encoder, the label values of the image data are converted to convolutional codes that are used as target outputs of the CNN, and the network is trained to minimize the Euclidean distance between the target output codes and the actual output codes. In order to correct misclassified features, the outputs of the network are decoded through the trellis structure with Viterbi algorithm before determining the final prediction. This paper demonstrates that the proposed architecture advances the performance of the neural networks compared to the traditional one- hot encoding method.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2021년도 제63차 동계학술대회논문집 29권1호
• /
• pp.17-19
• /
• 2021

본 논문에서는 코로나19 사태에 대비하여 실시간으로 마스크를 제대로 쓴 사람과 제대로 쓰지 않은 사람을 구분하는 시스템을 제안한다. 이 시스템을 사용하기 위하여 모델 학습 시에 합성곱 신경망(CNN : Convolutional Neural Networks)를 사용한다. 학습된 모델을 토대로 영상에 적용 시 하르 특징 분류기(Haar Cascade Classifier)로 얼굴을 탐지하여 마스크 여부를 판단한다.