• Journal of Information Processing Systems
• /
• 제16권1호
• /
• pp.224-237
• /
• 2020

Recognition of banknote serial number is one of the important functions for intelligent banknote counter implementation and can be used for various purposes. However, the previous character recognition method is limited to use due to the font type of the banknote serial number, the variation problem by the solid status, and the recognition speed issue. In this paper, we propose an aspect ratio based character region segmentation and a convolutional neural network (CNN) based banknote serial number recognition method. In order to detect the character region, the character area is determined based on the aspect ratio of each character in the serial number candidate area after the banknote area detection and de-skewing process is performed. Then, we designed and compared four types of CNN models and determined the best model for serial number recognition. Experimental results showed that the recognition accuracy of each character was 99.85%. In addition, it was confirmed that the recognition performance is improved as a result of performing data augmentation. The banknote used in the experiment is Indian rupee, which is badly soiled and the font of characters is unusual, therefore it can be regarded to have good performance. Recognition speed was also enough to run in real time on a device that counts 800 banknotes per minute.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제13권5호
• /
• pp.2558-2573
• /
• 2019

We present a deep CNN-based approach for classifying artistic media from artwork images. We aim to classify most frequently used artistic media including oilpaint brush, watercolor brush, pencil and pastel, etc. For this purpose, we extend VGGNet, one of the most widely used CNN structure, by substituting its last layer with a fully convolutional layer, which reveals class activation map (CAM), the region of classification. We build two artwork image datasets: YMSet that collects more than 4K artwork images for four most frequently used artistic media from various internet websites and WikiSet that collects almost 9K artwork images for ten most frequently used media from WikiArt. We execute a human baseline experiment to compare the classification performance. Through our experiments, we conclude that our classifier is superior in classifying artistic media to human.

• 한국멀티미디어학회논문지
• /
• 제25권1호
• /
• pp.72-81
• /
• 2022

Visual Object Tracking is known as the most fundamental problem in the field of computer vision. Object tracking localize the region of target object with bounding box in the video. In this paper, a custom CNN is created to extract object feature that has strong and various information. This network was constructed as a Siamese network for use as a feature extractor. The input images are passed convolution block composed of a bottleneck layers, and features are emphasized. The feature map of the target object and the search area, extracted from the Siamese network, was input as a local proposal network. Estimate the object area using the feature map. The performance of the tracking algorithm was evaluated using the OTB2013 dataset. Success Plot and Precision Plot were used as evaluation matrix. As a result of the experiment, 0.611 in Success Plot and 0.831 in Precision Plot were achieved.

• 융합신호처리학회논문지
• /
• 제20권4호
• /
• pp.226-231
• /
• 2019

한방 설진에서 WTCI(Winkel Tongue Coating Index) 설태 평가는 환자의 설태량 측정을 위한 중요한 객관적인 지표 중의 하나이다. 그러나 이전의 WTCI 설태 평가는 혀영상으로부터 설태 부분을 추출하여 전체 혀 영역에서 추출된 설태 영역의 비율을 정량적으로 측정하는 방법이 대부분으로 혀영상의 촬영 조건이나 설태 인식 성능에 의해서 비객관적 측정의 문제점이 있었다. 따라서 본 논문에서는 빅데이터를 기반으로 하는 인공지능의 딥러닝 방법을 적용하여 설태량을 분류하여 평가하는 딥러닝 기반의 WTCI 평가 방법을 제안하고 검증한다. 설태 평가 방법에 있어서 딥러닝의 유효성 검증을 위해서는 CNN을 학습 모델로 사용하여 소태, 박태, 후태의 3가지 유형의 설태량을 분류한다. 설태 샘플 영상을 학습 및 검증 데이터로 구축하여 CNN 기반의 딥러닝 모델로 학습한 결과 96.7%의 설태량 분류 정확성을 보였다.

• 한국전기전자재료학회논문지
• /
• 제33권3호
• /
• pp.239-244
• /
• 2020

This study examines the feasibility of the image deep learning method using convolution neural networks (CNNs) to maintain a porcelain insulator. Data augmentation is performed to prevent over-fitting, and the classification performance is evaluated by training the age, material, region, and pollution level of the insulator using image data in which the background and labelling are removed. Based on the results, it was difficult to predict the age, but it was possible to classify 76% of the materials, 60% of the pollution level, and more than 90% of the regions. From the results of this study, we identified the potential and limitations of the CNN classification for the four groups currently classified. However, it was possible to detect discoloration of the porcelain insulator resulting from physical, chemical, and climatic factors. Based on this, it will be possible to estimate the corrosion of the cap and discoloration of the porcelain caused by environmental deterioration, abnormal voltage, and lightning.

• 한국멀티미디어학회논문지
• /
• 제22권1호
• /
• pp.44-54
• /
• 2019

Recently, image-based object detection has made great progress with the introduction of Convolutional Neural Network (CNN). Many trials such as Region-based CNN, Fast R-CNN, and Faster R-CNN, have been proposed for achieving better performance in object detection. YOLO has showed the best performance under consideration of both accuracy and computational complexity. However, these data-driven detection methods including YOLO have the fundamental problem is that they can not guarantee the good performance without a large number of training database. In this paper, we propose a data sampling method using CycleGAN to solve this problem, which can convert styles while retaining the characteristics of a given input image. We will generate the insufficient data samples for training more robust object detection without efforts of collecting more database. We make extensive experimental results using the day-time and night-time road images and we validate the proposed method can improve the object detection accuracy of the night-time without training night-time object databases, because we converts the day-time training images into the synthesized night-time images and we train the detection model with the real day-time images and the synthesized night-time images.

• 한국산학기술학회논문지
• /
• 제21권8호
• /
• pp.395-400
• /
• 2020

전 세계적으로 유행하며 수많은 확진자와 사망자를 발생시킨 코로나바이러스-19(COVID-19)는 일상에서 사람 간 전염이 가능하여 국민들을 불안과 공포에 떨게 하고 있다. 감염을 최소화하기 위해서는 건물 출입시 마스크 착용이 필수적이지만 일부 사람들은 여전히 마스크 없이 얼굴을 노출시킨 채 건물에 출입하고 있다. 본 논문에서는 효율적인 출입 통제를 위해 얼굴에 마스크를 착용했는지 여부를 자동으로 판별하는 방법을 제안한다. 제안 방법은 양쪽 눈 영역을 검출하고 눈 위치를 참조하여 마스크 착용 영역(양쪽 눈 아래 얼굴 영역)을 예측한다. 이 때 마스크 착용 영역을 보다 정확히 예측하기 위해 양쪽 눈 위치가 수평이 되도록 얼굴 영역을 회전하여 정렬한다. 정렬된 얼굴 영역에서 추출된 마스크 착용 영역은 이미지 분석에 특화된 딥러닝 기법인 CNN(Convolutional neural network)을 통해 마스크 착용 여부(착용 또는 미착용)를 최종 판별한다. 총 186장의 테스트 이미지에 대해 실험한 결과, 98.4%의 판별 정확도를 보였다.

• 지능정보연구
• /
• 제27권3호
• /
• pp.139-156
• /
• 2021

이미지 분류에서 딥러닝 모형을 사용하는 가장 큰 이유는 이미지의 전체적인 정보에서 각 지역 특징을 추출하여 서로의 관계를 고려할 수 있기 때문이다. 하지만 이미지의 지역 특징이 없는 감정 이미지 데이터는 CNN 모델이 적합하지 않을 수 있다. 이러한 감정 이미지 분류의 어려움을 해결하기 위하여 매년 많은 연구자들이 감정 이미지에 적합한 CNN기반 아키텍처를 제시하고 있다. 색깔과 사람 감정간의 관계에 대한 연구들도 수행되었으며, 색깔에 따라 다른 감정이 유도된다는 결과들이 도출되었다. 딥러닝을 활용한 연구에서도 색깔정보를 활용하여 이미지 감성분류에 적용하는 연구들이 있어왔으며, 이미지만을 가지고 분류 모형을 학습한 경우보다 이미지의 색깔 정보를 추가로 활용한 경우가 이미지 감성 분류 정확도를 더 높일 수 있었다. 본 연구는 사람이 이미지의 감정을 분류하는 기준 중 많은 부분을 차지하는 색감을 이용하여 이미지 감성 분류 정확도를 향상시키는 방안을 제안한다. 이미지의 RGB 값에 K 평균 군집화 방안을 적용하여 이미지를 대표하는 색을 추출하여, 각 감성 클래스 별 해당 색깔이 나올 확률을 가중치 식으로 변형 후 CNN 모델의 최종 Layer에 적용하는 이-단계 학습방안을 구현하였다. 이미지 데이터는 6가지 감정으로 분류되는 Emotion6와 8가지 감정으로 분류되는 Artphoto를 사용하였다. 학습에 사용한 CNN 모델은 Densenet169, Mnasnet, Resnet101, Resnet152, Vgg19를 사용하였으며, 성능 평가는 5겹 교차검증으로 CNN 모델에 이-단계 학습 방안을 적용하여 전후 성과를 비교하였다. CNN 아키텍처만을 활용한 경우보다 색 속성에서 추출한 정보를 함께 사용하였을 때 더 좋은 분류 정확도를 보였다.

• 한국ITS학회 논문지
• /
• 제18권2호
• /
• pp.104-113
• /
• 2019

도로 관리 주체는 도로 파손을 보수하기 위해 적지 않은 비용을 투입한다. 이러한 파손은 자연 요인과 노후화로 인하여 필연적으로 발생을 하는데, 효율적인 보수를 위한 유지보수 기술이 필요하다. 이런 수요에 대응하기 위해 여러 가지 기술들이 개발되고 적용되고 있지만, 최근 들어서는 차량용 블랙박스 형태로 수집한 영상 정보를 바탕으로 도로 노면 파손 유지 보수기술이 개발되고 있다. 이 파손 영역을 추출하는 방법에는 여러 가지가 있지만, 본 논문에서는 최근 활발히 연구되고 있는 심층 신경망 구조의 영상인식 기술에 대해 논하고자 한다. 특히 영역 기반의 합성곱 알고리즘을 이용하여 영상 내에서 도로 파손 유무와 그 영역을 추정할 수 있는 새로운 심층 신경망을 소개한다. 이를 개발하기 위해 실제 주행을 통해서 600여장의 영상 데이터를 수집하였고, 이를 활용하여 학습을 수행하였다. 그 결과 기존 모델과 성능을 비교하여 10.67% 향상된 신경망을 개발하였다.

• 한국멀티미디어학회논문지
• /
• 제25권2호
• /
• pp.247-256
• /
• 2022

Visual tracking of selected target objects is fundamental challenging problems in computer vision. Object tracking localize the region of target object with bounding box in the video. We propose a Siam-FPN based custom fully CNN to solve visual tracking problems by regressing the target area in an end-to-end manner. A method of preserving the feature information flow using a feature map connection structure was applied. In this way, information is preserved and emphasized across the network. To regress object region and to classify object, the region proposal network was connected with the Siamese network. The performance of the tracking algorithm was evaluated using the OTB-100 dataset. Success Plot and Precision Plot were used as evaluation matrix. As a result of the experiment, 0.621 in Success Plot and 0.838 in Precision Plot were achieved.