• 한국멀티미디어학회논문지
• /
• 제22권12호
• /
• pp.1415-1429
• /
• 2019

Nowadays object tracking process becoming one of the most challenging task in Computer Vision filed. A CSR-DCF (channel spatial reliability-discriminative correlation filter) tracking algorithm have been proposed on recent tracking benchmark that could achieve stat-of-the-art performance where channel spatial reliability concepts to DCF tracking and provide a novel learning algorithm for its efficient and seamless integration in the filter update and the tracking process with only two simple standard features, HoGs and Color names. However, there are some cases where this method cannot track properly, like overlapping, occlusions, motion blur, changing appearance, environmental variations and so on. To overcome that kind of complications a new modified version of CSR-DCF algorithm has been proposed by integrating deep learning based object detection and CSRT tracker which implemented in OpenCV library. As an object detection model, according to the comparable result of object detection methods and by reason of high efficiency and celerity of Faster RCNN (Region-based Convolutional Neural Network) has been used, and combined with CSRT tracker, which demonstrated outstanding real-time detection and tracking performance. The results indicate that the trained object detection model integration with tracking algorithm gives better outcomes rather than using tracking algorithm or filter itself.

• 정보교육학회논문지
• /
• 제25권5호
• /
• pp.813-824
• /
• 2021

A사이버교육시스템 성인학습자의 자기조절학습 관련 학습 추이를 분석하여 교육 성과를 높이기 위해 인공지능을 활용한 알고리즘 모델을 다양하게 설계하고, 그것을 실제 데이터에 적용함으로써 성능을 평가하였다. 이를 위해 A사이버교육시스템에서 115명의 성인학습자의 로그 데이터를 분석하였다. A사이버교육시스템 성인학습자들은 대부분 권장 학습 시간 이상을 학습하였으나, 학기 말에는 권장 학습 시간 대비 실제 학습 시간이 현저하게 감소하였다. VOD 참여율이나 형성평가 참여율, 학습 활동 참여율에서도 학습 후반부에 접어들수록 학습 참여율이 떨어졌다. 따라서 교육 성과를 높이려면 학습 시간이 후반에도 지속될 수 있도록 지원해야 한다 판단하여 후반부에 학습 시간이 떨어지는 학습자를 찾아내기 위해 Tensorflow를 활용한 인공지능 모델을 개발하여 수강 시작 날짜별 학습 시간을 예측하였다. 그 결과, CNN 모델을 활용하여 단일 출력 또는 다중 출력을 예측할 경우 다른 모델에 비해 평균 절대 오차가 가장 낮게 나타났다.

• 한국정보통신학회논문지
• /
• 제24권3호
• /
• pp.384-390
• /
• 2020

영화나 VR 콘텐츠 제작 시 음향에 잔향 효과를 주는 것은 현장감과 생동감을 느끼게 하는데 매우 중요한 요소이다. 공간에 따른 음향의 잔향 시간은 RT60(Reverberation Time 60dB)이라는 표준에서 권고된다. 본 논문에서는 음향 편집 시 자동 잔향 편집을 위한 장면 인식 기법을 제안한다. 이를 위해 컬러 이미지와 예측된 깊이 이미지를 동일한 모델에 독립적으로 학습하는 분류 모델을 설계하였다. 실내 장면 분류는 내부 구조가 유사한 클래스가 존재하여 컬러 정보 학습만으로는 인식률의 한계가 존재한다. 공간의 깊이 정보를 사용하기 위해 딥러닝 기반의 깊이 정보 추출 기술을 사용하였다. RT60을 기반으로 총 10개의 장면 클래스를 구성하고 모델 학습 및 평가를 진행하였다. 최종적으로 제안하는 SCR+DNet(Scene Classification for Reverb＋Depth Net) 분류기는 92.4%의 정확도로 기존의 CNN 분류기들보다 더 높은 성능을 달성하였다.

• Journal of Platform Technology
• /
• 제8권1호
• /
• pp.16-23
• /
• 2020

상표권 보호를 위한 상표 이미지의 진위 결정에 심층 신경망인 합성곱 신경망을 이용할 수 있다. 이를 위해, 상표로 등록되어 있는 한 장의 상표 이미지를 반복적으로 학습하는 것은 기계학습의 성능을 감소시키는 원인이 된다. 따라서, 이러한 응용에서 학습 데이터는 다양한 방법으로 생성된다. 하지만 대상 이미지가 회전되어 있으면 원본이라 하더라도 인식하지 못하거나 위조 상표로 분류되기도 한다. 본 논문에서는 회전한 상표 이미지의 진위 결정을 위한 기계학습 데이터의 확장 방법을 제안한다. 본 논문에서 제안하는 학습 데이터 확장 방법은 기울어진 이미지를 생성하고 이를 학습 데이터로 사용하는 것이다. 본 논문에서 제안하는 학습 데이터 확장 방법의 유효성 검증을 위해 대학의 로고를 대상으로 학습 데이터를 생성하였으며, 이를 활용하여 합성곱 신경망을 학습시킨 후 검증용 데이터를 이용하여 정확도를 평가하였다. 정확도 평가 결과에 따르면 본 논문에서 제안한 방법으로 생성한 학습 데이터를 활용하면 회전한 상표를 대상으로 한 진위 여부 결정에 합성곱 신경망을 활용할 수 있다.

• 한국멀티미디어학회논문지
• /
• 제24권8호
• /
• pp.979-987
• /
• 2021

Multiple Sclerosis (MS) can be early diagnosed by detecting lesions in brain magnetic resonance images (MRI). Unsupervised anomaly detection methods based on autoencoder have been recently proposed for automated detection of MS lesions. However, these autoencoder-based methods were developed only for 2D images (e.g. 2D cross-sectional slices) of MRI, so do not utilize the full 3D information of MRI. In this paper, therefore, we propose a novel 3D autoencoder-based framework for detection of the lesion volume of MS in MRI. We first define a 3D convolutional neural network (CNN) for full MRI volumes, and build each encoder and decoder layer of the 3D autoencoder based on 3D CNN. We also add a skip connection between the encoder and decoder layer for effective data reconstruction. In the experimental results, we compare the 3D autoencoder-based method with the 2D autoencoder models using the training datasets of 80 healthy subjects from the Human Connectome Project (HCP) and the testing datasets of 25 MS patients from the Longitudinal multiple sclerosis lesion segmentation challenge, and show that the proposed method achieves superior performance in prediction of MS lesion by up to 15%.

• 한국전자통신학회논문지
• /
• 제16권6호
• /
• pp.1355-1362
• /
• 2021

최근 선천적 청각장애 뿐만 아니라 후천적 요인으로 인해 청각장애를 가지게 되는 사람들도 증가하고 있지만, 수어를 익힐 수 있는 환경은 열악한 상황이다. 이에 본 연구에서는 수어를 배우는 수어 학습자를 위한 수어학습 보조도구로써 수어(지숫자/지문자) 평가 시스템을 제시하고자 한다. 이에 본 논문에서는 OpenCV 라이브러와 MediaPipe를 이용하여 손과 손가락을 추적하여 수어 동작을 인식하고 CNN기법을 이용하여 수어의 의미를 텍스트 형태의 데이터로 변환하여 학습자에게 제공하는 시스템을 연구한다. 이를 통해 수어를 배우는 학습자가 스스로 올바른 수형인지를 판단할 수 있도록 자기주도학습을 가능하게 하여 수어를 익히는데 도움이 되는 수어학습보조 시스템을 개발하고, 청각장애인들의 의사소통의 주언어인 수어학습을 지원하기 위한 방안으로 수어학습보조 시스템을 제안하는 데 목적이 있다.

• 대한의용생체공학회:의공학회지
• /
• 제43권5호
• /
• pp.361-368
• /
• 2022

The purpose of this study was to develop a hand rehabilitation training system for hemiplegic patients. We also tried to find out five hand postures (WF: Wrist Flexion, WE: Wrist Extension, BG: Ball Grip, HG: Hook Grip, RE: Rest) in real-time using multi-channel EMG-based deep learning. We performed a pre-processing method that converts to Spider Chart image data for the classification of hand movement from five test subjects (total 1,500 data sets) using Convolution Neural Networks (CNN) deep learning with an 8-channel armband. As a result of this study, the recognition accuracy was 92% for WF, 94% for WE, 76% for BG, 82% for HG, and 88% for RE. Also, ten physical therapists participated for the usability evaluation. The questionnaire consisted of 7 items of acceptance, interest, and satisfaction, and the mean and standard deviation were calculated by dividing each into a 5-point scale. As a result, high scores were obtained in immersion and interest in game (4.6±0.43), convenience of the device (4.9±0.30), and satisfaction after treatment (4.1±0.48). On the other hand, Conformity of intention for treatment (3.90±0.49) was relatively low. This is thought to be because the game play may be difficult depending on the degree of spasticity of the hemiplegic patient, and compensation may occur in patient with weakened target muscles. Therefore, it is necessary to develop a rehabilitation program suitable for the degree of disability of the patient.

• 정보보호학회논문지
• /
• 제32권5호
• /
• pp.881-890
• /
• 2022

다양한 장소에서 드론이 활발하게 이용되면서 비행금지구역 내 불법 침입, 정보 유출, 항공기 충돌 등의 위험이 증가하고 있다. 이러한 위험을 줄이기 위해 비행금지구역으로 침입하는 드론을 탐지할 수 있는 시스템 구축이 필요하다. 기존의 드론 음향 탐지 연구는 탐지 모델에 환경 소음에 노출된 드론 음향을 그대로 학습시켰기 때문에 환경 소음에 독립적인 성능을 얻지 못했다. 이에 본 논문에서는 다양한 공간에서 환경 소음에 노출된 드론 음향을 명확하게 탐지하기 위해 주변 환경 소음을 별도로 수집하고, 드론 음향 신호에서 환경 소음을 제거하여 시끄러운 환경 속에서도 견고한 성능을 나타내는 범용적인 드론 탐지 시스템을 제안한다. 제안하는 시스템은 수집한 드론 음향 신호에서 환경 소음을 제거한 후 Mel Spectrogram 특성추출과 CNN 딥러닝을 이용하여 드론 존재 여부를 예측하였다. 실험 결과, 환경 소음으로 인해 감소했던 드론 탐지 성능을 7% 이상 향상시킴을 확인하였다.

• 한국농공학회논문집
• /
• 제64권3호
• /
• pp.63-73
• /
• 2022

A more accurate understanding of the irrigation water supply is necessary for efficient agricultural water management. Although we measure water levels in an irrigation canal using ultrasonic water level gauges, some errors occur due to malfunctions or the surrounding environment. This study aims to apply CNN (Convolutional Neural Network) Deep-learning-based image classification and segmentation models to the irrigation canal's CCTV (Closed-Circuit Television) images. The CCTV images were acquired from the irrigation canal of the agricultural reservoir in Cheorwon-gun, Gangwon-do. We used the ResNet-50 model for the image classification model and the U-Net model for the image segmentation model. Using the Natural Breaks algorithm, we divided water level data into 2, 4, and 8 groups for image classification models. The classification models of 2, 4, and 8 groups showed the accuracy of 1.000, 0.987, and 0.634, respectively. The image segmentation model showed a Dice score of 0.998 and predicted water levels showed R² of 0.97 and MAE (Mean Absolute Error) of 0.02 m. The image classification models can be applied to the automatic gate-controller at four divisions of water levels. Also, the image segmentation model results can be applied to the alternative measurement for ultrasonic water gauges. We expect that the results of this study can provide a more scientific and efficient approach for agricultural water management.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제10권12호
• /
• pp.561-568
• /
• 2021

최근 자율주행에 관한 기술은 고부가가치 신기술로서 주목받고 있으며 활발히 연구가 진행되고 있는 분야이다. 상용화 가능한 자율주행을 위해서는 실시간으로 정확하게 진입하는 객체를 탐지하고 이동속도를 추정해야 한다. CNN(Convolutional Neural Network) 기반 딥러닝 알고리즘과 밀집광학흐름(Dense Optical Flow)을 사용하는 기존 방식은 실행 속도가 느려 실시간으로 객체를 탐지하고 이동속도를 추정하기에는 한계가 존재한다. 본 논문에서는 트램에 설치된 카메라를 통해 획득된 주행영상에서 딥러닝 알고리즘인 YOLOv5 알고리즘을 활용하여 실시간으로 객체를 탐지를 수행하고, 탐지된 객체영역에서 기존의 밀집광학흐름(Dense Optical Flow) 대신 연산량을 개선한 부분 밀집광학흐름(Local Dense Optical Flow)을 사용하여 객체의 진행 방향과 속력을 빠르게 추정하는 방식을 제안한다. 이를 바탕으로 충돌 시간과 충돌 지점을 예측할 수 있는 모델을 설계하였으며, 이를 통해 트램(Tram)의 주행 중 전방 충돌사고를 방지할 수 있는 시스템에 적용하고자 한다.