• 한국컴퓨터정보학회논문지
• /
• 제27권1호
• /
• pp.1-8
• /
• 2022

본 논문에서는 실시간 객체 탐지(Real-time Object Detection)가 가능한 YOLOv4 모델과 DeepSORT 알고리즘을 활용한 객체 추적(Object Tracking) 기술을 활용하여 CCTV 영상 이미지 기반의 화재 탐지 시스템을 제안한다. 화재 탐지 모델은 10800장의 학습용 데이터로부터 학습되었으며 1000장의 별도 테스트 셋을 통해 검증되었다. 이후 DeepSORT 알고리즘을 통해 탐지된 화재 영역을 추적하여 단일 이미지 내의 화재 탐지율과 영상 내에서의 화재 탐지 유지성능을 증가시켰다. 영상 내의 한 프레임 혹은 단일 이미지에 대한 화재 탐지 속도는 장당 0.1초 이내로 실시간 탐지가 가능함을 확인하였으며 본 논문의 AI 화재 탐지 시스템은 기존의 화재 사고 탐지 시스템 보다 안정적이고 빠른 성능을 지니고 있어 화재현장에 적용 시 화재를 조기 발견하여 빠른 대처 및 발화단계에서의 진화가 가능할 것으로 예상된다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제17권4호
• /
• pp.1066-1079
• /
• 2023

Multi-target tracking based on the detector is a very hot and important research topic in target tracking. It mainly includes two closely related processes, namely target detection and target tracking. Where target detection is responsible for detecting the exact position of the target, while target tracking monitors the temporal and spatial changes of the target. With the improvement of the detector, the tracking performance has reached a new level. The problem that always exists in the research of target tracking is the problem that occurs again after the target is occluded during tracking. Based on this question, this paper proposes a DeepSORT model based on SIFT features to improve ship tracking. Unlike previous feature extraction networks, SIFT algorithm does not require the characteristics of pre-training learning objectives and can be used in ship tracking quickly. At the same time, we improve and test the matching method of our model to find a balance between tracking accuracy and tracking speed. Experiments show that the model can get more ideal results.

• 로봇학회논문지
• /
• 제17권2호
• /
• pp.124-132
• /
• 2022

With growth in intelligence of mobile robots, interaction with humans is emerging as a very important issue for mobile robots and the pedestrian tracking technique following the designated person is adopted in many cases in a way that interacts with humans. Among the existing multi-object tracking techniques for pedestrian tracking, Simple Online and Realtime Tracking (SORT) is suitable for small mobile robots that require real-time processing while having limited computational performance. However, SORT fails to reflect changes in object detection values caused by the movement of the mobile robot, resulting in poor tracking performance. In order to solve this performance degradation, this paper proposes a more stable pedestrian tracking algorithm by correcting object tracking errors caused by robot movement in real time using wheel odometry information of a mobile robot and dynamically managing the survival period of the tracker that tracks the object. In addition, the experimental results show that the proposed methodology using data collected from actual mobile robots maintains real-time and has improved tracking accuracy with resistance to the movement of the mobile robot.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제17권3호
• /
• pp.840-860
• /
• 2023

Aiming at the serious occlusion and slow tracking speed in pedestrian target tracking and recognition in complex scenes, a target tracking method based on improved YOLO v5 combined with Deep SORT is proposed. By merging the attention mechanism ECA-Net with the Neck part of the YOLO v5 network, using the CIoU loss function and the method of CIoU non-maximum value suppression, connecting the Deep SORT model using Shuffle Net V2 as the appearance feature extraction network to achieve lightweight and fast speed tracking and the purpose of improving tracking under occlusion. A large number of experiments show that the improved YOLO v5 increases the average precision by 1.3% compared with other algorithms. The improved tracking model, MOTA reaches 54.3% on the MOT17 pedestrian tracking data, and the tracking accuracy is 3.7% higher than the related algorithms and The model presented in this paper improves the FPS by nearly 5 on the fps indicator.

• 대한임베디드공학회논문지
• /
• 제18권3호
• /
• pp.125-132
• /
• 2023

Roundabouts have strengths in traffic flow and safety but can present difficulties for inexperienced drivers. Demand to acquire and analyze drone images has increased to enhance a traffic environment allowing drivers to deal with roundabouts easily. In this paper, we propose a roundabout traffic analysis system that detects, tracks, and analyzes vehicles using a deep learning-based object detection model (YOLOv7) in drone images. About 3600 images for object detection model learning and testing were extracted and labeled from 1 hour of drone video. Through training diverse conditions and evaluating the performance of object detection models, we achieved an average precision (AP) of up to 97.2%. In addition, we utilized SORT (Simple Online and Realtime Tracking) and OC-SORT (Observation-Centric SORT), a real-time object tracking algorithm, which resulted in an average MOTA (Multiple Object Tracking Accuracy) of up to 89.2%. By implementing a method for measuring roundabout entry speed, we achieved an accuracy of 94.5%.

• 스마트미디어저널
• /
• 제11권8호
• /
• pp.84-92
• /
• 2022

Precision livestock monitoring promises greater management efficiency for farmers and higher welfare standards for animals. Recent studies on video-based animal activity recognition and tracking have shown promising solutions for understanding animal behavior. To achieve that, surveillance cameras are installed diagonally above the barn in a typical cattle farm setup to monitor animals constantly. Under these circumstances, tracking individuals requires addressing challenges such as occlusion and visual appearance, which are the main reasons for track breakage and increased misidentification of animals. This paper presents a framework for multi-cattle tracking in closed barns with appearance and motion models. To overcome the above challenges, we modify the DeepSORT algorithm to achieve higher tracking accuracy by three contributions. First, we reduce the weight of appearance information. Second, we use an Ensemble Kalman Filter to predict the random motion information of cattle. Third, we propose a supplementary matching algorithm that compares the absolute cattle position in the barn to reassign lost tracks. The main idea of the matching algorithm assumes that the number of cattle is fixed in the barn, so the edge of the barn is where new trajectories are most likely to emerge. Experimental results are performed on our dataset collected on two cattle farms. Our algorithm achieves 70.37%, 77.39%, and 81.74% performance on HOTA, AssA, and IDF1, representing an improvement of 1.53%, 4.17%, and 0.96%, respectively, compared to the original method.

• 대한임베디드공학회논문지
• /
• 제16권5호
• /
• pp.163-169
• /
• 2021

In this paper, we implemented a deep learning-based automatic object tracking and handy motion control drone system and analyzed the performance of the proposed system. The drone system automatically detects and tracks targets by analyzing images obtained from the drone's camera using deep learning algorithms, consisting of the YOLO, the MobileNet, and the deepSORT. Such deep learning-based detection and tracking algorithms have both higher target detection accuracy and processing speed than the conventional color-based algorithm, the CAMShift. In addition, in order to facilitate the drone control by hand from the ground control station, we classified handy motions and generated flight control commands through motion recognition using the YOLO algorithm. It was confirmed that such a deep learning-based target tracking and drone handy motion control system stably track the target and can easily control the drone.

• 대한원격탐사학회지
• /
• 제38권3호
• /
• pp.237-250
• /
• 2022

본 연구에서는 딥러닝 기반 다중 객체 추적 모델을 활용하여 수중드론으로 촬영된 영상으로부터 특정 해역의 조식동물 현존량을 추정하는 방법을 제안한다. 수중드론 영상 내에 포함된 조식동물을 클래스 별로 탐지하기 위해 YOLOv5 (You Only Look Once version 5)를 활용하였으며, 개체수 집계를 위해 DeepSORT (Deep Simple Online and real-time tracking)를 활용하였다. GPU 가속기를 활용할 수 있는 워크스테이션 환경에서 두 모델의 성능 평가를 수행하였으며, YOLOv5 모델은 평균 0.9 이상의 모델의 정확도(mean Average Precision, mAP)를 보였으며, YOLOv5s 모델과 DeepSORT 알고리즘을 활용하였을 때, 4 k 해상도 기준 약 59 fps의 속도를 보이는 것을 확인하였다. 실해역 적용 결과 약 28%의 과대 추정하는 경향이 있었으나 객체 탐지 모델만 활용하여 현존량을 추정하는 것과 비교했을 때 오차 수준이 낮은 것을 확인하였다. 초점을 상실한 프레임이 연속해서 발생할 때와 수중드론의 조사 방향이 급격히 전환되는 환경에서의 정확도 향상을 위한 후속 연구가 필요하지만 해당 문제에 대한 개선이 이루어진다면, 추후 조식동물 구제 사업 및 모니터링 분야의 의사결정 지원자료 생산에 활용될 수 있을 것으로 판단된다.

• 지능정보연구
• /
• 제28권1호
• /
• pp.89-106
• /
• 2022

최근 영상 데이터의 급증으로 이를 효과적으로 처리하기 위해 객체 탐지 및 추적, 행동 인식, 표정 인식, 재식별(Re-ID)과 같은 다양한 컴퓨터비전 기술에 대한 수요도 급증했다. 그러나 객체 탐지 및 추적 기술은 객체의 영상 촬영 장소 이탈과 재등장, 오클루전(Occlusion) 등과 같이 성능을 저하시키는 많은 어려움을 안고 있다. 이에 따라 객체 탐지 및 추적 모델을 근간으로 하는 행동 및 표정 인식 모델 또한 객체별 데이터 추출에 난항을 겪는다. 또한 다양한 모델을 활용한 딥러닝 아키텍처는 병목과 최적화 부족으로 성능 저하를 겪는다. 본 연구에서는 YOLOv5기반 DeepSORT 객체추적 모델, SlowFast 기반 행동 인식 모델, Torchreid 기반 재식별 모델, 그리고 AWS Rekognition의 표정 인식 모델을 활용한 영상 분석 시스템에 단일 연결 계층적 군집화(Single-linkage Hierarchical Clustering)를 활용한 재식별(Re-ID) 기법과 GPU의 메모리 스루풋(Throughput)을 극대화하는 처리 기법을 적용한 행동 및 표정 검출용 영상 분석 시스템을 제안한다. 본 연구에서 제안한 시스템은 간단한 메트릭을 사용하는 재식별 모델의 성능보다 높은 정확도와 실시간에 가까운 처리 성능을 가지며, 객체의 영상 촬영 장소 이탈과 재등장, 오클루전 등에 의한 추적 실패를 방지하고 영상 내 객체별 행동 및 표정 인식 결과를 동일 객체에 지속적으로 연동하여 영상을 효율적으로 분석할 수 있다.

• 한국지능시스템학회논문지
• /
• 제21권1호
• /
• pp.49-54
• /
• 2011

본 논문에서는 실내 환경에서 발생 할 수 있는 각종 냄새를 구분하고 농도를 검출하여 냄새 발생지로의 탐색과 이에 관련된 정보를 전송하는 지능 로봇을 구현 하였다. 온도변화에 따라 구동 되는 반도체식 가스센서를 이용하여 에탄올, 암모니아 및 이들의 혼합가스를 신경망 알고리즘을 통해 구분하고, 퍼지 추론방식으로 농도 측정이 가능한 후각 기능을 구현 하여 탑재함과 동시에 비전 시스템을 이용하여 장애물 회피 이동이 가능하게 하였다. 또한 로봇은 센서 네트워크 내에서 동작하며 유해 가스 및 냄새 관련 정보와 이에 따른 경고 메시지를 멀티홉 방식으로 네트워크 내 다른 노드로 전송한다. 비전 시스템과 후각 센서를 이용한 알고리즘으로 냄새의 종류 구분 및 농도 측정, 발생지 탐색이 가능 하였고 센서 네트워크 내 동작으로 이러한 정보전송이 가능한 로봇을 제시 하였다. 실제 실험을 통하여 냄새 인식 및 농도검출, 그리고 냄새 발생지로의 탐색 알고리즘 및 정보전송 성능의 효용성을 입증 하였다.