Journal of Broadcast Engineering (방송공학회논문지)

The Korean Institute of Broadcast and Media Engineers (한국방송∙미디어공학회)
권호 표지
DOI QR코드

DOI QR Code

Integrated Video Analytics for Drone Captured Video

드론 영상 종합정보처리 및 분석용 시스템 개발

  • Lim, SongWon (Seoul National University of Science And Technology) ;
  • Cho, SungMan (Seoul National University of Science And Technology) ;
  • Park, GooMan (Seoul National University of Science And Technology)
  • Received : 2019.01.15
  • Accepted : 2019.03.11
  • Published : 2019.03.30
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, we propose a system for processing and analyzing drone image information which can be applied variously in disasters-security situation. The proposed system stores the images acquired from the drones in the server, and performs image processing and analysis according to various scenarios. According to each mission, deep-learning method is used to construct an image analysis system in the images acquired by the drone. Experiments confirm that it can be applied to traffic volume measurement, suspect and vehicle tracking, survivor identification and maritime missions.

본 논문에서는 다양한 재난치안안전 임무 상황에서 적용할 수 있는 드론 영상 종합정보 처리 및 분석용 시스템을 제안한다. 제안하는 시스템은 드론에서 획득한 영상을 서버에 저장하고, 다양한 시나리오에 따른 영상 처리 및 분석을 수행한다. 각 임무에 따라 필요한 기능은 딥러닝을 활용하여 드론으로부터 확보하는 영상에서 영상분석 시스템을 구성한다. 실험 영상을 통해 교통량 측정, 용의자 및 차량 추적, 조난자 식별 및 해상 초계 임무에 적용할 수 있음을 확인했다. 드론 운용자가 임무에 따른 필요 기능을 선택하고 신속하게 대처할 수 있는 시스템을 구현하였다.

Keywords

BSGHC3_2019_v24n2_243_f0001.png 이미지

그림 1. 영상분석 모듈 구성도 Fig. 1. Video Analysis module configuration

BSGHC3_2019_v24n2_243_f0002.png 이미지

그림 3. 차종 구분 기능 Fig. 3. Vehicle classification function

BSGHC3_2019_v24n2_243_f0003.png 이미지

그림 2. YOLO 네트워크 아키텍처 Fig. 2. YOLO Network Architecture

BSGHC3_2019_v24n2_243_f0004.png 이미지

그림 4. (좌부터) 엣지 영상 이미지와 레이블링 형태 저장 Fig. 4. Edge image and Save the labeling type

BSGHC3_2019_v24n2_243_f0005.png 이미지

그림 5. 번호판 영역 내에서 annotation 과정 Fig. 5. Annotation Process within License Plate area

BSGHC3_2019_v24n2_243_f0006.png 이미지

그림 6. 얼굴 학습 데이터 (좌부터, ‘faces 94’ ‘facial-original-image’ ‘SCUT-HEAD’ database) Fig. 6. Learn in 43 Class within License Plate area

BSGHC3_2019_v24n2_243_f0007.png 이미지

그림 7. 선박 번호판 augmentation 과정 Fig. 7. Ship License Plate Augmentation Process

BSGHC3_2019_v24n2_243_f0008.png 이미지

그림 8. 객체 추적 알고리즘 구성 Fig. 8. Ship License Plate Augmentation Process

BSGHC3_2019_v24n2_243_f0009.png 이미지

그림 9. 사람 얼굴 검출 신경망 구성 Fig. 9. Human face detection Neural Network Composition

표 1. 차종 구분 정확도 Table 1. Classification Accuracy

BSGHC3_2019_v24n2_243_t0004.png 이미지

표 2. 번호판 검출 정확도 결과 Table 2. License Plate detection Accuracy

BSGHC3_2019_v24n2_243_t0005.png 이미지

표 3. 선박 검출 정확도 결과 (흰색 번호판) Table 3. Ship detection Accuracy

BSGHC3_2019_v24n2_243_t0006.png 이미지

References

  1. Keun-Taek. Kim, S. Min-Soon. Park and Sang-Hyun. Park, "The Concept of Operations of the Multicopter UAVs for Disaster and Public Safety -Based on Mission Scenarios," Current Industrial and Technological Trends in Aerospace Volume 15, No. 2, pp.84-96, 2017, December.
  2. Joseph Redmon, Santosh Divvala, Ross Girshick, Ali Farhadi "You Only Look Once: Unified, Real," Computer Vision and Pattern Recognition 2016, pp. 779-788, June 2016, arXiv:1506.02640 .
  3. Joao F. Henriques, Rui Caseiro, Pedro Martins, Jorge Batista "High-Speed Tracking with Kernelized Correlation Filters" Computer Vision and Pattern Recognition 2016, pp. 779-788, June 2016, arXiv:1506.02640 .
  4. Peiyun Hu, Deva Ramanan, "Finding Tiny Faces" Computer vision and Pattern Recognition 2017, Apr 2017.
  5. Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton Neural Information Processing Systems 2012
  6. Ross Girshick, "Fast R-CNN" The IEEE International Conference on Computer Vision 2015, pp.1440-1448, 2015.
  7. Shaoqing Ren, Kaiming He, Ross Girshick, Jian Sun, "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks", Computer Vision and Pattern Recognition, pp.71-287, June 2015, arXiv:1506.01497.
  8. Christian Szegedy, Wei Liu, Yangqing Jia, Pierre Sermanet, Scott Reed, Dragomir Anguelov, Dumitru Erhan, Vicent Vanhoucke, Andrew Rabinovich, Computer vision and Pattern Recognition 2014, Sep 2014 arXiv:1409.4842