Journal of Broadcast Engineering (방송공학회논문지)

The Korean Institute of Broadcast and Media Engineers (한국방송∙미디어공학회)
권호 표지
DOI QR코드

DOI QR Code

Implementation of Omni-directional Image Viewer Program for Effective Monitoring

효과적인 감시를 위한 전방위 영상 기반 뷰어 프로그램 구현

  • Jeon, So-Yeon (Dept. of Media IT Engineering, The Graduate School, Seoul National Univ. of Science & Technology) ;
  • Kim, Cheong-Hwa (Dept. of Electronic & IT Media Engineering, Seoul National Univ. of Science & Technology) ;
  • Park, Goo-Man (Dept. of Electronic & IT Media Engineering, Seoul National Univ. of Science & Technology)
  • 전소연 (서울과학기술대학교 일반대학원 미디어IT공학과) ;
  • 김청화 (서울과학기술대학교 전자IT미디어공학과) ;
  • 박구만 (서울과학기술대학교 전자IT미디어공학과)
  • Received : 2018.10.16
  • Accepted : 2018.11.19
  • Published : 2018.11.30
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, we implement a viewer program that can monitor effectively using omni-directional images. The program consists of four modes: Normal mode, ROI(Region of Interest) mode, Tracking mode, and Auto-rotation mode, and the results for each mode is displayed simultaneously. In the normal mode, the wide angle image is rendered as a spherical image to enable pan, tilt, and zoom. In ROI mode, the area is displayed expanded by selecting an area. And, in Auto-rotation mode, it is possible to track the object by mapping the position of the object with the rotation angle of the spherical image to prevent the object from deviating from the spherical image in Tracking mode. Parallel programming for processing of multiple modes is performed to improve the processing speed. This has the advantage that various angles can be seen compared with surveillance system having a limited angle of view.

본 논문에서는 전방위 영상을 활용하여 효과적으로 감시할 수 있는 뷰어 프로그램을 구현하였다. 프로그램은 크게 Normal mode, ROI(Region of Interest) mode, Tracking mode, Auto-rotation mode의 네 가지 모드로 구성되며, 각 모드에 대한 결과 영상을 동시에 표출하도록 구현하였다. Normal mode에서는 광각 영상을 구형 영상으로 렌더링하여 팬, 틸트, 줌이 가능하도록 하며, ROI mode는 보고 싶은 영역을 선택하면 해당 영역이 확장되어 표출된다. 그리고 Auto-rotation mode에서는, Tracking mode를 이용하여 객체 추적 시 객체가 구형 영상의 특정 영역을 이탈하는 경우를 방지하기 위해, 객체의 위치를 구형 영상의 회전각과 맵핑하여 회전함으로써 객체의 지속적인 추적이 가능하게 하였다. 복수의 모드를 동시에 처리하기 위한 병렬프로그래밍을 수행하여 연산 처리 속도를 개선하였으며, 이는 한정된 화각을 가진 종래의 카메라 기반 감시 시스템에 비해 동시에 다양한 각도를 볼 수 있다는 점에서 강점을 가진다.

Keywords

BSGHC3_2018_v23n6_939_f0001.png 이미지

그림 1. 제안하는 프로그램 구성 Fig. 1. Configuration of Proposed Program

BSGHC3_2018_v23n6_939_f0002.png 이미지

그림 2. 원본 영상 : 두 개의 180도 광각 영상 Fig. 2. Input Image : Two Images of 180 degrees

BSGHC3_2018_v23n6_939_f0003.png 이미지

그림 3. 구형 영상에서의 회전, 줌 인/아웃 결과 Fig. 3. The Result of Rotation, Zoom In/Out in Spherical Image

BSGHC3_2018_v23n6_939_f0004.png 이미지

그림 4. ROI Mode 실행 과정 Fig. 4. The Process of ROI Mode

BSGHC3_2018_v23n6_939_f0005.png 이미지

그림 5. Tracking Mode 실행 과정 Fig. 5. The Process of Tracking Mode

BSGHC3_2018_v23n6_939_f0006.png 이미지

그림 6. 직사각형 영상에서의 좌표와 구형 영상에서의 회전각 변환 Fig. 6. Conversion from Coordinates in Rectangular Image to Rotation Angles in Spherical Image

BSGHC3_2018_v23n6_939_f0007.png 이미지

그림 7. Auto-rotation Mode 실행 과정 Fig. 7. The Process of Auto-rotation Mode

BSGHC3_2018_v23n6_939_f0008.png 이미지

그림 8. 초기 다이얼로그 구성 Fig. 8. Configuration of Initial Dialog

BSGHC3_2018_v23n6_939_f0009.png 이미지

그림 9. 메인 다이얼로그 구성 Fig. 9. Configuration of Main Dialog

BSGHC3_2018_v23n6_939_f0010.png 이미지

그림 10. 입력 영상 Fig. 10. Input Image for Program

BSGHC3_2018_v23n6_939_f0011.png 이미지

그림 11. 프로그램 실행 결과 Fig. 11. Result of Program Implementation

표 1. 마우스 이벤트에 대한 회전, 줌 인/아웃 수도 코드 Table 1. Pseudo Code of Mouse Event for Rotation, Zoom In/Out

BSGHC3_2018_v23n6_939_t0001.png 이미지

표 2. 연산 처리 방식 별 속도 Table 2. Speed by Operation Processing Method

BSGHC3_2018_v23n6_939_t0002.png 이미지

References

  1. Y.K. Kim, G.M. Um, K.S. Cho, "Object-of-Interest Oriented Multi-Angle Video Acquisition Technique Using Object-Tracking based on Multi-PTZ Camera Position Control", Electronics and Telecommunications Trends, Vol.31, No. 3, pp.1-8, 2016.
  2. Bosung Kim, JonSeung Park, "Exemplar-Based Image Inpainting for Spherical Panoramic Image", Journal of Korean Institute of Information Scientists and Engineers, Vol. 43, No.4, pp. 437-449, 2016.
  3. Gyeong-il Kweon, Young-ho Choi, "Image-processing Based Panoramic Camera Employing Single Fisheye Lens", Journal of the Optical Society of Korea, Vol. 14, No. 3, pp.245-259, 2010 https://doi.org/10.3807/JOSK.2010.14.3.245
  4. Shigang Li, Member, IEEE, "Monitoring Around a Vehicle by a spherical Image Sensor", IEEE Transactions on Intelligent Transportation Systems, Vol. 7, No. 4, pp.541-550, 2006. https://doi.org/10.1109/TITS.2006.883116
  5. Gooman Park, Jihye Jeon, Jihee Yang, Jiwoong Jang, The Method of 360 Degrees Spherical Rendering Display and Auto Video Analytic Using Real-time Image Acquisition Cameras, 10-1639275, Korea, 2016.
  6. Jun-Hwan Lee and Jisang Yoo, "Real-time Face Tracking Method using Improved Camshift", JBE Vol. 21, No. 6, pp.861-877, 2016.
  7. Ming TANG and Jiayi FENG, "Multi-kernel Correlation Filter for Visual Tracking", IEEE International Conference on Computer Vision, 2015.
  8. Joao F. Henriques, Rui Caseiro, Pedro Martins, and Jorge Batista, "High-Speed Tracking with Kernelized Correlation Filters", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol,37, No 3, pp.583-596, 2015, doi: 10.1109/TPAMI.2014.2345390
  9. Ivan Markovic, Francois Chaumette, Ivan Petrovic. "Moving object detection, tracking and following using an omnidirectional camera on a mobile robot", IEEE Int. Conf. on Robotics and Automation, ICRA'14, Jun 2014, Hong-Kong, Hong Kong SAR China. 2014.
  10. Seoung Heon Kang, Seoung-Jae Lee, Man Hee Lee and In Kyu Park, "Parallelization of Feature Detection and Panorama Image Generation using OpenCL and Embedded GPU", JBE Vol.19, No. 3, pp.316-328, 2014.
  11. Dongmin Park, Dongkyu Lee and SeoungJun Oh, "Introduction to GPU Computing and CUDA Programming: A Case Study on FDTD", IEEE Antennas and Propagation Magazine, Vol. 52, No. 3, 2010, 06.
  12. Paul Bourke, "Converting an Equirectangular Image to a Perspective Projection", 2016, 10.