DOI QR코드

DOI QR Code

ROI Based Real Time Image Stitching Using the Directionality of the Image

영상의 방향성을 이용한 ROI 기반 실시간 파노라마 영상 정합

  • Nam, Ki-Hun (Dept. of Computer Engineering, Seokyeong University) ;
  • Choi, Se-Jin (Dept. of Computer Engineering, Seokyeong University)
  • Received : 2016.11.24
  • Accepted : 2016.12.28
  • Published : 2016.12.31

Abstract

In this paper, we proposed an implementation of panoramic image stitching that operates in real time at the embedded environment by applying ROI based PROSAC algorithm using the directionality of the image. The conventional panoramic image stitching applies SURF or SIFT algorithm which contains unnecessary computation and a lots of data to detect feature points. In this paper, we use the direction of the input image and we proposed the method of reducing the unnecessary computation by using ROI. We use a gyro sensor and an acceleration sensor. Output data from gyro and acceleration sensors can be calibrated by complementary filter. The calibration does not affect the operating time of the proposed image stitching algorithm in embedded environment. Therefore, it is possible to operate in real-time.

본 논문은 임베디드 환경에서 실시간으로 동작하기 위해 입력 영상의 방향성을 판단하여 ROI를 지정하고 SURF, PROSAC 알고리즘을 적용하는 파노라마 영상 정합 방법을 제안한다. 기존의 파노라마 정합 알고리즘은 SURF 알고리즘이나 SIFT 알고리즘과 같이 많은 연산 데이터가 사용되는 알고리즘을 영상 전체에 적용하여 연산하기 때문에 불필요한 연산 영역을 포함하고 있다. 따라서 본 논문은 입력되는 영상의 방향을 판단한 결과로 영상의 ROI를 지정하여 불필요한 연산을 줄이는 방법을 제안한다. 영상의 방향을 판단하는데 사용하는 센서는 자이로 센서와 가속도 센서를 사용한다. 임베디드 환경에서 자이로 센서와 가속도 센서의 상보 필터를 통한 값 보정은 영상 정합 알고리즘의 처리 시간에 영향을 주지 않기 때문에 실시간 동작이 가능하다.

Keywords

References

  1. Chan-Min Jung and Kwang-Yeob Lee and Tae-Ryong Park, "Implementation of a Sensor Fusion FPGA for an IoT System," j.inst.Korean.electr.electron.eng, vol.19, no.2, pp. 142-147, June 2015
  2. Esa Malinen, "Fusion of Data from Quadcopter's Inertial Measurement Unit Using Complementray Filter," Bachelor's thesis, Lappeenranta University of Technology(LUT), 2015.
  3. Jae-Chang Kwak, "An Implementation of the Real-time Image stitching Algorithm based on ROI," j.inst.Korean.electr.electron.eng, vol.19, no.4, pp.460-464, December 2015
  4. Jaehyun Im and Joonki Paik, "Feature-Based Panoramic Background Generation for Object Tracking in Dynamic Video," Journal of the Institude of Electronics Engineers of Korea SP vol.45 no.6, pp 108-116, 2008.