DOI QR코드

DOI QR Code

Images Grouping Technology based on Camera Sensors for Efficient Stitching of Multiple Images

다수의 영상간 효율적인 스티칭을 위한 카메라 센서 정보 기반 영상 그룹핑 기술

  • Received : 2017.08.28
  • Accepted : 2017.11.01
  • Published : 2017.11.30

Abstract

Since the panoramic image can overcome the limitation of the viewing angle of the camera and have a wide field of view, it has been studied effectively in the fields of computer vision and stereo camera. In order to generate a panoramic image, stitching images taken by a plurality of general cameras instead of using a wide-angle camera, which is distorted, is widely used because it can reduce image distortion. The image stitching technique creates descriptors of feature points extracted from multiple images, compares the similarities of feature points, and links them together into one image. Each feature point has several hundreds of dimensions of information, and data processing time increases as more images are stitched. In particular, when a panorama is generated on the basis of an image photographed by a plurality of unspecified cameras with respect to an object, the extraction processing time of the overlapping feature points for similar images becomes longer. In this paper, we propose a preprocessing process to efficiently process stitching based on an image obtained from a number of unspecified cameras for one object or environment. In this way, the data processing time can be reduced by pre-grouping images based on camera sensor information and reducing the number of images to be stitched at one time. Later, stitching is done hierarchically to create one large panorama. Through the grouping preprocessing proposed in this paper, we confirmed that the stitching time for a large number of images is greatly reduced by experimental results.

파노라마 영상은 카메라 시야각의 제한을 극복하여 넓은 시야를 가질 수 있으므로 컴퓨터 비전, 스테레오 카메라 등의 분야에서 효율적으로 연구되고 있다. 파노라마 영상을 생성하기 위해서는 왜곡이 생기는 광각 카메라를 사용하는 대신 다수의 일반 카메라로 촬영한 영상들을 스티칭 하는 것이 영상의 왜곡 현상을 줄일 수 있기에 많이 활용되어지고 있다. 영상 스티칭 기술은 여러 영상에서 추출한 특징점의 디스크립터를 생성하고, 특징점들 간의 유사도를 비교하여 영상들을 이어 붙여 큰 하나의 영상으로 만드는 것이다. 각각의 특징점은 수십 수백차원의 정보를 가지고 있고, 스티칭 할 영상이 많아질수록 데이터 처리 시간이 증가하게 된다. 특히, 하나의 객체에 대하여 다수의 불특정 카메라에 의해 촬영한 영상들을 기반으로 파노라마를 생성할 경우, 유사한 영상들에 대한 중복적 특징점 추출의 과정을 거치기에 그 처리 시간은 더욱 증가한다. 본 논문에서는 이와 같이, 하나의 객체 또는 환경에 대하여 불특정 다수의 카메라에서 획득한 영상을 기반으로 스티칭을 효율적으로 처리하기 위한 전처리 과정을 제안한다. 그 방법으로 카메라 센서 정보를 기반으로 영상들을 미리 그룹화 하여 한 번에 스티칭 할 영상의 수를 줄임으로써 데이터 처리 시간을 줄일 수 있다. 후에 계층적으로 스티칭 하여 하나의 큰 파노라마를 만든다. 본 논문에서 제안한 그룹핑 전처리를 통해 다수의 영상을 대상으로 한 스티칭 시간이 대폭 감소하는 것을 실험 결과를 통해 검증하였다.

Keywords

References

  1. Y. J. Cho, J. M. Seok, S. Y. Lim, S. W. An, J. I Seo, and J. H. Chan, "Post-UHD Realistic media, high quality panoramic AV technology," Electronics and Telecommunications Trends, Vol.20, No.3, pp.33-46, June 2014.
  2. D. Lowe, "Distinctive image features from scale-invariant keypoints," International Journal of Computer Vision, Vol.60, No.2, pp.91-110, November 2004. https://doi.org/10.1023/B:VISI.0000029664.99615.94
  3. H. Bay, A. Ess, T. Tuytelaars, L. V. Gool, "Speeded-up robust feature," Computer Vision and Image Understanding, Vol.10, No.3, pp.346-359, June 2008.
  4. L. M. J. Florack, B. M. Ter Haar Romeny, J. J. Koenderink, M. A. Viergever, "General intensity transformations and differential invariants," Journal of Mathematical Imaging and Vision, Vol.4, No.2, pp.171-187, May 1994. https://doi.org/10.1007/BF01249895
  5. Park Siyoung, Kim Jongho, Yoo Jisang, "Fast Stitching Algorithm by using Feature Tracking," Journal of Broadcast Engineering, Vol.20, Issue 5, pp.728-737, September 2015. https://doi.org/10.5909/JBE.2015.20.5.728
  6. Ahn, Yang-Keun, Hong, Ji-Man, "Nonlinear Optimization Method for Multiple Image Registration," Journal of Broadcast Engineering, Vol.17, No.4, pp.634-639, 2012. https://doi.org/10.5909/JBE.2012.17.4.634
  7. Kwon, Oh Seol, "Image Matching Based on Robust Feature Extraction for Remote Sensing Haze Images," Journal of Broadcast Engineering, Vol.21, No.2, pp.272-275, 2016. https://doi.org/10.5909/JBE.2016.21.2.272
  8. Jun-sik Kim, Gwangil Jeong, Yongwan Hwang, Pilkyu Park, Seonghwan Park and Kyuheon Kim, "Video Similarity Generating Algorithm Improving the Speed of Various Multi-Angle Image Composition," Proceedings of the Korea Broadcasting Engineering Conference Media, , pp.399-402, January 2016.
  9. Minwoo Kima and Sang-Kyun Kim, "Enhancement on 3 DoF Image Stitching Using Inertia Sensor Data," Journal of Broadcast Engineering, Vol.22, No.1, pp.51-61, January 2017. https://doi.org/10.5909/JBE.2017.22.1.51