Journal of KIISE (정보과학회 논문지)

Korean Institute of Information Scientists and Engineers (한국정보과학회)
권호 표지
DOI QR코드

DOI QR Code

Exemplar-Based Image Inpainting for Spherical Panoramic Image

구면 파노라마 영상을 위한 표본 기반 영상 인페인팅

  • Received : 2015.10.12
  • Accepted : 2016.01.19
  • Published : 2016.04.15
Download PDF
⟨ Previous Next ⟩

Abstract

Previous image processing techniques based on plane-to-plane transformations cannot be utilized for spherical panoramic images. In this paper, we propose a new method to inpaint a spherical panoramic image using exemplar, which is deformed by the location of the patch. Our proposed method makes the deformed exemplar patch by latitude and uses it as the reference patch to restore the damaged area. The exemplar-based inpainting method is based on the planar image coordinate system and thus the classical method cannot be applied to the spherical panoramic image. The merit of our proposed method is the fact that it is not dependent on the location of the damaged area. From the experimental results, we proved that our proposed method satisfies the original purpose of the exemplar-based inpainting technique for the spherical panoramic image.

평면 대 평면 간 기하 변환에 기반을 두는 기존 영상처리 기술들은 구면 파노라마 영상에서의 픽셀 좌표에는 적용될 수 없다. 본 논문에서는 평면 영상을 전제로 개발된 표본 기반 영상 인페인팅 기술을 구면 파노라마 영상에 적용할 수 있는 방법을 제안한다. 구면 영상에서 위도에 따라 다른 표본을 추출하는 방법을 이용하여 평면 영상에서의 표본 기반 인페인팅을 구면 파노라마 영상에서도 동일하게 사용할 수 있도록 하는 것이 본 논문에서 제안하는 방법의 목적이다. 기존의 표본 기반 영상 인페인팅은 정사각형 표본을 그대로 사용하기 때문에 좌표계가 다른 구면 파노라마 영상에서는 사용할 수 없다. 본 논문에서는 구면 파노라마 영상의 위도에 따른 각기 다른 모양의 표본을 취득한 후 이를 정사각형으로 균일화하는 방법을 사용한다. 이후 균일화된 표본을 이용하여 표본 기반 영상 인페인팅을 수행하는 방법으로 영상을 복원한다. 실험 결과 본 논문에서 제안하는 방법은 구면 파노라마 영상에서 표본 기반 영상 인페인팅을 성공적으로 수행함을 확인하였다.

Keywords

Acknowledgement

Supported by : 인천대학교

References

  1. G. Fangi, "Photogrammetric Processing of Spherical Panoramas," The Photogrammetric Record, Vol. 28, No. 143, pp. 293-311, Sep. 2013. https://doi.org/10.1111/phor.12031
  2. G. Tong, J. Gu, "Locating Objects in Spherical Panoramic Images," Proc. of the IEEE International Conference on Robotics and Biomimetics, pp. 818-823, Dec. 2011.
  3. R. Swaminathan, M. Nischt, C. Huhnel, "Localization Based Object Recognition For Smart Home Environments," IEEE International Conference on Multimedia and Expo, pp.921-924, Jun. 2008.
  4. A. Murillo, G. Sinth, J. Kosecka, J. Guerrero, "Localization in Urban Environments Using a Panoramic Gist Descriptor," IEEE Transactions on Robotics, Vol. 29, No. 1, pp. 146-160, Feb. 2013. https://doi.org/10.1109/TRO.2012.2220211
  5. A. Chapoulie, R. Patrie, D. Pilat, "A spherical representation for efficient visual loop closing," IEEE International Conference on Computer Vision Work shops, pp. 335-342, 2011.
  6. M. Bertalmio, G. Sapiro, V. Caselles, C. Ballester, "Image Inpainting," Proc. of ACM Conference on Computer Graphics and Interactive Techniques, pp.417-424, Jul. 2000.
  7. M. Bertalmio, A. Bertozzi, G. Sapiro, "Navier-stokes, Fluid Dynamics and Image and Video Inpainting," Proc. IEEE Conf. Computer Vision Pattern Recognition, pp. 355-362, Dec. 2001.
  8. A. Telea, "An Image Inpainting Technique Based on the Fast Marching Method," Journal of Graphics Tools, Vol. 9, No.1, pp.25-36, May 2003.
  9. H. Kim, J. Lee, Y. Moon, "An Improved Method of Image Inpainting using Adaptive Window," Proc. of IEIE Fall Conference, pp.619-620, Nov. 2007.
  10. A. Criminisi, P. Perez, K. Toyama, "Object Removal by Exemplar-Based Inpainting," Proc. IEEE Conf. Computer Vision Pattern Recognition, pp.417-424, Jun. 2003.
  11. A. Criminisi, P. Perez, K. Toyama, "Region Filling and Object Removal by Exemplar-Based Image Inpainting," IEEE Trans. Image Processing, Vol. 13, No.9, pp. 1200-1212, Sept. 2004. https://doi.org/10.1109/TIP.2004.833105
  12. M. Bertalmio, L. Vese, G. Sapiro, S. Osher, "Simultaneous structure and texture image inpainting," Proc. IEEE Conf. Computer Vision Pattern Recognition, pp. 707-712, Jun. 2003.
  13. A. Bugeau, M. Bertalmio, "Combining Texture Synthesis and Diffusion for Image Inpainting," Int. Conf. Computer Vision Theory and Applications, pp. 26-33, 2009.
  14. W. Jiying, Q. Ruan, "Object Removal By Cross Isophotes Exemplar-based Inpainting," International Conference on Pattern Recognition, pp. S10-S13, 2006.
  15. Z. Arican, P. Frossard, "OMNISIFT: Scale Invariant Features In Omnidirectional Images," Proc. of IEEE 17th International Conference on Image Processing, pp.3505-3508, 2010.
  16. J. Cruz-Mota, I. Bogdanova, B. Paquier, M. Bierlaire, J.-P. Thiran , "Scale Invariant Feature Transform on the Sphere: Theory and Applications," International Journal of Computer Vision, Vol. 9S, No.2, pp.217-241 , 2012.
  17. T. Goedeme, T. Tuytelaars, L. V. Gool, "Omnidirectional Sparse Visual Path Following with Occlusion-Robust Feature Tracking," Proc. of OMNIVIS Workshop, Vol. 3115, pp.207-215, Oct. 2005.
  18. G. Tong, R. Liu, J. Tan, "3D Information Retrieval in Mobile Robot Vis ion based on Spherical Compound Eye," Proc. of the IEEE International Conference on Robotics and Biomimetics, pp. 1895-1900, Dec. 2011.