스마트미디어저널 (Smart Media Journal)

  • 제5권4호
  • /
  • Pages.63-68
  • /
  • 2016
  • /
  • 2287-1322(pISSN)
  • /
  • 2288-9671(eISSN)
한국스마트미디어학회 (THE KOREAN INSTITUTE OF SMART MEDIA)
권호 표지

실시간 비디오 스타일 전이 기법에 관한 연구

Real-time Style Transfer for Video

  • 서상현 (성결대학교 공과대학 미디어소프트웨어학부)
  • 투고 : 2016.11.22
  • 심사 : 2016.12.26
  • 발행 : 2016.12.31
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

텍스처전이(Texture Transfer) 기법은 타겟영상의 고주파 성분인 텍스쳐를 소스영상에 적용시키는 영상처리 방법이다. 이 텍스쳐 전이기법은 입력 영상에 표현되고 있는 질감 등의 스타일을 대상 영상에 전이시키는데 사용 될 수 있다. 본 연구에서는 이러한 텍스쳐 전이기법을 비디오에 적용시키기 위한 방법을 제안한다. 특히 동영상에 적용시키기 위한 실시간 병렬 처리 알고리즘을 제안한다. 이를 위해서 기존 텍스쳐 전이기법에 사용되는 커널의 모양을 변경하여 병렬화가 가능하도록 하였으며, 동영상 적용 시 발생하는 시간적 일관성문제를 해결하기 위한 방법으로 비디오 프레임 영상의 다중해상도를 사용한 광류측정법을 제안하여 적용함으로써 실시간 비디오 처리를 가능하게 하였다.

Texture transfer is a method to transfer the texture of an input image into a target image, and is also used for transferring artistic style of the input image. This study presents a real-time texture transfer for generating artistic style video. In order to enhance performance, this paper proposes a parallel framework using T-shape kernel used in general texture transfer on GPU. To accelerate motion computation time which is necessarily required for maintaining temporal coherence, a multi-scaled motion field is proposed in parallel concept. Through these approach, an artistic texture transfer for video with a real-time performance is archived.

키워드

참고문헌

  1. J. S. De Bonet. "Multiresolution sampling procedure for analysis and synthesis of texture images," in Proc. of the 24th Annual Conference on Computer Graphics and Interactive Techniques, SIGGRAPH97, pp.361-368, 1997.
  2. A. A. Efros and W. T. Freeman. "Image quilting for texture synthesis and transfer," in Proc. of the 28th annual conference on Computer graphics and interactive techniques, pp.341-346. ACM, 2001.
  3. C. Eisenacher, S. Lefebvre, and M. Stamminger. "Texture synthesis from photographs," Computer Graphics Forum, vol.27, pp.419-428. Wiley Online Library, 2008. https://doi.org/10.1111/j.1467-8659.2008.01139.x
  4. S. Lefebvre and H. Hoppe. "Appearance-space texture synthesis," ACM Trans. Graph., vol.25, no.3, pp.541-548, July 2006. https://doi.org/10.1145/1141911.1141921
  5. L. Liang, C. Liu, Y.-Q. Xu, B. Guo, and H.-Y. Shum. "Real-time texture synthesis by patch-based sampling," ACM Trans. Graph., vol.20, no.3, pp.127-150, July 2001. https://doi.org/10.1145/501786.501787
  6. M. Ashikhmin. "Synthesizing natural textures," in Proc. of the 2001 Symposium on Interactive 3D Graphics, pp.217-226, New York, NY, USA, 2001.
  7. M. Ashikhmin. "Fast texture transfer," Computer Graphics and Applications, IEEE, 23(4), pp.38-43, 2003.
  8. H. Lee, S. Seo, and K. Yoon. "Directional texture transfer with edge enhancement," Computers & Graphics, pp.81-91, 2011.
  9. N. Ye, T. Sim, and X. Miao. "Video stylization by single image example," in Proc. of ICIP 2010 pp.3993-3996. 2010.
  10. D. Kang, P. Kong, K. Yoon, and S. Seo. "Directional texture transfer for video," Multimedia Tools and Applications, , vol. 74, no. 1, pp.245-258, 2015. https://doi.org/10.1007/s11042-013-1759-3
  11. C. Nvidia. Compute unified device architecture programming guide. 2007.
  12. G. Bradski and A. Kaehler. "Learning OpenCV: Computer vision with the OpenCV library," O'ReillyMedia, Inc.", 2008.
  13. J. Marzat, Y. Dumortier, and A. Ducrot. "Real-time dense and accurate parallel optical flow using cuda," 2009.
  14. 김정인, 최창, 김판구, "비디오 내 이동 객체의 색인 정보를 이요한 궤적 유사도 측정 기법", 스마트미디어학회논문지 제1권 3호, pp. 43-47, 2012년 9 월.
  15. 홍택은,김정인,신주현, "인스타그램 이미지와 텍스트 분석을 통한 사용자 감정 분류 ", 스마트미디어학회논문지 제5권 1호, pp. 61-68, 2016년 3월.