Abstract
Painterly animation is a method that expresses painterly images with a hand-painted appearance from a video, and the most crucial element for it is the temporal coherence of brush strokes between frames. A motion map is proposed in this paper as a solution to the issue of maintaining the temporal coherence in the brush strokes between the frames. A motion map is the region that frame-to-frame motions have occurred. Namely, this map refers to the region frame-to-frame edges move by the motion information with the motion occurred edges as a starting point. In this paper, we employ the optical flow method and block-based method to estimate the motion information. The method that yielded the biggest PSNR using the motion information (the directions and magnitudes) acquired by various methods of motion estimation has been chosen as the final motion information to form a motion map. The created motion map determine the part of the frame that should be re-painted. In order to express painterly images with a hand- painted appearance and maintain the temporal coherence of brush strokes, the motion information was applied to only the strong edges that determine the directions of the brush strokes. Also, this paper seek to reduce the flickering phenomenon between the frames by using the multiple exposure method and the difference map created by the difference between images of the source and the canvas. Maintenance of the coherence in the direction of the brush strokes was also attempted by a local gradient interpolation to maintain the structural coherence.
회화적 애니메이션은 비디오 동영상을 이용하여 손으로 그린 듯 한 회화적 느낌을 표현하는 방법이며 프레임 간 브러시 스트로크의 시간적 일관성을 유지하는 것이 가장 중요한 요소이다. 본 논문에서는 프레임 간 브러시 스트로크의 일관성을 유지하기 위한 모션 맵 생성을 제안한다. 모션 맵이란 모션이 발생한 에지 위치를 기준으로 해서 모션 정보를 더함으로써 프레임 간 에지가 움직이는 영역을 말한다. 본 논문에서 사용한 모션 추정 방법은 광류 (optical flow) 방법과 블록 기반 방법을 이용하였으며 여러 가지 모션 추정 방법을 통해서 얻은 모션 정보 ( 방향과 크기 ) 중 신호 대 잡음비 (PSNR)가 가장 큰 방법을 최종 모션 정보로 선택하여 모션 맵을 생성하였다. 생성된 모션 맵은 다음 프레임의 덧칠 부분을 결정해 준다. 손으로 그린 듯 한 회화적 느낌을 표현하면서도 프레임 간 브러시 스트로크의 시간적 일관성을 유지하기 위해서 브러시 스트로크의 방향을 결정해주는 강한 에지에 대해서만 모션 정보를 적용하였다. 또한 다중노출기법과 소스 영상과 캔버스간의 차이 맵을 이용하여 프레임 간 플릭커링 현상을 줄이고자 하였다. 구조적 일관성을 유지하기 위해 국부 기울기 보간법 (local gradient interpolation)을 이용하여 브러시 스트로크 간 방향의 일관성을 유지하였다.
