Hierrachical manner of motion parameters for sports video mosaicking

스포츠 동영상의 모자익을 위한 이동계수의 계층적 향상

Sports scene is characterized by large amount of global motion due to pan and zoom of camera motion, and includes many small objects moving independently. Some short period of sports games is thrilling to televiewers, and important to producers. At the same time that kinds of scenes exhibit exceptionally dynamic motions and it is very difficult to analyze the motions with conventional algorithms. In this thesis, several algorithms are proposed for global motion analysis on these dynamic scenes. It is shown that proposed algorithms worked well for motion compensation and panorama synthesis. When cascading the inter frame motions, accumulated errors are unavoidable. In order to minimize these errors, interpolation method of motion vectors is introduced. Affined transform or perspective projection transform is regarded as a square matrix, which can be factorized into small amount of motion vectors. To solve factorization problem, we preposed the adaptation of Newton Raphson method into vector and matrix form, which is also computationally efficient. Combining multi frame motion estimation and the corresponding interpolation in hierarchical manner enhancement algorithm of motion parameters is proposed, which is suitable for motion compensation and panorama synthesis. The proposed algorithms are suitable for special effect rendering for broadcast system, video indexing, tracking in complex scenes, and other fields requiring global motion estimation.

스포츠 중계 영상과 같은 동영상은 카메라의 줌과 팬에 의한 화면 전역 이동이 크게 발생하며, 적은 수의 특징점 및 다수의 불규칙 운동 개체들로 인하여 이동 해석이 매우 어렵다. 본 논문에서는 이러한 다이나믹한 동영상의 전역 이동 계수를 추출하기 위한 새로운 알고리듬을 제안하고, 이를 개체 추적 시스템에서의 이동 보상과 파노라마 합성에 이용할 수 있도록 하였다. 인접 프레임 사이의 이동을 연속적으로 적용할 때, 누적되는 오차를 최소화하기 위하여, 다중 프레임 간의 이동으로부터, 사이 프레임들 간의 이동을 보간하는 방법을 제안하였다. 여기서 아핀 변환 또는 원근 투영 변환을 하나의 정방 행렬로 보고, 미소 이동을 갖는 행렬의 거듭제곱으로 분할하는 문제를 제시하고, 뉴튼 랩슨 방법을 벡터와 행렬 행태로 변형하여 풀이하는 방법을 제안하였고 매우 효율적으로 계산할 수 있음을 보였다. 이를 다수의 프레임 사이에서 재 계산된 이동과의 오차의 분할에 이용하고, 같은 방법을 계층적으로 수행하는 이동 계수의 향상 방법을 제안하였다. 제안된 방법은 방송용 특수 효과의 연출과 비디오 인덱싱 등의 응용 분야에 활용할 수 있다.