Abstract
In this paper, we propose a real-time temporal synchronization and compensation algorithm in stereoscopic video. Many temporal asynchronies are caused in the video editing stage and due to different transmission delays. These temporal asynchronies can degrade the perceived 3D quality. The goal of temporal alignment is to detect and to measure the temporal asynchrony and recover synchronization of the two video streams. In order to recover synchronization of the two video streams, we developed a method to detect asynchronies between the left and the right video streams based on a novel spatiogram information, which is a richer representation, capturing not only the values of the pixels but their spatial relationships as well. The proposed novel spatiogram additionally includes the changes of the spatial color distribution. Furthermore, we propose a block-based method for detection of the pair frame instead of one frame-based method. Various 3D experiments demonstrate the effectiveness of the proposed method.
본 논문은 3D 입체 영상시스템의 좌-우 영상에 대한 실시간 동기 오차를 검출하고, 보정하는 방법을 제안한다. 스테레오스코픽 동영상의 경우 좌영상과 우영상의 동기가 편집과정의 실수나 영상전송 등의 다양한 이유로 시간적 동기가 맞지 않아 3D 입체 영상 품질이 떨어지는 문제점이 있다. 시간적 동기화의 목표는 두 비디오 시퀸스에서 동기오차를 검출하고, 검출된 동기오차만큼 보정하는 것이다. 이러한 동기오차의 문제점을 해결하기 위해 본 논문에서는 기존의 스페시오그램(spatiogram) 특징에 추가적인 컬러 분포의 변화 및 컬러 분포의 공간적인 변화 특징을 추가적으로 활용하여 좌-우 영상의 시간적 동기오차를 검출하고 보정하는 알고리즘을 제안한다. 먼저 동기오차를 검출하기 위해 좌-우 영상의 동기 프레임(pair frame)을 검출한다. 이 때, 단일 프레임만으로는 변화가 뚜렷하지 않으므로 일정한 시간의 블록 단위로 비교하는 방법을 새롭게 제안한다. 제안된 방법은 다양한 3D 콘텐츠 영상들의 실험을 통하여 그 효용성을 입증하였다.
