A Real-time Dual-mode Temporal Synchronization and Compensation based on Reliability Measure in Stereoscopic Video

3D 입체 영상 시스템에서 신뢰도를 활용한 듀얼 모드 실시간 동기 에러 검출 및 보상 방법

Abstract

In this paper, a real-time dual-mode temporal synchronization and compensation method based on a new reliability measure in stereoscopic video is proposed. The goal of temporal alignment is to detect the temporal asynchrony and recover synchronization of the two video streams. The accuracy of the temporal synchronization algorithm depends on the 3DTV contents. In order to compensate the temporal synchronization error, it is necessary to judge whether the result of the temporal synchronization is reliable or not. Based on our recently developed temporal synchronization method[1], we define a new reliability measure for the result of the temporal synchronization method. Furthermore, we developed a dual-mode temporal synchronization method, which uses a usual texture matching method and the temporal spatiogram method[1]. The new reliability measure is based on two distinctive features, a dynamic feature for scene change and a matching distinction feature. Various experimental results show the effectiveness of the proposed method. The proposed algorithms are evaluated and verified through an experimental system implemented for 3DTV.

본 논문에서는 3D 입체 영상시스템에서 신뢰도를 활용한 듀얼모드 실시간 동기에러 검출 및 보상방법을 제안한다. 3D 입체영상시스템의 동기오차 보상은 좌-우 영상시퀀스에서 동기오차를 검출하고, 검출된 동기오차만큼 보상하는 것이다. 3D 입체 영상시스템의 좌-우 동기 오차를 검출하는 알고리즘의 결과는 3D 입체 영상 콘텐츠에 따라서 그 동기에러 검출 결과의 정확도가 달라지는 문제점이 있다. 3D 입체 영상시스템의 동기 오차 검출을 위해 좌-우 영상의 페어 프레임 검출이 모든 3D 입체 콘텐츠의 영상에서 용이하지 않기 때문에 콘텐츠의 종류에 따라서 동기 에러 검출 알고리즘을 선별적으로 적용하는 방법이 필요하고, 동기 에러 검출의 결과를 신뢰할 수 있는 방법도 필요하다. 본 논문에서 활용하고자 하는 듀얼 모드 동기 에러 검출 알고리즘은 선행 연구[1]에서 새롭게 제안한 시간적 스패시오그램(temporal spatiogram) 방법과 기존의 텍스쳐 매칭(texture matching) 방법을 활용하였다. 동기에러 검출 결과에 대한 신뢰도를 측정하기 위해서 컨텐츠의 동적 특성(dynamics)과 구분성(distinction)을 새롭게 정의하였다. 제안된 듀얼 모드 동기 에러 검출 방법과 그 검출 결과에 대한 신뢰도 측정 방법은 다양한 3D 콘텐츠 영상들을 이용하여 실험하였고, 실제 3DTV 시스템에서의 동기 에러 검출 및 보상 실험 시스템에 실시간 구현하여 그 효용성을 입증하였다.

Ⅰ. 서 론

사람이 눈을 통하여 사물을 바라볼 때, 왼쪽과 오른쪽 눈은 미묘한 차이로 다른 영상을 보게 되고 두 영상의 차이를 통해 입체감을 느끼게 된다. 양안식(stereoscopic) 입체 영상은 이 원리를 이용하여 사람의 두 눈에 각기 다른 영상을 보여 주어 입체감을 느낄 수 있도록 해준다. 그런데 좌, 우 동영상이 시간적으로 동기화되지 않은 영상을 시청하게 된다면, 사람은 그 입체 영상을 통해서는 제대로 된 입체감을 느낄 수 없게 된다. 따라서 입체 영상에서 왼쪽 영상과 오른쪽 영상의 프레임 간 동기화가 제대로 되었는지를 자동으로 확인하고, 만약 좌우 영상 프레임이 서로 시간적으로 동기화가 되지 않았을 때, 대응하는 3D영상이 어느 정도의 시간적인 동기차이가 나는지를 검출한 후, 이 동기오차를 보정하는 과정이 필요하다. 그림 1은 양안식 입체 영상에서의 시간적 동기 오류 개선에 대한 일반적인 개념도[1-3]를 보여주고 있다.

그림 1.스테레오스코픽 영상에서의 시간적 동기 오류 개선 개념도[1] Fig. 1. The concept of temporal synchronization in stereoscopic video

이러한 양안식 입체 영상의 동기 문제를 해결하기 위해 선행 연구[1-3]에서 시간적 스패시오그램(temporal spatiogram)을 활용한 동기 오류 검출 방법을 새롭게 제안하였고, 그 효용성을 실험결과를 통하여 입증하였다. 선행 연구들에서는 기존의 영상 스패시오그램(spatiogram) 정보에 추가적으로 공간적인 컬러 분포에 대한 시간적인 변화량을 활용하여 좌-우 영상의 동기 프레임을 검출하는 방법을 적용하였다. 또한 동기 프레임 검출을 위해 좌-우 영상을 비교할 때, 단일 프레임 단위 비교보다 블록 단위의 비교적 긴 시간적 특징을 이용하는 방법이 더 효과적임도 입증하였다. 그리고 제안된 좌-우 동기오차 검출 방법은 실시간 처리가 가능하여 실용적으로 활용될 수 있음을 실험을 통해 확인했다.

하지만, 좌-우 영상에 대한 동기오류 검출 결과를 실제 방송 장비에 적용하기 위해서는 동기 오류가 있는 영상에 대해서 보다 정확한 결과가 요구됨은 물론이거니와, 동기오류가 없는 콘텐츠에 대해서는 동기 오류가 없는 결과를 도출해야 한다. 동기 오류를 제거하지 못하는 점에 대해서는 성능 부족으로 수긍할 수도 있지만, 동기 오류가 없는 영상을 잘못 검출하여 새로운 동기오류를 새롭게 생성해내는 경우는 그 실용적인 측면에서 알고리즘의 실효성이 떨어진다고 할 수 있다. 이러한 문제점을 극복하기 위해 본 논문에서는 동기오류 검출 결과를 신뢰할 수 있는 신뢰도(reliability)를 새롭게 정의하여, 그 신뢰도를 바탕으로 동기오차 검출 결과를 실용적으로 활용하는 방법을 새롭게 제안한다.

이어지는 2장에서는 시간적 스패시오그램 동기오차 검출방법[1-3]과 텍스처 매칭 방법을 결합한 듀얼모드 동기 오차 검출 및 보정방법을 간단하게 설명하고, 실제 적용을 위한 문제점을 기술한다. 3장에서는 동기오류 검출 결과의 정확성을 판단할 수 있는 신뢰도를 정의한다. 그리고 4장에서는 다양한 종류의 콘텐츠를 이용하여 제안된 알고리즘의 효용성을 검증하고, 실제 방송시스템에 실시간 적용한 실험결과를 보여준다. 마지막으로 5장에서는 결론 및 추후 과제를 기술한다.

 

Ⅱ. 듀얼모드 스테레오스코픽 동기오류 검출 방법

양안식 입체 동영상에서 시간적 동기 오차를 알아내고자 하는 프레임을 p라고 했을 때, p 프레임의 왼쪽 영상 Lp와 가장 유사한 특징을 가지는, 즉 같은 시간의 영상이라고 추측되는 오른쪽 영상 Rq를 찾아내는 과정이 곧 좌-우 영상의 동기 프레임(pair frame)을 검출하는 과정이면서 동시에 동기 오차를 검출하는 과정이 된다. 찾아내고자 하는 동기오차는 err=q-p 와 같다. 이 때 동기 오차의 단위는 프레임이 된다. 만약 p=q 이면 동기 오차가 없는 것이며, 좌-우 영상이 시간적으로 동기화 된 것이다.

좌-우 동기 오차 검사를 위한 타겟 영상 Lp에 대응하는 우영상 Rq를 찾기 위해 모든 우영상을 검색할 수 없으므로 최대 허용 오류 m을 두면 -m

여기서 d( ‧ )는 좌-우 영상간의 차이를 정의한 함수로서 함수 d( ‧ )의 값이 작을수록 좌-우 비교 프레임의 유사도(similarity)가 높은 것으로 생각할 수 있다.

1. 시간적 스패시오그램(spatiogram)을 활용한 동기오류 검출 방법

양안식 입체 영상에서 좌, 우의 영상은 같은 시간에 촬영한 장면이라도 좌우 시각 차에 의해 약간 위치가 다르게 나타난다. 그러므로 특정한 절대 좌표를 기준으로 한 비교보다 전체적인 화소 분포와 변화에 대한 통계적인 특징을 활용하는 것이 좌우 영상의 차이를 무시하면서 두 영상을 비교할 수 있는 좋은 방법이 된다. 이러한 원리를 바탕으로 본 논문에서는 기존의 스패시오그램[6]에 시간적인 변화 특징을 추가적으로 활용하여 두 영상간의 유사도(similarity)를 측정한다.

본 논문에서 사용하는 j번째 빈(bin)에서의 시간적 스패시오그램은 다음 식 (2)와 같이 구성된다.

여기서 nj는 j번째 빈에 대한 컬러 빈도값, 즉 j번째 빈에 속하는 컬러 화소의 개수이며, uj는 해당 빈에 속하는 화소들의 공간적인 중심 좌표로서 2차원 벡터가 된다. n′j는 nj의 시간적 변화량(동영상 시퀀스에서 이전 영상 프레임과의 변화)이며 u′j는 uj의 시간적 변화량, 즉 해당 빈 컬러의 중심 이동 벡터이다. 시간적 변화량이란 동영상 시퀀스에서 이전 프레임에서의 j번째 빈값과 현재 프레임에서의 j번째 빈값의 변화를 의미한다.

기존의 스패시오그램에 새롭게 추가된 시간적 변화량을 뜻하는 n′와 u′를 구하기 위해서는 이전 영상 프레임의 스패시오그램을 참고해야 한다. 즉, t프레임의 스패시오그램을 구하려면 t 프레임과 t-1 프레임의 n, u를 구한 뒤 t프레임의 n′, u′를 계산할 수 있다. 이는 다음 식 (3), (4)와 같이 정의된다.

여기서 nj,t 이 0이면 움직임 벡터를 구할 수 없으므로 uj,t가 null이 된다. ut가 null 이거나 ut-1이 null이면 u′t 또한 null이 된다.

임의의 프레임 t,v에 해당하는 두 좌-우 영상 Lt, Rv 의 차이를 시간적 스패시오그램으로 구할 때는 시간적 스패시오그램의 컬러 분포 특징 n, 컬러 분포의 변화 n′, 컬러분포 움직임 벡터 u′를 서로 비교하여 좌-우 동기 프레임(pair frame)을 검출한다. 각각의 특징에 대한 차이값은 다음 식 (5), (6), (7)과 같이 구할 수 있다.

식 (5), 식 (6), 그리고 식 (7)에서 dn, dn′, du′은 각각 컬러분포 특징 n, 컬러 분포의 변화 n′, 움직임 벡터 u′를 좌-우 영상에서 구한 시간적 스패시오그램간의 차이값이다. 식 (7)에서 는 가중치로서 화소의 개수가 많은 빈(bin)의 움직임을 더 크게 반영하는 역할을 한다. 화소의 개수가 0인 빈에서 uj 및 u′j가 null로 나타날 때 가중치가 0이 되어 그 빈에서의 영향은 없게 된다.

각각의 특징은 영상간의 차이를 완벽하게 보여주지 못하므로 식 (8)과 같이 세가지 특징 모두에 대한 선형결합을 이용하면 좀 더 정확한 좌-우 영상간의 동기 프레임을 찾을 수 있다.

여기서 α, β, γ는 좌-우 영상간의 비교에서 각각 컬러분포 특징 n, 컬러 분포의 변화 n′, 움직임 벡터u′에 대한 가중치이다.

좌-우 동영상에서 단 한 프레임간의 변화는 매우 작기 때문에 바로 인접한 프레임 간의 차이만을 이용하여 동기 프레임을 검출하는 것은 매우 어려운 일이다. 시간의 흐름에 따른 컬러 분포 및 움직임 벡터의 변화를 비교하기 위해 그림 2와 같이 특정한 간격의 N 프레임을 모아서 동기 프레임을 검출하는 방법을 사용한다. 식 (8)에서 언급한 d( ‧ )을 이용하여 N 프레임 동안의 블록 영상을 모두 비교하여 얻는 방법을 구하면 식 (9)와 같이 표현된다. 이는 식 (1)에 대한 변형이다. 검출된 동기 프레임을 이용하면 단일 프레임과 동일하게 좌-우 영상의 동기오차를 최종적으로 판별할 수 있다[1].

그림 2.블록단위 동기프레임 검색 방법 Fig. 2. The block-based pair-frame detection method

2. 텍스처 매칭을 이용한 동기 오류 검출

텍스쳐 매칭(texture matching)은 템플릿 매칭(template matching)의 한 방법으로서 일반적인 블록 매칭(block matching)을 의미한다. 이는 스테레오 비전 분야에서 매우 오랫동안 사용된 매칭 방법으로서 좌-우 영상이 매우 유사하다는 특징을 이용한다. 좌-우 영상은 시점이 약간 다를 뿐, 동시에 똑같은 물체를 촬영하므로 그 모습, 특히 디테일한 텍스쳐의 모습이 거의 일치한다. 일반적인 추적 목적이나 모션벡터를 검출하기 위해 템플릿 매칭을 사용할 때는 레퍼런스가 되는 영상과 시간적으로도 다르고, 물체의 포즈나 카메라의 원근, 각도, 그리고 주변의 조명 등 모든 것이 다르기 때문에 좋은 성능을 얻기 어렵지만 양안식 입체 영상은 좌,우 영상이 같은 물체를 같은 환경에서 미세한 카메라 각도 차이로 촬영된 결과이기 때문에 매우 좋은 동기오류 검출 알고리즘이 될 수 있다. 본 논문에서는 텍스쳐 매칭의 기준 알고리즘으로는 일반적인 MAD(Mean Absolute Difference)를 이용하여 템플릿 매칭을 수행한다.

본 템플릿 매칭을 수행하는 목적은 좌우 영상간의 disparity를 구하는 것이 목적이 아니라 시간적인 동기를 구하는 것이 목적이므로 그림 3과 같이 텍스처 매칭을 수행할 대상(ROI 영역)은 시간적으로 변화가 있는 부분이어야 한다. 만약 시간적으로 변화가 없는 영역에 대해 템플릿 매칭을 수행한다면 검색 범위 내의 모든 프레임에서 좋은 매칭을 구할 수 있을 것이며, 이는 결국 주변의 다른 프레임에 비해 확실히 매칭이 잘 되는 프레임을 찾을 수 없음을 뜻한다. 그러므로 뛰어난 구별성을 위해 움직임이 많은 영역에서 매칭 대상을 찾는 과정이 필수적으로 요구된다.

그림 3.텍스처 기반 매칭 방법의 예 Fig. 3. An example of texture-based matching

움직임은 좌-우 영상 모두에서 똑같이 나타나므로 좌영상을 기준으로 구한다. 먼저 좌영상의 현재 시간 t의 프레임과 t-1 프레임을 비교하여 차영상을 구한다. 차영상의 모든 영역(window)에서 각각 영역별 합을 구하여 가장 많은 차이값을 가지고 있는 영역을 좌-우 영상 매칭 영역(ROI)으로 지정한다. 여기서 특정한 영역 내의 합을 구하기 위해 필요한 것이 적분 영상(integral image)이다. 적분 영상을 이용하면 특정한 영역 내의 합에 대한 계산을 상수 시간 내에 처리할 수 있도록 해준다. 매칭 영역은 적절하게 제한된 고정된 크기를 가지는 것으로 한다. 여러 영상 컨텐츠에 대해 실험한 결과, 영역의 가로, 세로의 크기를 각각 영상의 가로, 세로 크기의 1/4로 두는 것이 적당하다.

양안식 입체 영상의 특성상 좌영상에 나타난 물체는 우영상에서 가로 방향으로 다른 위치에 나타나므로, 좌영상에서 찾아낸 레퍼런스 블록의 위치를 기준으로 우영상에서 가로 방향으로 일정 크기의 ROI를 지정하여 ROI내 모든 블록과 비교한다. 가장 MAD값이 적은 것을 최종적인 두 영상간의 차이로 한다. 텍스쳐 매칭에 의한 동기오류 검출도 시간적 스패시오그램에서 수행한 것과 마찬가지로 좌-우 한 프레임만을 비교하기 보다는 식 (9) 와 같이 임의의 시간적 블록 단위 프레임들을 비교함으로써 좌-우 페어프레임을 검출한 후, 동기오차를 검출한다.

 

III. 동기오류 검출에 대한 신뢰도

동기 오류 검출을 위한 페어 프레임(pair frame) 검출이 모든 콘텐츠의 영상에서 정확하게 검출하는 것이 매우 어려운 일이기 때문에 3D 콘텐츠 내용에 따라 선별적으로 알고리즘 검출결과를 활용하는 과정이 필요하다. 콘텐츠에 따라 동기 오류 검출이 용이한 장면도 있지만, 순간적인 정지 영상과 같이 동기 오류 검출이 완전히 불가능한 경우도 있다. 입력 영상의 대부분에 동기 오류가 존재한다면 상관없겠지만 일반적으로 동기 오류는 제한적으로 발생할 수 있으므로 확실한 동기 오류가 아니라면 입력 영상을 그대로 두거나 이전의 검출 결과를 활용하는 것이 좋을 것이다.

본 논문에서는 동기 오류 검출 결과를 신뢰할 수 있는 신뢰도(reliability)를 새롭게 정의하여 그 신뢰도를 바탕으로 동기 오류 검출 결과를 활용하는 방법을 새롭게 제안한다. 오류 검출 난이도에 대한 신뢰도 평가 항목으로 컨텐츠의 장면 전환 특징인 동적 특성(dynamics)과 매칭의 구별성(matching distinction)으로 나누고 이에 따라 페어 프레임 검출 결과에 대한 신뢰 정도인 신뢰도를 평가한다.

1. 동적 특징(dynamics)을 활용한 동기 오차 신뢰도

3D 콘텐츠 영상 내에서 움직임이 크거나 장면 전환이 이루어질 경우, 각 영상 프레임에 대한 상호 구분성이 커지기때문에 일반적으로 페어 프레임(pair frame) 매칭 결과를 더욱 신뢰할 수 있다. 이러한 특징을 기초로 3D 콘텐츠 영상의 움직임이 얼마나 활발한가를 시간적 스패시오그램으로 측정한 동적특징(dynamics)을 동기오류 검출의 신뢰도로 활용하고자 한다. 콘텐츠의 동적특성을 정의하기 위해 스페시오그램 식 (2)의 n′와 μ′를 이용한다. 기준 영상 Lp에 대한 동적특성은 다음 식 (10)과 같이 정의한다.

여기서, αn′와 αu′는 각 특징백터에 대한 가중치이다. 동적특성은 좌-우 영상 모두 동일하기 때문에 좌영상을 기준으로 측정한다. 영상의 동적특성이 클수록 시간축에 대한 미분 값이 커지기 때문에 n′와 μ′ 또한 매우 커지게 된다.

2. 매칭 결과의 구별성(distinctness)을 활용한 동기 오차 신뢰도

동기오차 결과에 대한 신뢰도 측정을 위한 구분성(distinctness)은 동기 검출을 위해 식 (8)을 적용하여 최소가 되는 차이값이 차소(次少, 두 번째로 작은 값)가 되는 차이값에 비해 얼마나 구별되는가를 나타내는 지표이다. 다음 식 (11)은 이러한 매칭 결과의 구별성을 정의한 식이다.

여기서, min2(⋯)는 식 (8)의 과정에서 두 번째로 작은 값을 나타내고, min1(⋯)은 페어 프레임 검출 과정에서 가장 매칭이 잘 된 첫 번째로 매칭된 결과값을 의미한다. d(Lp,Rk)를 가장 작게 하는 k 프레임 영상을 고르면 Rk는 Lp와 가장 매칭이 잘 되는 영상, 즉 페어 프레임이 된다. Rr은 두 번째로 매칭이 잘 되는 영상프레임으로서 만약 Rq와 비슷하다면 두 매칭값 또한 비슷하게 되므로 결과적으로 Dist(p)값이 매우 작게 측정된다. 반면에 Rq와 Rr이 매우 다르다면, 즉 구별성이 뛰어나다면 두 매칭값의 차이가 크기 때문에 Dist(p) 값 역시 매우 크게 나타날 것이다. 그림 4는 좌영상 한 프레임에서 우영상의 시간축 프레임들에 대한 매칭값들에서 최소 매칭값 프레임과 두번째 매칭값 결과에 대한 예를 보여주고 있으며, 구별성을 활용한 신뢰도 측정 개념도를 보여주고 있다. 그림 4의 예는 Dist(p)=(0.2-0.1)/0.2=0.5가 된다. 최소 매칭값과 두번째 매칭값 사이의 값 차이가 크면 클수록 동기오류 검출 결과에 대한 신뢰도가 높다고 할 수 있다. 즉 매칭의 구별성이 클수록 인접 프레임과 영상의 차이가 커서 동기오류 검출 결과가 더 정확할 수 있다는 의미이다.

그림 4.매칭의 구별성을 활용한 검출 신뢰도 개념도 Fig. 4. Concept diagram for matching distinction reliability

3. 구간 별 신뢰도 활용

본 논문에서 제안한 동기오차 신뢰도를 활용하여 동기 오류 검출에 대한 정확도를 높이기 위해, 특정한 구간별로 신뢰도가 높은 프레임의 검출 결과를 사용한다. 먼저 모든 프레임에 대해 페어 프레임 검출을 수행하고 각각의 프레임에 대한 각각의 검출 신뢰도를 계산한다. 이 후에 30프레임, 혹은 그 이상 일정한 간격으로 데이터를 모아 가장 신뢰도가 높은 프레임 하나를 선정하여 해당 프레임의 동기오류 검출 결과를 구간 전체에 대한 결과로 적용하는데, 이를 그림 5에 나타내었다. 각 구간별로 신뢰도를 이용하여 가장 신뢰도가 높은 프레임을 적색 실선으로 표시했다. 구간 내에서 가장 높은 신뢰도를 가지는 프레임이 일정 임계값 기준을 만족시킬 경우 해당 구간 전체에 대해 결과를 적용하지만 임계값 기준을 만족시키지 못할 경우 해당되는 구간 내에는 판별할 수 있는 프레임이 없는 것으로 간주하고 동기 오류 검출에 대한 판별을 유보한다. 이러한 경우에는 동기 오류 보정은 바로 이전 구간의 결과를 그대로 활용한다.

그림 5.구간별 신뢰도 활용 모습 Fig. 5. Reliability example for some interval

3. 신뢰도를 활용한 듀얼모드 동기오류 검출 방법

2절에서 기술한 두 가지의 동기오류 검출 방법(시간적 스패시오그램 방법[1]과 텍스쳐 매칭 방법)을 동시에 활용하면서, 검출 결과에 대한 신뢰도 기준까지 적용하면 개별적인 한 가지 방법을 이용하는 것보다 더욱 높은 동기오류 검출 정확도를 얻을 수 있다. 본 논문에서 제안하는 최종적인 동기 오류 검출 알고리즘은 그림 6에 나타내었다.

그림 6.제안하는 동기 오류 검출 순서도 Fig. 6. Proposed temporal synchronization error detection method

먼저 시간적 스패시오그램과 텍스쳐 매칭 방법의 신뢰도를 모두 활용하여 모든 블록 단위의 프레임에 대해 페어 프레임 검출을 진행한 뒤 시간적 스패시오그램의 결과부터 적용한다. 시간적 스패시오그램에 대한 신뢰도는 앞서 밝힌 두 가지 신뢰도 측정 방법 모두를 적용하여 한 가지라도 만족하게 되면 해당 신뢰도를 만족하는 프레임을 기준으로 검출 결과를 도출한다. 만약 시간적 스패시오그램의 신뢰도 기준에 미흡한 경우에는 텍스쳐 매칭의 구별성을 활용하여 신뢰도를 측정하고, 그 결과를 적용한다. 만약 신뢰도 기준을 매우 높게 설정한 경우에는 두 알고리즘이 동일한 판정을 가져오게 되므로 텍스쳐를 활용하는 것이 무의미할 수도 있다.

 

IV. 실험결과 및 분석

본 논문에서 제안한 신뢰도를 활용한 듀얼모드 스테레오 스코픽 동기오류 검출 방법에 대한 검증은 실제 3DTV 방송 콘텐츠를 녹화하여 10초 정도의 3D 동영상 14개의 클립, 총 4,200 프레임에 대해 실험하였다. 그림 7은 14개의 영상 중 2개의 샘플 영상을 보여주고 있다.

그림 7.두 개의 실험 영상 예 Fig. 7. Two examples of 14-video contents

1. 개별적인 동기 오류 검출 실험

[표 1]은 모든 14개의 실제 3D 콘텐츠 샘플영상(총 4,400 프레임) 모두에 대하여 제안된 개별적인 두 가지 방법의 동기오류 검출 결과를 정리한 것이다. 동기 오류 검출 대상이 되는 모든 프레임에 대해 식 (1)을 적용하여 단 1 프레임이라도 결과가 잘못된 것은 검출 오류로 보고, 검출 대상이 되는 프레임에 대하여 정확한 검출이 수행된 프레임을 비율로 계산했다. 동기 오류가 없는 모든 프레임(4,400 프레임)을 대상으로 정확도를 측정했을 때, 시간적 스패시오그램 방법은 총 55.2% 그리고 텍스쳐 매칭 방법은 65.0%의 정확도를 보였다. 물론 단위 프레임 단위가 아닌 블록단위 페어 프레임 검출[1]을 활용한 결과이다. 두 방법 모두 50%를 약간 넘기는 수준의 성공율을 보여주지만, 이는 신뢰도를 적용하지 않은 결과로서 동기오류 검출이 불가능한 정지 영상과 같은 모든 프레임에 대해 실험한 결과이다. 그림 8은 삼계탕 3D 콘텐츠에 대한 텍스쳐 매칭 실험결과와 시간적 스패시오그램의 실험 결과를 자세하게 보여주고 있다. 실제 삼계탕 콘텐츠의 동기오류는 없는 영상이다. 두 방법 모두 서로 보완할 수 있는 부분이 있음을 확인할 수 있다. 즉 어떤 프레임에서는 시간적 스패시오그램의 검출 결과가 정확하고, 어떤 프레임에서는 텍스쳐 매칭 방법이 정확함을 확인할 수 있다.

표 1.모든 샘플영상(4,400 프레임)에 대한 동기오류 검출 결과 Table 1. The results of the temporal synchronization for all sample movies(4,400 frame).

그림 8.시간적 스패시오그램 방법과 텍스처 매칭 방법의 비교 Fig. 8. Comparative experimental results between temporal spatiogram and texture matching

모든 콘텐츠에서 동일한 결과가 나오는 것은 아니지만 그림 8과 같은 경우처럼 시간적 스패시오그램과 텍스쳐 매칭 방법이 상호 보완이 될 수 있다. 시간적 스패시오그램의 결과가 좋지 않을 때는 텍스쳐 매칭 방법의 결과가 좋게 나타나며 반대의 경우도 나타난다. 시간적 스패시오그램방법을 이용하여 동기 오류 검출에 실패한 경우, 텍스쳐 매칭 방법이 성공한 경우는 46.2%에 달했다. 그만큼 텍스쳐 매칭 방법이 시간적 스패시오그램 방법에 대해 보완이 될 수 있음을 나타낸다. 스패시오그램은 전체적인 픽셀들의 분포와 그 시간적 경향을 특징으로 하는 반면, 텍스쳐 매칭은 특정 영역의 구체적인 변화를 나타내므로 서로서로의 알고리즘 특성이 조금 다르다고 할 수 있다.

본 알고리즘의 실시간적 적용을 위해 검출속도 즉 시간적 측면을 고려했을 때 시간적 스패시오그램은 초당 약 60프레임 이상을 처리할 수 있는 매우 빠른 성능을 보여주었으나 텍스쳐 매칭 방법은 초당 약 8프레임 정도만을 처리할 수 있었다.

2. 신뢰도를 활용한 듀얼모드 동기오류 검출 실험

[표 2]는 전체 영상에서 특별히 신뢰도가 높은 프레임을 해당 프레임 비율에 맞춰 선별했을 때의 정확도 실험결과를 보여주고 있다. 여기서 신뢰도의 임계값이 높을수록 그 조건을 만족하는 컨텐츠 프레임의 비율은 작아지고, 그러한 신뢰도를 가진 프레임에 대한 동기 오차 검출 결과는 정확성이 높아진다는 것을 보여주고 있다. 프레임 비율이란 전체 영상(4,400개)에서 해당 비율만큼의 프레임을 신뢰도가 있는 프레임들에 대한 전체 대상 프레임으로 선별했다는 뜻이다. 전체 영상프레임들에서 50%만을 선별했을 때는 전체적인 성공율이 60% 내외이지만 신뢰도 기준을엄격하게 적용할수록 성공률이 높아지는 것을 실험 결과에서 확인할 수 있다. 단 1%의 영상 프레임만을 선별했을 때, 구별성 기준은 100%의 성공률을 만족시킨다. 프레임 비율에 따라 성공율이 비례하여 증가하는 것은 신뢰도 판별 기준이 실질적인 성공률과 매우 밀접한 관련이 있음을 보여준다. 한편, 성공률에 반비례하여 앞서 밝힌 두 방법간의 상호 보완성은 자연스럽게 떨어지게 된다. 스패시오그램을 이용한 방법만으로 100%의 성공률을 보인다면 사실 텍스처 매칭 방법은 추가적으로 적용할 필요가 없는 것이다.

표 2.신뢰도를 적용한 전체 프레임 실험 결과(동기오류 검출 정확도: %) Table 2. The results of appling the reliabilities for all frames (accuracy rate of synchronization error detection : %)

본 논문에서 제안한 신뢰도를 이용한 동기오차 보상 방법에 대한 활용방안은 두 가지로 정리할 수 있다. 첫째는 방송 컨텐츠 자체적으로 오류가 있을 경우 컨텐츠에 대해서 미리 보정을 수행한 뒤에 보정된 결과를 전송하는 것이고, 두 번째는 전송 과정 중에 발생할 오류까지 고려하여 방송을 수신하는 측에서 실시간 보정을 수행하는 것이다. 실시간 처리를 위해서 신뢰도 기준을 상위 1% 기준으로 높이고 상대적으로 시간이 많이 걸리는 텍스쳐 매칭을 제외할 경우, i7 CPU에 대한 점유율 20%에서 640*360 크기의 영상에 대해 평균 12 ms/frame 의 속도로 수행되어 실시간 처리가 가능함을 보여주었다. 시스템의 목적상 처리 영상의 해상도를 높이는 것은 아무런 의미가 없으므로 알고리즘의 성능에 지장을 주지 않는 수준으로 해상도를 낮춰서 처리하는 것이 바람직하다.

3. 3DTV 실험 시스템에서의 동기오차 검출 실험

제안된 신뢰도를 이용한 듀얼모드 동기오차 검출 알고리즘을 실제 3DTV 실험 시스템에서 그 효용성을 검증하기 위해 그림 9와 같이 실험시스템을 구성하였다. 실험을 위한 전체 3DTV 동기화시스템은 양방향-채널 AV 엔코더(Dualchannel AV encoder)와 3DTV 동기화기(3DTV synchronizer)로 구성되어 있다. 그리고 3DTV 동기화기는 구체적으로 그림10과 같이 동기에러 검출부(Sync error detection)와 타임스탬프 보상부(Timestamp compensation)로 구성되어 있다.

그림 9.3DTV 시스템에서의 동기에러 검출 및 보상 실험 시스템 Fig. 9. 3DTV experimental system for evaluation of 3DTV synchronizer

그림 10.3DTV 동기화 시스템의 구현 블록도 Fig. 10. Block diagram of implemented 3DTV experimental system

제안된 알고리즘을 검증하기 위해 3DTV 분석기(3DTV signal analyzer)는 3DTV 동기화기에 의해 보완된 3D 컨텐츠를 저장하고 분석한다. 3DTV 분석기는 독립적으로 좌-우 컨텐츠를 디코딩하여 개별적으로 디스플레이 한다. 그림 11은 실제 좌-우 동기에러가 있는 3D 콘텐츠를 제안된 알고리즘이 구현된 동기화기를 통과하기 전(a)과 동기에러가 보완 된 후(b)의 결과를 보여주고 있다.

그림 11.3DTV 동기화 시스템에 의해 동기화 되기 전의 3D 콘텐츠 영상들, (a) 동기화 에러 보상 전, (b) 동기화 에러 보상 후 Fig. 11 Stereoscopic images captured at 3DTV synchronizer, (a) before sync error correction, (b) after sync error correction

 

V. 결 론

본 논문에서는 스테레오스코픽 영상에서 신뢰도를 활용한 듀얼모드 시간적 동기오류 검출 방법을 제안하고, 다양한 실험을 통하여 그 효용성을 검증하였다. 제안된 스테레오스코픽 영상에서의 시간적 동기 오류 검출 결과의 정확성이 충분히 검증되어야 실제적인 3DTV 시스템에 적용하여 동기오차를 실시간적으로 보상할 수 있다. 이러한 동기오차 검출결과의 정확성을 판단하기 위해 콘텐츠의 동적특성(dynamics)과 검출매칭의 구별성(distinction) 특징을 이용하여 동기검출결과에 대한 신뢰도를 정의하여 그 활용방법을 새롭게 제안하였다. 측정된 신뢰도를 바탕으로 신뢰도를 만족하지 않는 영상에 대해서는 동기오류 판별이 불가능한 프레임으로 판단하고 이를 오류검출결과에서 제외하는 방법을 사용하였다. 그리고 동기오차 검출방법도 한 가지 방법이 아닌 두 가지 방법(시간적 스패시오그램 동기오차 검출방법 과 텍스처 매칭 방법)을 사용함으로써 동기오차 검출의 성능을 향상시켰다. 마지막으로 실제 3DTV 동기화 실험 시스템에 구현하여 알고리즘의 실시간 적용성도 검증하였다.