Improved Side-by-Side 3D Reconstruct Method Considering Interlaced Characteristic

격행주사 특성을 고려한 향상된 Side-by-Side 3D 영상 보간 기법

Abstract

In general, the image of interlaced side-by-side (SBS) streams is not good because it goes through two reconstruction steps-de-interlacing and horizontal interpolation. Especially the accuracy of horizontal resolution is greatly deteriorated as processed de-interlacing value is used for reference of interpolated pixel at time of horizontal interpolation. To solve this problem, we propose an improved method considering interlaced SBS stream's characteristics. In this paper, we adopted two separate methods to transmitted line and blank line for using reliable information. The experimental result of the proposed method is better than the conventional algorithm in terms of subjective and objective image quality.

일반적으로 격행주사(interlace) 된 Side-by-Side (SbS) 영상의 경우 화면 재생 시, 전송받은 영상을 먼저 디인터레이싱(de-interlacing)한 후에 좌우 영상을 분리하여 수평 해상도를 보간하는데, 이때 한번 가공된 디인터레이싱 값을 참조하여 보간 값을 결정하게 되는 관계로 수평 해상도의 정확성이 크게 떨어지게 된다. 이러한 문제점을 해결하기 위해 격행주사 방식의 SbS 3D 영상의 수평 해상도 보간 방법을 제안한다. 수평 해상도 보간 시에 격행주사 방식으로 전송받은 라인과 디인터레이싱 기법을 이용해 보간한 라인의 특성에 따라 각 라인에서 활용할 수 있는 전송받은 값을 가지고 각각 다른 보간 방법을 적용함으로써 정확도를 향상하는 방법을 제안한다. 제안된 방법의 실험 결과는 기존의 보간 기법들보다 주관적, 객관적 화질에서 더욱 우수한 성능을 보여준다.

Ⅰ. 서 론

처음 텔레비전의 개발 이후, 사람들은 더 좋은 화질, 더 많은 정보를 원했고, 그에 따라 보내야 할 데이터의 전송량은 점점 늘어났다. 그러나 그 데이터를 전송하는 통로가 되는 주파수는 한정된 자원이기 때문에 이를 효율적으로 활용하기 위해 여러 가지 기술들이 개발되었다. QAM과 같은 주파수 전달의 효율성 자체를 높이는 디지털 변조 방식과 보내고자 하는 영상을 압축해서 보낸 후 받은 기기에서 동일한 방식으로 압축을 해제해서 영상을 복원하는 압축 기술, 어느 정도의 화질 감소를 감수하고 영상을 나누어서 보낸 후 송신 받은 기기에서 빠진 부분을 예측하여 보간 하는 디인터레이싱과 SbS 3D 방식 등이 그 예이다.

디인터레이싱 기법은 하나의 프레임을 절반의 수직 해상도를 가지는 두 개의 필드로 각각 나누어서 번갈아가며 화면에 뿌려주는 격행주사 방식으로 이루어진 영상을 수신하여 필드의 빈 라인(Missing line)의 화소를 보간 해서 순차 주사(Progressive) 방식의 영상으로 전환하는 기법이다.

이렇게 하나의 프레임(두 개의 필드)의 데이터 양으로 두 개의 프레임을 생성함으로써 추가로 주파수 대역폭을 사용하지 않고도 단위 시간당 프레임을 두 배로 증가시키는 것이 가능하며, 이로 인해 영상의 움직임이 부드러워지고, 사람의 인지 속도를 넘어서는 속력으로 영상을 뿌려줌으로서 화면 전반에서 발생하는 Flicker 현상을 제거해 줄 수 있다. 이런 이유로 인해 디인터레이싱 기법은 여러 국가의 다양한 텔레비전 방송 시스템에 널리 쓰이고 있다[1-3].

또한 SbS 3D 영상은 single stream 3D의 일종으로, 좌우 영상의 수평 해상도를 절반으로 부표본화하여 하나의 프레임을 구성하여 송신하면 수신하는 영상 매체에서 송신기로부터 전송된 하나의 프레임으로부터 좌우 영상을 복원하는 방식으로, 기존의 디지털 텔레비전 시스템을 이용하여 3D 영상을 송신할 수 있다는 장점이 있어 다양하게 활용이 되고 있다[4].

앞서 언급된 두 종류의 기술은 수신한 영상의 빈 화소에 대해 예측 보간을 하는 과정을 통해 제한된 전송 폭을 이용해 2배의 효율을 낼 수 있는 장점을 가진 반면, 해상도 변환 과정에서 화질 손실이 발생한다는 점에서 동일한 단점을 지니고 있다. 원래 해상도로 복원하기 위해 보간을 수행할 때 전송받은 데이터로 비어있는 공간을 추정하여 적당한 값을 구하는 과정에서 원래 데이터와 오차가 발생하기 때문이다. 마찬가지로 SbS 3D 영상도 해상도의 보간에 따른 화질의 열화가 발생한다. 이에 격행 주사까지 같이 수행되면, 수평과 수직의 고주파 성분이 제거되어 보간 시 심각한 화질 열화가 발생하며, 디인터레이싱 과정에서 발생한 빈 라인의 화질 열화 고려하지 않고 좌우 영상을 3D화하면 그에 인해 추가적인 화질 열화가 발생하게 된다.

이러한 문제점을 해결하기 위해 본 논문에서는SbS 3D 방식의 동영상의 해상도를 보간 하는 개선된 알고리듬을 제안한다. 구체적으로 SbS 3D 영상의 좌우 화면 분리 시 격행 주사의 존재하는 라인과 빈 라인에 따른 보간 방법을 제시한다.

본 논문의 구성은 다음과 같다. 2장에서는 기존의 디인터레이싱 기법에 대하여 간단하게 알아보고, 3장에서는 제안하는 알고리듬을 소개한다. 4장에서는 실험결과 및 분석을 한 후 5장에서 결론을 맺는다.

 

Ⅱ. Conventional Algorithm

이 장에서는 제안하는 알고리듬의 근간이 되는 기존 수직, 수평 예측 보간법에 대해 소개한다. 라인 평균 방식을 기본으로 시간적으로 인접한 필드를 이용하여 정확성을 높인 Vertical Temporal Filtering (VTF) 방식과 Sinc함수를 계수를 이용해 형상화한 4tap Finite Impulse Response (FIR) 필터와 6tap FIR 필터에 대해 소개한다.

1. 라인평균 방식(LA)[5]

라인 평균 기법은 그림1과 같이 빈 라인을 위아래의 값을 존재하는 평균하여 산출하는 방식으로 이 방법은 간단한 계산으로 영상을 보간하기 때문에 널리 이용되는 매우 간단한 디인터레이싱 기법이다. 특히 해상도가 낮아서 인접화소간의 상관관계가 크지 않을 때에는 필터의 크기가 작음으로서 다른 방식들에 비해 효과적이다.

그림 1.LA 방식 Fig. 1. Line Average

2. VTF[6]

VTF 방식은 라인 평균 방법을 기반으로 해서 현재 프레임의 인접하는 프레임들의 정보를 활용하여 정확성을 높이는 시간적 디인터레이싱 기법으로 공간적 시간적 장점을 결합한 방식이다. 그림 2와 같이 현재 프레임(n)에서 라인 평균을 통해 저주파 성분을 구하고, 인접하는 프레임(n-1,n+1)들의 구하고자 하는 위치의 화소와 위아래에 존재하는 화소에 가중치를 두어 더함으로써 고주파 성분을 더하는 방법이다.

그림 2.VTF 방식 Fig. 2. Vertical Temporal Filtering

구하고자 하는 값은 식(2),(3)와 같이 현재 프레임과 인접하는 프레임의 존재하는 값에 해당하는 가중치의 곱들의 합으로 보간된다.

그림 3.4tap FIR 필터 Fig. 3. 4tap FIR filter

3. 4tap FIR 필터[7]

4tap FIR 필터 방식은 라인 평균 방법을 기반으로 한 것은 VTF 방식과 동일하나, VTF 방식과는 달리 인접한 프레임이 아닌 현재 프레임의 보간 하고자 하는 방향으로 필터를 확장하여 존재하는 화소들의 정보를 활용하는 방식으로, sinc 함수를 형상화한 계수를 부여함으로서 고주파 성분을 재현하도록 하였다.

4. 6tap FIR 필터[8,13]

6tap FIR 필터 방식은 4tap FIR 필터 방식의 확장 판으로 보간 하고자 하는 화소와 수평 방향으로 6개의 신호를 활용하여 고주파 성분을 재현하는 방식으로서, H.264/AVC 비디오 코덱에서 정수 화소 이하의 화소 정밀도로 움직임 보상 예측을 수행하기 위해 참조 영상의 화소를 보간하는데 사용되고 있다.

그림 4.6tap FIR 필터 Fig. 4. 6tap FIR filter

 

Ⅲ. Proposed Algorithm

디인터레이싱의 특성에 따른 화질 손실을 방지하고자 본 논문에서는 디인터레이싱 되어 있는 화면을 존재하는 라인과 디인터레이싱으로 보간된 라인으로 구분하여 각각의 라인에 대해 서로 다른 방식으로 수평 해상도를 보간 하였다.

1. 존재하는 라인

그림 5는 제안하는 존재하는 라인의 수평 보간법을 나타낸다. 식(6)과 같이 계수를 주어 4tap FIR 필터를 기본으로 VTF 방식을 수평으로 적용하여 장점을 취하였다. VTF와는 달리 전후 프레임의 해당 화소가 빈 화소이기 때문에 좌우의 값을 이용하였으며, 현재 프레임에서 인접한 두 화소만을 사용하는 대신 4tap FIR 필터를 적용함으로서 화소 간의 상관관계가 큰 고화질의 영상에서 라인평균 방식에 비해 고주파 성분을 보존하였다.

그림 5.존재하는 라인의 필터 Fig. 5. Proposed algorithm for existing line

그림 6.De-interlacing으로 보간한 라인의 필터 Fig. 6. Proposed algorithm for deinterlaced line

2. De-interlacing으로 보간한 라인

식 (7)은 제안하는 De-interlacing으로 보간한 라인의 수평 보간법을 나타낸다. 먼저 인접한 프레임의 참조 화소 간의 차이 값을 계산하여 변화한 값이 임계 값 보다 크지 않으면서 현재 프레임과 인접한 프레임의 화소의 평균 값 간에 차이가 없는 경우 움직임이 적은 지역으로 판단하여, 인접한 프레임의 존재하는 값을 이용하여 보간을 진행한다. 반대로 인접한 프레임의 참조 화소 간의 차이 값이 큰 경우 영상 안에서 움직임이 발생했다고 판단하여, 인접한 프레임의 가중치를 적게 하여 계수를 부여하였다.

 

Ⅳ. 실험 결과 및 분석

제안된 알고리듬의 성능 비교를 위해 16개의 CIF(352x288) 크기의 동영상과 4개의 HD급(1024x768) 크기의 동영상을 이용하여 실험하였다. 디인터레이싱 기법의 정확도에 따른 제안하는 알고리듬의 이득을 확인하기 위해 각각의 영상에 대해 LA와 4tap FIR필터, VTF로 디인터레이싱 한 후에 수평 해상도를 보간하였을 때의 결과를 다뤘고, 수평 보간하는데 사용한 기법은 기본적인 LA 방식과 4tap FIR 필터 방식과 6tap FIR 필터 방식, 그리고 제안하는 알고리듬을 적용하여 실험을 해보았다.

실험에서는 영상의 휘도 성분만을 고려하였으며, 성능을 비교하기 위해 화질 비교 방법으로는 복원 영상의 PSNR(Peak Signal-to-Noise Ratio) 수치를 사용하였다.

여기서 MSE(Mean Squared Error)는 원래 영상 FO와 복원한 영상 F의 화소간의 차이의 제곱의 합이며, M은 열의 개수, N은 행의 개수이다.

표 1,2는 라인평균 방식과 4tap FIR필터, VTF 방식에 의해 디인터레이싱된 CIF와 HD 영상에 대해 기존의 알고리듬과 본 논문에서 제안한 방법을 적용한 영상의 PSNR(dB) 수치를 비교하여 나타내었다. 표 1,2의 결과로부터 제안한 알고리듬이 4tap FIR 필터나 6tap FIR 필터보다 우수한 성능을 나타냄을 확인할 수 있고, 4tap FIR 필터를 기준으로 함으로써 화소간의 상관관계가 큰 HD 영상에서 보다 이득을 취할 수 있음을 알 수 있다, 또한 제안하는 알고리듬의 기준이 디인터레이싱 시 발생하는 오차에 대한 개선인 만큼, 디이터레이싱 기법이 단순하여 발생하는 오차가 클수록 보다 많은 이득을 얻을 수 있음을 확인할 수 있었다.

표 1.CIF 영상 PSNR 비교(단위: dB) Table 1. PSNR for CIF stream(unit: dB)

표 2.HD 영상 PSNR 비교(단위: dB) Table 2. PSNR for HD stream(unit: dB)

표 3에서는 라인별로 분리하여 필터를 적용하는 것에 대한 PSNR 이득 확인을 위하여 HD영상에 대해 (a)양쪽에 존재하는 라인의 필터를 적용 시 (b)양쪽에 디인터레이싱 라인의 필터를 적용 시와 비교하였다. 실험의 결과를 통해 격행주사 특성에 맞춰 빈 라인과 존재하는 라인에 각기 다른 방식을 적용하는 것이 성능을 향상시킨다는 것을 확인 할 수 있다.

표 3.HD 영상 PSNR 비교(단위: dB) (a)양쪽에 존재하는 라인의 필터를 적용 시 (b)양쪽에 디인터레이싱 라인의 필터 적용 시 Table 3. PSNR for HD stream(unit: dB) (a)adjust existing line`s filter to both side (b)adjust deinterlacing line`s filter to both side

표 4에서는 디인터레이싱과 수평 보간 방법에 따른 연산 시간에 대해 각 방법별로 나타내 보았다. 제안하는 알고리듬이 기존의 알고리듬에 비해 약간의 시간이 더 걸리기는 하지만 실시간으로 영상을처리하는데 있어서 무리가 없음을 확인할 수 있다.

표 4.HD 영상 연산시간 비교(100 frames/ms) Table 4. Computation performance comparison for HD stream(100 frames/ms)

그림 7은 CIF 영상 중 하나인 container에서의 주관적인 화질 비교로서 일반적으로 영상 보간에 사용되는 (b)디인터레이싱과 수평 보간에 라인평균 방법을 사용한 양 선형(bi-linear) (c)디인터레이싱과 수평 보간에 4tap FIR 방법을 사용한 2차 선형(bi-cubic) 방식에 비해 제안하는 알고리듬이 경계에서의 계단 현상의 감소나 물결의 에지를 살리는데 더 자연스러운 보간이 이루어졌음을 볼 수 있다.[9-11,13]

그림 7.De-interlacing으로 보간한 라인의 필터 Fig. 7. Result of proposed algorithm

 

Ⅴ. 결 론

본 논문에서는 SbS 영상이 격행주사로 전송되었을 때, 수평 해상도 복원 시 발생하는 제한점에 대해 개선하는 방법을 제안하고 실험을 하였다. 이를 위해서 디인터레이싱 된 영상에 대해 존재하는 라인과 보간된 라인으로 나눠 각기 다른 필터를 적용함으로서 디인터레이싱 시 발생한 오차에 의한 영향을 줄이고자 하였다. 실험의 결과를 살펴보면 본 논문에서 제안된 알고리듬은 디인터레이싱 기법에 따라 얻을 수 있는 이득에 영향을 받았으며, 적용된 결과는 기존의 알고리듬과 비교해 향상된 결과 값을 갖는 것을 확인할 수 있었다. 실험 결과 HD급 영상의 경우 본 논문에서 제안된 알고리듬을 LA로 디인터레이싱 된 영상에 적용 시 기존의 6tap FIR filter 알고리듬보다 평균 약 0.51dB 향상된 것을 확인할 수 있었다. 반면 상대적으로 오차가 적은 VTF로 디인터레이싱 된 영상들에 적용한 결과 평균 약 0.19dB의 향상된 PSNR 수치를 가져오는 것을 확인 할 수 있었다. 또한 제시된 다른 방법들보다 주관적, 객관적 성능 평가에서 우수함을 보인다.