폐색영역탐지 기능을 갖는 프레임율 변환

Frame Rate Up-Conversion with Occlusion Detection Function

Abstract

폐색영역 탐지(Occlusion detection)와 중간값 필터(Median filter)를 조합한 새로운 움직임 추정 기반의 프레임율 변환(Frame rate up-conversion based on motion estimation) 기술을 소개한다. 움직임 추정은 움직임 벡터(Motion vector)를 얻기 위해 수행한다. 그 후 폐색영역 탐지방법은 폐색된 부분에서 움직임 벡터를 개선한다. 폐색된 영역에서는 잘못된 움직임 벡터를 찾을 가능성이 높으므로 움직임 벡터 의존율이 적은 중간값 필터를 적용하고, 비폐색된 영역에서는 움직임 벡터가 연속적이고 신뢰도가 높으므로 BDMC(Bi-Directional Motion Compensated interpolation)를 적용하여 보간 영상을 생성한다. 양방향 움직임 벡터를 사용하는 BDMC는 움직임 벡터의 연속성과 신뢰도가 높을수록 좋은 결과를 얻는다. 실험결과에서 제안된 알고리즘이 기존의 방법보다 더 나은 성능을 갖는다. 실험에서의 평균 PSNR(Peak signal to noise ratio)은 테스트 시퀀스들에 대하여 BDMC 대비 약 0.16dB 향상되었다.

A new technology on video frame rate up-conversion (FRUC) is presented by combining the median filter and motion estimation (ME) with an occlusion detection (OD) method. First, ME is performed to have a motion vector. Then, the OD method is used to refine motion vector in the occlusion region. Since the wrong motion vector can be obtained with high possibility in the occluded area, a median filtering that less depends on the motion vector is applied to that area, and since the motion vector is continuous and robust in the non-occluded area, BDMC(Bi-Directional Motion Compensated interpolation) is applied to obtain interpolated image in that area. BDMC using the bi-directional motion vectors achieves good results when continuity and robustness of the motion vector is higher. Experimental results show that the proposed algorithm provides better performance than the conventional approach. The average gain of PSNR (Peak Signal to Noise Ratio) is approximately 0.16 dB in the test sequences compared with BDMC.

Ⅰ. 서 론

최근 UHD 디스플레이의 상용화와 동영상 스트리밍을 사용하는 모바일 사용자의 증가로 요구하는 대역폭이 크게 증가하였다. UHD영상을 LCD디스플레이에서 잔상 없이 재생하기 위해서는 120hz이상의 프레임율을 가져야 한다. 하지만 이와 같은 프레임율을 갖기 위해서는 높은 대역폭이 요구되는데 현실적으로 불가능하므로 낮은 프레임율을 갖는 영상을 보내어 추가적인 데이터 없이 높은 프레임율로 변환하는 기술이 요구된다. 모바일 스트리밍 환경 또한 제한된 네트워크 대역폭으로 인해 높은 수준의 영상을 서비스하기 위해서는 높은 프레임율로 변환하는 기술이 필요하다. 프레임율 변환은 인접한 두 개의 프레임들 사이에 보간된 프레임을 삽입하여 프레임율을 증가시켜 영상의 연속성을 증가시키는 기술이다[1][2]. 프레임율 변환 알고리즘은 2가지 범주로 구분 할 수 있다. 첫 번째 방법은 인접한 두개의 프레임 사이의 중간 프레임을 다른 프레임으로 부터 그대로 복사하거나 평균하여 보간하는 방법이다[3]. 이러한 방법은 계산속도가 빠르나 움직임이 많은 영상에서는 부적절한 결과를 얻는다. 다른 방법은 움직임 보상 프레임율 변환(Motion compensated Frame Rate Up Conversion)[4]-[11]으로 움직임 추정(Motion Estimation)과 움직임 보상 보간(Motion Compensated Interpolation)을 통해 중간 프레임을 보간하는 방법이다. 움직임 추정은 물체의 움직임을 나타내는 움직임 벡터(Motion Vector)를 생성한다. 그리고 움직임 벡터를 이용해 움직임 보상 보간을 하여 중간 프레임을 생성한다.

움직임 보상 프레임율 변환의 성능은 움직임 추정과 움직임 보상의 정확성에 의존된다. 일반적으로 움직임 보상 프레임율 변환은 단 방향 움직임 벡터들을 사용한다[4][5]. 임의의 한 프레임에서 움직임 보상 프레임율 변환을 적용할 경우 현재의 프레임과 시간상 이전의 프레임중 하나를 선택하여 블록 단위로 나눈 후 다른 프레임으로의 움직임 벡터들을 블록에 따라 생성한다. 그 후 생성된 움직임 벡터를 이용하여 보간된 프레임을 생성한다. 하지만 이러한 방식은 보간된 프레임에서 구멍(hole)이나 블록간의 겹침(overlaps)이 발생하는 문제가 있다. 이러한 문제를 해소하기 위하여 양방향 움직임 벡터를 사용하는 BDMC 방식이 제안되었다[6][7]. 이 방법은 시간적으로 인접한 두 프레임 사이에 보간된 영상이 저장될 프레임을 블록 단위로 나누고 각각의 블록에 두 개의 움직임 벡터를 할당하여 각각 인접한 프레임으로의 움직임 벡터를 생성한다. 그리고 생성된 움직임 벡터를 따라서 보간된 픽셀 값들이 블록 안에 저장되어진다. 각각의 움직임 벡터들은 양방향 움직임 추정(Bi-directional motion estimation) 알고리즘을 사용하여 측정 된다[8][9]. 하지만 이 방법은 블로킹 현상(blocking artifact)이 발생하거나 움직임 벡터들이 폐색된 영역에서 부적절한 결과가 발생하는 단점이 있다. 폐색영역에서는 현재와 이전 프레임으로의 움직임 추정 중 한 개 이상이 유효하지 않게 되어 보간이 제대로 수행되어지지 않게 된다. 이러한 문제를 피하기 위해 BDMC와 중간값 필터링을 폐색영역탐지의 결과에 따라 스위칭 하는 새로운 움직임 추정 기법을 제안한다. 폐색 영역일 경우 중간값 필터링을 사용하고 아닌경우 BDMC 를 사용한다.

2장 제안하는 방법에서는 폐색영역탐지에 대한 설명과 BDMC, 중간값 필터에 대한 설명을 하였고 3장 실험 결과 및 분석에서 다양한 시퀀스들을 기존의 알고리즘인 BDMC와 중간값 필터를 사용하여 프레임율 변환을 하여 제안되는 알고리즘과의 화질 차이를 비교 및 분석하였다.

 

Ⅱ. 제안하는 방법

움직임 보상 프레임율 변환은 움직임 추정과 움직임 보상 보간 과정으로 진행된다. 움직임 추정은 현재 블록과 예측 블록 사이에서의 SAD(Sum of absolute difference)값을 최소로 하는 움직임 벡터 후보들 사이에서 최선의 값을 찾기 위해 블록기반 움직임 추정을 한다. 하지만 폐색영역에 있는 움직임 벡터들은 유효성이 떨어지기 때문에 블로킹 현상이 발생할 수 있다. 폐색 영역은 주로 움직이는 물체의 경계 영역을 따라 발생하게 되는데 이러한 영역의 움직임 벡터의 값들은 연속적이지 않고 인근 움직임 벡터 값들과 차이를 보이게 된다. 이러한 현상에 기인하여 폐색영역의 움직임 벡터들을 개선하는 방법을 제안한다. 제안되는 방법은 폐색영역탐지로 폐색영역이 검출됐다면 중간값 필터링을 적용되고 그렇지 않다면 BDMC를 적용한다.

1. BDMC

BDMC는 2개의 움직임 벡터를 사용하여 움직임 보상을 하는 방법이다. 그림 1은 블록기반 BDMC 프로세스를 보여준다. 2개의 프레임 사이에 보간될 프레임인 중간프레임 fIP 가 있다. 이 중간프레임을 블록단위로 나누어 각각의 블록마다 왼쪽과(ft) 오른쪽(ft-1) 프레임으로의 움직임 벡터를 계산한다. 중간프레임의 픽셀들은 아직 존재하지 않으므로 중간프레임으로 부터 움직임 벡터를 계산할 수가 없다. 그러므로 오른쪽 프레임의 콜 블록(collocated block)으로부터 왼쪽 프레임으로 움직임 벡터를 구한 후 각각 1/2과 –1/2을 곱하여 왼쪽과 오른쪽 프레임으로의 움직임 벡터로 사용한다. 그 후 움직임 벡터를 이용하여 움직임 보상을 수행한다. (식 1)

그림 1.양방향 움직임 보상 프로세스 Fig 1. BDMC(Bi-directional motion compensation) process

2. 중간값 필터

움직임 추정에서 계산된 움직임 벡터들은 모든 픽셀 또는 물체들에 대하여 항상 유효한 값을 나타내지는 않는다. 유효하지 않은 움직임 벡터가 사용되어 보간된 프레임에는 영상 열화가 발생할 수 있다. 이러한 문제를 어느 정도 해소하기 위해 중간값 필터링이 사용된다. 중간값 필터링은 움직임 보상된 픽셀과 움직임 보상 없이 보간된 픽셀 값들 중 중간 값을 택한다. 움직임 벡터의 정확성이 크게 떨어지는 부분에서 중간값 필터링을 적용한다면 블로킹 현상을 크게 줄일 수 있다. 중간값 필터링에는 정적 중간값 필터링(Static Median Filtering)과 동적 중간값 필터링(Dynamic Median Filtering)이 있다. 정적 중간값 필터링은 식(2)과 같이 오른쪽과 왼쪽의 프레임에서 움직임 보상이 되지 않은 픽셀값 2개를 후보로 취하고 BDMC값을 후보픽셀로 취하여 3가지 후보 중 중간값을 선택한다.

이 방법은 정적인 영상에 효과적지만 움직이는 물체가 있는 영역에는 효과적이지 않다.

두 번째로 동적 중간값 필터링(Dynamic median filtering)은 식(3)와 같이 오른쪽과 왼쪽프레임으로부터 움직임 보상이 된 두 픽셀을 후보로 취하고 움직임 보상이 되지 않은 두 픽셀의 평균값을 후보로 취하여 3가지 후보 중 중간 값을 선택한다.

동적 중간값 필터링은 정적 중간값 필터링에 비해 움직임이 큰 영역이나 물체에서 블로킹 현상을 크게 줄여준다. 그러므로 폐색영역에는 동적 중간값 필터링을 사용한다. 실제 실험시 정적 중간값 필터링 보다 동적 중간값 필터링을 사용할시 객관적 화질이 더 높았고 주관적 화질도 더 좋았음을 확인할 수 있었다.

3. 폐색영역탐지 알고리즘

만일 움직임 벡터가 유효하게 측정되었다면, 움직임의 궤적을 따라 보간이 잘 수행될 것이다. 하지만 폐색영역에서는 움직임 벡터의 유효성이 떨어지기 때문에 보간이 제대로 수행되지 않을 수 있다. 그렇기 때문에 대체할 수 있는 다른 적절한 픽셀값을 찾아야 하지만 이는 쉽지 않다. 이러한 문제를 줄이기 위하여 폐색영역탐지 방법을 제안한다. 인근의 움직임 벡터를 분석하여 연속성이 떨어지는 곳을 폐색영역으로 탐지하여 움직임 보상 보간에 동적 중간값 필터를 사용한다. 폐색영역이 아닌 영역은 BDMC를 사용한다. 제안하는 폐색영역탐지 알고리즘의 순서도는 그림 2와 같다.

그림 2.폐색영역탐지 알고리즘 Fig 2. occlusion detection algorithm

MV는 움직임 벡터를 의미하며 LeftMv와 AboveMv는 각각 공간상의 왼쪽블록의 MV 위쪽블록의 MV를 의미한다. T는 주변 움직임 벡터와의 차의 임계(Threshold)값을 의미한다. 임계값은 주변 움직임 벡터와 차이가 클수록 임계치가 줄어들어 폐색영역이 될 확률이 증가하도록 하였다. 실제 예시를 그림 3에 도시하였다.

그림 3.폐색영역탐지 예시 Fig 3. Example of Occlusion detection

왼쪽그림은 폐색영역이 아닌 경우이고 오른쪽 그림은 폐색영역인 경우이다. 흰색 블록은 보간하려고 하는 블록이고 회색블록은 각각 공간상 왼쪽과 위쪽에 인접해 있는 블록이다. 폐색영역이 아닌 경우는 왼쪽과 위의 움직임 벡터와 유사하다. 하지만 폐색영역이 탐지된 경우는 왼쪽과 위쪽 움직임벡터와 상이하다.

 

Ⅲ. 실험 결과 및 분석

1. 실험 조건

보간된 영상 화질에 대한 평가는 PSNR(Peak Signal to Noise Ratio)로 계산하였다.

테스트 시퀀스들은 총20개이며 다양한 해상도로 구성되어있다. 테스트 시퀀스들의 프레임율은 20~60hz 이고 원본과의 화질 비교를 위해 홀수 프레임들만 이용하여 보간 프레임을 생성하고 짝수 프레임과 PSNR 비교를 하였다. 실험 조건에 대한 요약은 표 1과 같다.

표 1.실험 조건 Table 1. Experimental conditions

2. 실험 결과

표 2 는 기존의 프레임율 변환 방법과 제안하는 방법의 평균 PSNR 값의 비교를 나타낸다. 알고리즘들 중 가장 높은 평균 PSNR을 굵은 글씨로 표기하였다.

표 2.PSNR 비교 결과 Table 2. Comparison of PSNR results

표 2에서 보는 바와 같이 대부분의 시퀀스에서 폐색영역 탐지 알고리즘이 0.01~0.24db 향상되었다. 물체나 배경의 움직임이 있는 대부분의 영상에서는 제안하는 알고리즘의 PSNR이 높았다. 하지만 카메라 움직임이 없고 물체의 형태 변화가 많은 영상에서는 SMF가 조금 더 높은 PSNR을 나타내었고 물체나 배경이 대부분 이동하고 있으며 이동방향이 크게 바뀌지 않는 영상에서는 DMF가 조금 더 높은 PSNR을 나타내었다.

그림 4 (a)~(e) 는 50% 축소된 “Cactus”시퀀스의 25번째 프레임이다.

그림 4.“Cactus” 의 25번째 보간된 프레임 영상 Fig. 4. image of 25th interpolated frame in Cactus

그림 4 에서 보는 것과 같이 물체의 움직임이 크게 발생하는 부분에서 블로킹 현상이 DMF나 제안하는 방법보다 BDMC나 SMF에서 더 많이 발생한다. 그리고 움직임이 미세하게 발생하는 부분에서는 DMF보다 BDMC나 제안하는 방법이 더 선명하다. 제안하는 방법은 이 두가지 경우 모두 DMF나 BDMC중 최선의 방법을 택함으로써 블로킹 현상과 영상의 블러링(blurring)을 동시에 줄여줄 수 있었다.

그림 5에서는 일부 테스트 시퀀스들의 PSNR 변화 그래프를 변환 알고리즘에 따라 구분하여 표기하였다. BDMC와 DMF, 제안하는 알고리즘은 PSNR값들이 서로 매우 비슷하였고 SMF인 경우 일부 구간에서 좋은 부분이 있었지만 대체적으로 다른 알고리즘들에 비해 성능이 떨어졌다. 제안하는 알고리즘은 전체적인 구간에서 BDMC나 DMF에 비해 다소 좋은 PSNR을 가졌다.

그림 5.보간된 프레임에 대한 PSNR 곡선 Fig 5. The PSNR curves of the interpolated frames

 

Ⅴ. 결 론

실험 결과를 통하여 폐색검출이 보간 영상 화질 개선에 도움이 된다는 것을 알았다. 제안된 방법의 핵심은 움직임 벡터의 차이를 폐색영역검출에 사용할 수 있다는 것이다. 실험된 모든 시퀀스에서 항상 기존의 방법들과 비교하여 좋은 성능을 보이지는 않았지만 대부분의 경우 더 좋은 결과를 얻을 수 있었다. 일부 결과가 좋지 않았던 영상의 특징은 다수의 물체의 움직임이 있거나 물체의 윤곽선 변형이 많았던 경우이다. 물체의 움직임이 여러 개 있을 경우 물체 간의 충돌지역 때문에 움직임 벡터의 정확성이 떨어졌다. 그리고 윤곽선 변형이 많은 물체는 하나의 움직임 벡터가 여러 개의 움직임을 대치함으로서 안 좋은 보간 영상이 생성되었다. 이러한 문제를 해결하기 위해 다음의 연구주제로는 움직임 벡터의 정확성을 높이고 움직임 벡터의 적용 영역을 세분화하는 연구가 수행될 예정이다.