Fast Intra Mode Decision Algorithm for Depth Map Coding using Texture Information in 3D-AVC

3D-AVC에서 색상 영상 정보를 이용한 깊이 영상의 빠른 화면 내 예측 모드 결정 기법

Abstract

The 3D-AVC standard aims at improving coding efficiency by applying new techniques for utilizing intra, inter and view predictions. 3D video scenes are rendered with existing texture video and additional depth map. The depth map comes at the expense of increased computational complexity of the encoding process. For real-time applications, reducing the complexity of 3D-AVC is very important. In this paper, we present a fast intra mode decision algorithm to reduce the complexity burden in the 3D video system. The proposed algorithm uses similarity between texture video and depth map. The best intra prediction mode of the depth map is similar to that of the corresponding texture video. The early decision algorithm can be made on the intra prediction of depth map coding by using the coded intra mode of texture video. Adaptive threshold for early termination is also proposed. Experimental results show that the proposed algorithm saves the encoding time on average 29.7% without any significant loss in terms of the bit rate or PSNR value.

1. 서 론

최근 3D 산업의 발전과 더불어 영화, 방송, 게임, 의료 등 다양한 분야에서 3차원 영상에 대한 관심이 높다. 3차원 영상은 기존 색상 영상으로만 구성된 2차원 영상과 새롭게 추가된 깊이 영상으로 구성된다. 깊이 영상은 카메라와 영상 내 객체와의 거리를 표현하는 값으로, 디스플레이에 직접 주사되지 않고 시점을 합성할 때 이용한다. 기존의 부호화 기술은 색상 영상으로만 구성된 2차원 영상을 대상으로 하였기 때문에 새로운 깊이 영상의 특징을 이용하는 새로운 부호화 방식을 중심으로 3차원 영상 부호화 연구가 진행되고 있다[1-4].

3차원 효과를 표현하기 위한 영상의 표준화 작업은 양안 시차에 착안한 스테레오 영상을 시작으로, 비디오 표준화 기관인 MPEG에서 1995년 MPEG-2에서 스테레오 영상 간의 시차를 보상하는 기술을 지원하였다[5]. 이후, 3차원 관련 부호화 방식의 표준화 작업은 MEPG-4 표준의 Part 2, Part 10, MPEG-A 시스템 표준 Part 11, MPEG-C Part 3 등으로 기술을 정의하였다[6]. VCEG과 공동으로 설립된 JVT로 진행하면서 2009년 1월에는 H.264의 확장표준 형식으로 3차원 관련 MVC(Multi-view Video Coding) 기술을 표준화 완료하였으며[7], 깊이 영상을 사용하는 표준화 필요성이 제기되면서 3DVC(3D Video Coding) 형식으로 표준화를 진행하였다. 2011년 4월에 3DVC 제안 요청서를 배포하여[8] 국내외 기관의 기술 경쟁을 통해, 크게 두 가지 방법으로 표준안을 제정하고 있다. 2012년 이후에는 JCT-3V팀으로 표준화를 진행 중이며, 현재 가장 널리 이용되고 있는 H.264/AVC와의 호환성을 유지하기 위한 AVC기반의 3D-AVC 부호화 방식의 표준화 작업이 2013년 7월 완료되었다[9]. 부호화 효율을 높인 차세대 표준인 HEVC(High Efficiency Video Coding)와의 호환성을 기반한 3D-HEVC는 현재 표준화 작업이 진행 중이다[10].

3D 모니터나 3D-TV와 같은 3D 디스플레이 장치는 주로 양안 입체 영상을 이용하여 3차원 효과를 생성하게 된다. 양안 영상의 경우에는 두 개의 시점을 고려했지만, 3D 산업이 발달함에 따라 디스플레이에서 지원하는 시점 수가 증가하는 추세이다. 다수의 시점에 따른 영상의 부호화에서는 데이터 양이 방대하기 때문에 부호화 방식이 중요한 쟁점이 된다. 색상 영상만을 이용하는 2D 비디오 장치와 디스플레이가 보편적으로 이용되고 있고, 2D 영상에서는 H.264/ AVC 부호화 표준 방식으로 많이 압축하고 있다. 현재 2D 영상 서비스를 제공하는 장치와 호환되기 위해서는 H.264/AVC와 호환성을 보장하는 것이 필요하다. 따라서 본 논문에서는 H.264/AVC 기반의 3D-AVC 부호화 표준 방식에 초점을 맞추었다.

3D-AVC에서는 새로 추가된 깊이 영상 또한 색상 영상과 마찬가지로 데이터의 양을 줄이기 위한 압축 과정이 필요하기 때문에 부호화 복잡도가 크게 증가한다. 부호화 효율을 높이기 위한 부호화 과정에서 다양한 예측 기술을 적용한다. 3D-AVC에서는 동일 시점에서의 화면 내 예측, 화면 간 예측, 다른 시점간의 예측으로 크게 세 가지 예측 구조를 채택하였다. 각 예측 과정은 다시 세분화되어 매우 다양한 예측 모드를 수행한다. 모든 가능한 경우의 예측 모드를 임의 수행하여 RD(Rate Distortion) 값을 측정한 후, 가장 부호화 효율이 높은 모드를 최종 예측 모드로 선택하고 이러한 과정을 RD 최적화 기술이라 한다[11]. 기존 색상 영상뿐만 아니라 깊이 영상의 부호화 과정이 추가되었기 때문에 부호화 복잡도가 더욱 크게 증가하기 때문에 가장 큰 부분을 차지하는 예측모드 선택 과정의 복잡도를 개선할 필요가 있다.

이러한 부호화 복잡도를 줄이기 위해서 H.264/AVC와 MVC 등 기존 색상 영상의 부호화 방식에서 빠른 예측 모드 선택을 위한 연구들이 다양하게 진행 되어왔다[12-16]. 부호화 시간을 줄이기 위한 방법들이 제안되었으나 색상 영상을 대상으로 하였기 때문에 깊이 영상이 추가된 3D-AVC에는 부분적으로만 적용이 가능하다. 색상 영상에 대한 적용은 가능하지만 부호화 복잡도를 더욱 개선하기 위해서는 깊이 영상의 특성을 이용하는 새로운 기법이 요구된다. 3DVC에 대한 관심이 높아지면서 HEVC 기반의 3D-HEVC의 부호화 복잡도 문제를 해결하는 방법이 모색되고 있지만, 3D-AVC를 대상으로 하는 기법은 거의 없다. 모바일 3D 기기에 대한 관심이 높아지는 현재 추세에 따라 실시간 부호화가 가능하기 위해서는 부호화 복잡도 문제 해결의 필요성이 더욱 커지고 있다. 본 논문에서는 이러한 3D-AVC에서의 부호화 복잡도 문제를 해결하기 위한 기법을 제안한다. 3D-AVC의 참조 소프트웨어인 3DV-ATM에서는 모든 예측 모드를 수행한 후 최적의 모드를 선택하지만, 제안하는 기법에서는 미리 선택함으로써 부호화 복잡도를 감소한다. 새로 추가된 깊이 영상의 특성을 이용하여 부호화 과정에서 예측 모드를 빨리 선택함으로써 부호화 시간을 줄이는 방법이다. 깊이 영상은 Fig. 1에서 보는 바와 같이 색상 영상과 밀접한 연관성이 있다. 깊이 영상은 색상 값이 없는 그레이 스케일로 표현되지만 색상 영상과 동일한 장면을 나타내기 때문에 영상 내 객체의 윤곽선과 시간에 따른 움직임, 배경 등이 유사하다. 이러한 특성을 이용하여 깊이 영상의 부호화 과정에서 예측 모드를 빠르게 결정하는 기법을 제안하였다.

Fig. 1.Texture video and depth map.

본 논문의 구성은 다음과 같다. 2장에서 3D-AVC의 전체 예측 구조 및 깊이 영상의 화면 내 예측 과정을 살펴보고, 3장에서는 본 논문에서 제안하는 깊이 영상의 화면 내 예측 과정의 속도 개선 기법을 적용하여 3D-AVC의 부호화 복잡도 개선 방법에 대해 설명한다. 4장에서는 제안하는 방법을 적용한 실험결과로 성능을 평가하고, 5장에서는 결론과 향후 연구에 대해 기술한다.

 

2. 3D-AVC의 부호화 과정

2.1 3D-AVC의 전반적 부호화 구조

3D-AVC에서는 특정한 시점의 3D 장면에 대한 색상 영상과 깊이 영상을 기본 단위로 나타낸다. 각 부호화된 데이터는 H.264/AVC나 MVC 표준 방식과 유사하게 전송하거나 저장하기 위해 하나 이상의 NAL (Network Abstraction layer) 단위로 구성된다. 3D-AVC의 전체 부호화 과정의 전반적 구조와 부호화 순서는 Fig. 2와 같다. 사각형은 각 영상의 프레임으로 흰색은 색상 영상, 회색은 깊이 영상을 나타낸다. T는 시간 순서를, S는 시점의 순서를 각각 의미한다. 색상 영상은 부호화 입력 파라미터에 따라 H.264/AVC나 MVC 표준 방식과 호환이 가능하다. 육각형은 부호화 순서를 나타내며, 화면 내 예측에서는 색상 영상이 먼저 부호화되고 화면 간 예측의 경우에는 깊이 영상이 우선 부호화되는 경우를 표현하였다.

Fig. 2.The Encoding Order of 3D-AVC.

본 논문에서는 화면 내 예측 과정을 고려하기 때문에 색상 영상이 먼저 부호화되고 깊이 영상이 대응하는 동일 시점, 시간의 색상 영상 다음 부호화한다. 이러한 부호화 구조 순서로 인해, 먼저 부호화된 색상 영상의 정보를 깊이 영상의 화면 내 예측 과정에서 활용하여 부호화 시간을 줄이는 방법을 제안한다.

2.2 화면 내 예측 구조

화면 내 예측은 동일한 시점, 동일한 시간의 한 프레임 내에서 이웃 매크로블록의 픽셀과의 유사성을 이용하여 부호화 효율을 높이는 방법이다. HEVC와 호환이 가능한 3D-HEVC에서는 깊이 영상의 화면 내 예측 구조에 DDM(Depth Modeling Modes)과 같은 다양한 기술이 추가되었다. 반면, 3D-AVC에서 화면 내 예측 구조는 DISP(Depth Intra Skip Prediction)만 제외하면 기존의 부호화 방식과 대부분 동일하다. 기존 표준 방식과 같이 예측 블록의 크기는 4×4, 8×8 서브 블록과 16×16 크기의 매크로블록 세가지 종류가 있다. 화면 내 예측을 수행하는 기본 단위는 매크로블록으로 부호화하려는 매크로블록은 먼저 부호화된 위쪽과 왼쪽 매크로블록의 픽셀들을 예측 대상으로 참조한다. 우선 16×16 크기의 매크로 블록의 세분화된 예측 모드는 Fig. 3과 같이 4가지이다.

Fig. 3.16×16 Intra Prediction Modes.

4×4 크기의 예측 모드에서는 16×16 매크로블록 내에서 총 16개의 서브 블록으로 나누어져 각각 다양하게 예측을 수행한다. 부호화하려는 4×4 서브 블록은 매크로블록과 마찬가지로 먼저 부호화된 위쪽과 왼쪽 서브 블록의 픽셀들을 참조한다. 예측 모드의 종류는 Fig. 4와 같이 총 9가지로 다양한 방향으로 예측이 가능하다. 8×8 크기의 예측 모드의 종류는 4×4 크기의 9가지 예측 모드와 동일하다.

Fig. 4.4×4 Intra Prediction modes.

화면 내 예측 과정에서는 4×4, 8×8, 16×16 블록의 크기에 따른 세분화된 방향성 예측 모드의 경우의 수에 해당하는 모든 과정을 수행한 후, RD 최적화에 따라 가장 최적의 모드를 선택한다. 부호화 효율을 높이기 위한 이러한 예측 구조 때문에 화면 내 예측과정의 복잡도가 크게 증가한다.

 

3. 제안하는 깊이 영상의 화면 내 예측 모드 결정 기법

3.1 색상 영상과 깊이 영상의 유사성

깊이 영상의 부호화 방식은 기존 표준화 작업이 이루어진 색상 영상과 달리 새로 추가되었기 때문에 3DVC의 표준화에서 가장 핵심적이다. 깊이 영상은 색상 영상과 동일한 시간과 동일한 시점의 화면에서 객체와의 거리를 나타내는 값으로 그레이 스케일로 표현된다. 깊이 영상의 각 값들은 화면에 직접적으로 주사되지 않고, 다른 시점의 색상 영상을 생성하기 위한 합성 과정에 이용되어 3D 입체 효과를 표현하게 된다. 이러한 깊이 영상은 색상 영상과 동일한 화면을 표현하기 때문에 객체의 윤곽선이나 움직임이 색상 영상과 매우 유사하다.

색상 영상과 깊이 영상의 유사성을 알아보기 위해 실험을 통해 화면 내 예측 과정에서 최종 선택된 예측 모드의 분포를 살펴보았다. Fig. 5는 Balloons 영상의 3번 프레임의 화면 내 예측 모드 분포의 연관성을 나타낸 그림이다. 색상 영상과 깊이 영상의 최종 선택된 예측 모드를 4×4, 8×8, 16×16의 블록 크기에 따라 분석하였다. 3D-AVC의 부호화 구조에서 색상 영상이 먼저 부호화되기 때문에 깊이 영상이 부호화 된 색상 영상의 정보를 이용하는 데 중점을 두었다. Fig. 5에서 분홍과 초록색은 색상 영상이 16×16 블록 크기로 예측된 경우이고, 흰색 부분은 그 외 예측 모드인 경우이다. 분홍색 부분은 깊이 영상의 예측 모드도 색상 영상과 동일하게 16×16 크기로 최종 선택된 경우를 나타낸 것이다. 초록 부분은 색상 영상과 달리 16×16이 아닌 4×4나 8×8 블록 크기로 예측된 경우이다. 흰색 부분이 아닌 색상 부분 중 대부분이 분홍색인 것은 색상 영상의 블록 크기와 깊이 영상이 매우 유사한 예측 모드로 부호화된다는 것을 의미한다.

Fig. 5.Similarity distribution in a frame of Balloons sequence.

색상 영상과 깊이 영상의 유사성을 보이기 위한 화면 내 예측 모드에서의 블록 크기에 대한 실험의 결과를 Table 1에 나타내었다. 색상 영상이 16×16 크기로 화면 내 예측인 경우 대응하는 깊이 영상도 동일한 블록 크기로 예측 모드 결과가 나오는 경우가 88.6%로 매우 높은 유사성을 가짐을 알 수 있다. 이러한 유사성을 기반으로 깊이 영상의 화면 내 예측을 수행하는 과정에서 먼저 부호화된 색상 영상의 예측모드를 이용하면 부호화 속도를 줄일 수 있다.

Table 1.Average probability for the intra mode distribution

3.2 깊이 영상의 빠른 화면 내 예측 모드 결정 기법

앞서 살펴본 바와 같이, 화면 내 예측 과정에서 색상 영상과 깊이 영상이 매우 유사한 특징이 있다. 이러한 유사성을 바탕으로 본 논문에서는 깊이 영상의 화면 내 예측 부호화 과정에서 색상 영상의 정보를 이용함으로써 예측 모드를 빠르게 결정하는 기법을 제안한다. 깊이 영상의 화면 내 예측 부호화 과정에서는 다양한 블록 크기의 예측 모드를 수행한 후 RD 값이 가장 작은 최적의 모드를 선택하기 때문에 부호화 시간이 매우 증가하는 문제점이 있다. 제안하는 기법은 블록 크기를 미리 결정함으로써 예측 과정을 간단하게 하여 깊이 영상의 부호화 시간을 줄일 수 있다.

제안하는 기법의 전체 부호화 구조는 Fig. 6과 같다. 화면 내 예측 과정에서 먼저 부호화된 색상 영상의 최적 모드의 크기가 16×16인 경우 깊이 영상의 최적 예측 모드의 블록 크기도 동일하게 적용한다. 화면 내 예측 모드 전체를 수행하는 대신 16×16 예측 모드만 수행함으로써 계산 복잡도를 줄인다. 색상 모드가 16×16인 경우 깊이 영상이 동일한 블록 크기로 최적이 되는 확률이 약 90%로 매우 높지만, 그렇지 않는 예외적 경우에는 비트율이 증가하여 전체 부호화 효율이 감소하는 문제가 있다. 이러한 비트율 증가를 막기 위해 색상 영상의 블록 크기뿐만 아니라 RD 값을 이용하여 최종 블록 크기를 결정한다.

Fig. 6.Proposed 3D video encoding structure for 3D-AVC.

제안하는 깊이 영상의 화면 내 예측 과정의 알고리즘 흐름도는 Fig. 7에 나타내었다. 깊이 영상의 화면 내 예측 부호화는 먼저 대응하는 색상 영상의 블록 크기를 검사한다. 부호화된 색상 영상의 최적 모드가 16×16 블록 크기가 아닌 경우에는 전체 블록 크기의 예측 모드를 모두 수행하는 기존의 부호화 과정을 따른다. 색상 영상이 16×16인 경우에는 깊이 영상의 화면 내 예측 모드 중 16×16크기만 수행하여 그 RD 값을 다시 살펴본다. 비트율의 증가를 막기위해 RD 값이 임계값 보다 낮은 경우에는 16×16블록 크기의 예측 모드를 최종 화면 내 예측 모드로 선택하고 부호화 과정을 종료한다. RD 값이 임계값보다 큰 경우에는 깊이 영상의 블록 크기가 16×16이 아닌 경우 최적 모드일 가능성이 높기 때문에 모든 블록 크기를 수행하여 최적 모드를 결정한다. 제안하는 부호화 과정에서의 임계값은 QP값에 따라 적응적으로 변화하도록 하였다. 제안하는 기법은 깊이 영상의 모든 화면 내 예측 과정에 적용할 수 있기 때문에 전체 3D-AVC 부호화 과정의 속도를 감소할 수 있다.

Fig. 7.Flowchart of the proposed efficient mode decision.

 

4. 실험 결과 및 분석

제안한 깊이 영상의 빠른 화면 내 예측 모드 결정 기법의 성능을 평가한다. 깊이 영상의 화면 예측 과정의 부호화 속도를 중심으로 화질을 평가하기 위해 비트율을 함께 고려하였다. 실험은 3D-AVC의 참고 소프트웨어인 3DV-ATM(Test Model) 8.0[17]을 비교 대상으로 하여 제안한 기법을 적용한 후 결과와 비교하였다. 제안한 기법이 화면 내 예측 과정에 적용되기 때문에 모든 영상은 화면 간 예측과 시점 간 예측을 제외하고 모두 화면 내 예측 프레임으로 설정하였다. 실험 영상은 JCT-3V에서 제공하는 Balloons, Kendo, Newpaper, Dancer, GT_Fly 영상으로 총 5가지의 다양한 영상을 고려하였다. 각 영상은세 가지 시점으로 각각 QP값을 22, 26, 30, 34, 38로 다양하게 적용하여 실험하였다. 실험 영상 및 조건은 Table 2에 나타내었다.

Table 2.Coding configurations

제안한 기법의 성능을 평가하기 위한 측정 기준은 비트율, PSNR, 부호화 시간이다. 화면 내 예측 부호화 과정의 속도를 줄이는 기법을 평가하기 위해서 전체 부호화 시간을 측정하였고, 부호화한 깊이 영상의 부호화 효율과 화질을 평가하기 위해 비트율과 PSNR을 각각 측정하여 Bjontegaard의 계산법인 BDBR과 BDPSNR[18] 값으로 비교하였다. Table 3에서 보는 바와 같이 제안한 기법은 3DV-ATM과 비교하여 비트율이나 PSNR의 큰 변화 없이 전체 부호화 시간은 크게 감소하는 성능을 나타내었다. 전체 모드를 수행하는 3DV-ATM과 비교하여 약간의 차이지만 더 나은 결과가 나타나는 경우가 발생하는데, 이것은 깊이 영상이 16×16 크기 모드로 예측된 경우 더 나누어지는 모드보다 부호화 효율이 개선되는 경우이다. 깊이 영상이 색상 영상과 달리 전체 이미지 변화가 적기 때문에 나타나는 현상으로 볼 수 있다. 실험 영상의 종류에 따라서는 부호화 시간이 17.28%에서 40.69%까지 감소하였고, QP 값에 따라서는 10.65%에서 42.35%까지 감소한 것을 알 수 있다. 실험 결과에서 알 수 있듯이, 제안한 기법을 적용한 부호화 구조가 항상 3DV-ATM의 부호화 시간보다 크게 개선되었다.

Table 3.Experimental result

부호화한 깊이 영상의 부호화 효율과 화질을 평가하기 위해 4가지 실험 영상에 대한 RD곡선을 Fig. 8에 나타내었다. 제안한 기법을 적용한 결과와 비교 해보면, 화면 내 예측 모드의 전체 블록 크기에 대한 과정을 모두 수행하는 3DV-ATM의 최적화된 값과 매우 유사함을 알 수 있다. 이 결과는 제안한 기법이 부호화 효율이나 화질을 떨어뜨리지 않고 부호화 속도를 감소함을 보인다. 특히, 해상도가 큰 영상의 경우에는 16×16 블록 크기로 결정된 경우 화질이 조금 더 개선되는 경우도 있다.

Fig. 8.Comparison of RD curves between the 3DV-ATM and the proposed algorithm. (a) Balloons; (b) Kendo; (c) Newspaper; (d) Dancer.

Fig. 9는 주관적 화질 평가를 위해 QP가 34인 Balloons 영상의 20번째 화면을 비교하여 나타낸 것이다. 제안한 기법으로 부호화한 후 복원한 영상은 3DV-ATM을 적용한 영상과 거의 차이가 없음을 볼 수 있다. 화질의 차이가 거의 없으면서도 제안한 기법은 깊이 영상의 화면 내 예측 과정의 부호화 시간을 크게 감소하는 결과를 보였다.

Fig. 9.Subjective comparison of depth map frames in Balloons sequence. (a) original; (b) reconstructed frame (3DV-ATM); (c) reconstructed frame (proposed algorithm) (QP=34).

 

5. 결 론

본 논문에서는 3D-AVC에서 부호화 복잡도를 줄이기 위한 깊이 영상의 빠른 예측 모드 결정 기법을 제안하였다. 기존 부호화 복잡도 문제 해결은 주로 2D 부호화 방식이거나 3D의 경우 3D-HEVC의 새로운 기술에 대한 것들이 대부분이나, 본 연구에서는 2D 영상과의 호환성을 유지하기 위한 3D-AVC 표준을 대상으로 연구하였다. 우선, 화면 내 예측 과정에서 깊이 영상과 색상 영상과의 유사성을 찾기 위한 실험을 하였다. 화면 내 예측 모드의 분포를 분석한 결과, 색상 영상의 블록 크기와 깊이 영상의 최적 모드의 블록 크기가 16×16으로 동일한 경우가 88.6%로 매우 유사함을 알 수 있었다. 이러한 분석을 통해, 본 논문에서는 색상 영상의 화면 내 예측 모드가 16×16 크기인 경우 대응하는 깊이 영상의 예측 모드를 16×16 크기로 우선 결정하여 예측 과정을 단축시켰다. 깊이 영상의 부호화 효율과 화질을 유지하기 위해 RD 값도 함께 고려하였다. 3D-AVC의 참조 소프트웨어인 3DV-ATM 8.0과 비교한 실험 결과 제안한 기법의 부호화 속도가 평균 29.7% 감소하였고 영상의 화질은 객관적, 주관적 평가 결과 차이가 거의 없음을 알 수 있었다. 향후 화면 간 예측의 빠른 부호화 기법과 병행하여 3D-AVC 전체의 부호화 속도를 더욱 개선할 수 있다.