Fast PU Decision Method Using Coding Information of Co-Located Sub-CU in Upper Depth for HEVC

상위깊이의 Sub-CU 부호화 정보를 이용한 HEVC의 고속 PU 결정 기법

Abstract

HEVC (High Efficiency Video Coding) achieves high coding efficiency by employing a quadtree-based coding unit (CU) block partitioning structure and various prediction units (PUs), and the determination of the best CU partition structure and the best PU mode based on rate-distortion (R-D) cost. However, the computation complexity of encoding also dramatically increases. In this paper, to reduce such encoding computational complexity, we propose three fast PU mode decision methods based on encoding information of upper depth as follows. In the first method, the search of PU mode of the current CU is early terminated based on the sub-CBF (Coded Block Flag) of upper depth. In the second method, the search of intra prediction modes of PU in the current CU is skipped based on the sub-Intra R-D cost of upper depth. In the last method, the search of intra prediction modes of PU in the lower depth's CUs is skipped based on the sub-CBF of the current depth's CU. Experimental results show that the three proposed methods reduce the computational complexity of HM 14.0 to 31.4%, 2.5%, and 23.4% with BD-rate increase of 1.2%, 0.11%, and 0.9%, respectively. The three methods can be applied in a combined way to be applied to both of inter prediction and intra prediction, which results in the complexity reduction of 34.2% with 1.9% BD-rate increase.

HEVC(High Efficiency Video Coding)는 재귀적 쿼드트리 분할구조의 부호화단위(CU: Coding Unit)와 각 CU에서 다양한 예측단위(PU: Prediction Unit)를 제공하고, 율-왜곡 기반으로 최적의 CU 분할구조와 PU 모드를 결정함으로써 높은 부호화 효율을 얻을 수 있는 반면 복잡도 또한 크게 증가하는 문제가 있다. 본 논문에서는 부호화기의 복잡도를 감소시키기 위해 상위깊이의 부호화 정보를 이용한 다음 세 가지의 PU 모드 고속 결정 기법을 제안한다. 첫 번째 방법은 상위깊이 CU의 sub-CBF(Coded Block Flag)를 이용하여 현재깊이 CU에서의 PU 모드를 조기 결정하여 PU 탐색을 고속화 한다. 두 번째 방법은 화면내(Intra) 예측 고속화를 위하여 상위 CU의 sub-Intra 율-왜곡 비용을 이용하여 현재깊이에서의 화면내 예측을 생략한다. 마지막 방법으로는 화면내 예측 고속화를 위하여 현재 CU의 sub-CBF를 함께 사용하여 하위깊이에서의 화면내 예측을 생략한다. 실험결과 제안 방법은 HM 14.0 대비 각각 1.2%, 0.11%, 0.9%의 BD-rate 증가에 31.4%, 2.5%, 23.4%의 부호화 시간 감소 효과를 얻을 수 있었다. 제안된 3가지 방법은 화면간 및 화면내 예측에 적용되는 것으로 결합하여 적용될 수 있으며, 이 경우 1.9%의 BD-rate 증가에 34.2%의 부호화 시간 감소를 얻었다.

I. 서 론

JCT-VC(Joint Collaborative Team on Video Coding)에서 최근 표준화 완료된 HEVC는 UHD(Ultra HD)의 초고해상도 비디오를 포함하여 기존의 H.264/AVC 보다 2배 정도의 부호화 효율을 얻는다. HEVC는 기존의 16x16의 고정크기의 MB 대신에 최대 64x64의 CTU(Coding Tree Unit)에서 최대 4단계의 부호화 깊이(depth)의 쿼드트리 형태의 CU 분할구조를 사용하여 고효율의 부호화를 가능하게 한다. 반면, 율-왜곡(RD: Rate-Distortion) 기반으로 최적의 CU 분할구조와 각 CU에서의 최적의 PU 모드를 결정함으로써 복잡도 또한 크게 증가하게 되어 고속 부호화를 위한 많은 연구가 진행되고 있다[1]. HEVC 참조 SW인 HM에 다수의 고속 부호화 툴이 채택되어 있으며, 이 중 PU 탐색을 조기종료하는 기법으로 CBF(Coded Block Flag)와 MVD(Motion Vector Difference)를 이용하는 ESD(EarlySkip Detection)[2]와 CBF를 확인하는 CFM(CBF Fast Mode)[3]이 있다. 또한 현재 CU에서 최적의 PU 모드가 SKIP이면 CU 분할을 생략하는 CU 깊이 고속 결정 기법으로 ECU(Early CU)[4]가 있다. 화면내 고속 부호화 기법으로 RMD(Rough Mode Decision)[5]가 포함되어 있다.

본 논문에서 고속 PU 결정을 위해 상위깊이 CU의 부호화 정보를 이용한다. 상위깊이 CU는 4개의 sub-CU로 분할되어 하위깊이에서 각각에 대해서 독립적으로 부호화를 한다. 즉, 상위깊이의 CU가 하위깊이에서 여러 개의 블록으로 분할하여 부호화할 뿐 전체적으로 같은 영역의 블록에 대해서 부호화한다는 것이다. 따라서 상위깊이 CU의 부호화 정보를 현재깊이 CU의 부호화에 이용할 수 있다[6]. 하지만 상위깊이 CU와 현재깊이 CU는 4:1의 크기 차이를 가지고 있으므로 상위깊이 CU의 부호화 정보를 그대로 이용하는 것보다는 상위깊이 CU의 4개의 NxN sub-CU 중 현재 CU에 동일한 영역으로 매핑되는 sub-CU의 부호화 정보만을 이용하는 것이 보다 타당할 수 있다.

기존의 많은 고속 부호화 알고리즘에서 CBF를 예측 부호화 성능을 판단하는 기준으로 이용하였다. 본 논문에서는 기존 기법과 달리 상위깊이 CU의 2Nx2N 블록에 대한 CBF보다는 4개의 NxN sub-CU 블록에 대한 각각의 CBF, 즉 sub-CBF를 이용한다. 기존에는 현재 CU의 NxN sub 블록에 대한 CBF를 sub-CBF로 명명하여 이용하였다[7].

본 논문에서는 현재 CU의 sub-CBF 뿐만 아니라 현재 CU에 매핑되는 상위깊이 sub-CU의 sub-CBF도 이용한다. 또한 상위 깊이 sub-CU의 RD cost도 현재 CU의 부호화에 이용한다. 즉, 상위깊이의 sub-CU의 부호화 정보(sub-CBF, sub-Intra RD cost)를 이용하여 현재깊이 CU에서의 PU 탐색을 조기 종료하여 최적의 PU를 고속 결정하는 기법을 제시한다. 또한 하위깊이의 Intra PU 모드 탐색 생략을 위하여 상위깊이의 sub-CBF와 현재 CU의 sub-CBF를 이용한다. 결국 상위깊이 CU의 부호화 정보를 사용하여 화면간(Inter) 및 화면내(Intra) 예측 모드 탐색을 동시에 조기 종료하여 최적 PU 결정을 고속화한다.

본 논문의 제 2 장에서는 본 제안 기법에서 활용된 상위깊이 부호화 정보에 대해서 설명하고, 제3장에서는 이들 정보에 기반한 고속 PU 결정 기법을 설명한다. 제 4 장에서 제안한 고속 알고리즘의 실험결과를 제시한 후 제 5 장에서 결론을 맺는다.

 

II. 상위깊이의 부호화 정보

HM의 최적 모드 결정 방법은 다양한 크기의 CU와 그림 1과 같이 각 CU에서 정의되는 다양한 크기의 Inter PU 및 Intra PU의 모든 가능한 경우에 대해 부호화를 한 후 최소의 율-왜곡 비용을 갖는 CU와 PU를 선택하기 때문에 상당한 복잡도 증가를 야기한다. 본 논문에서는 이러한 복잡도를 감소시키기 위해 기존에 구해진 부호화 정보를 활용하여 CU와 PU를 고속으로 결정하고자 한다.

그림 1.현재 CU에서의 최적의 PU 탐색 프로세스 Fig. 1. Search process of the best PU in the current CU

본 논문에서 제안하는 기법은 그림 2와 같이 상위깊이의 sub-CBF와 sub-Intra RD cost를 이용하여 현재 CU에서의 PU 모드 조기결정과 하위깊이에서의 Intra PU 탐색 과정 생략으로 구성된다. CBF(Coded Block Flag)는 부호화해야 할 예측오차 신호의 양자화된 변환계수가 0인지 아닌지를 나타내는 플래그로, sub-CBF는 CU의 4개의 NxN sub-CU에 대한 각각의 CBF를 말한다[7]. 상위깊이 CU의 NxN sub-CU 4개는 현재깊이 CU 4개에 매핑되고 각 상위깊이 sub-CBF 4개는 현재깊이 CU 4개에 각각 대응된다. 또한 같은 방식으로 상위 깊이 CU의 NxN sub-CU 4개에 대해서 각각 Intra 모드로 부호화한 RD cost(이하 sub-Intra RD cost)를 현재 CU의 부호화 정보로 이용 가능하다.

그림 2.제안기법에 사용되는 상위깊이의 부호화 정보 Fig. 2. Coding information of the upper depth used in the proposed method

따라서 본 제안 기법에서는 현재깊이 CU에 해당하는 상위 sub-CBF 값이 0이라면, 현재 CU에 매핑되는 sub-CU블록이 상위깊이의 최적 PU 모드에서 예측 부호화가 잘 되었다고 가정한다. 또한 현재 CU에 매핑되는 블록의 sub-Intra RD cost가 현재 CU에서의 Intra RD cost와 유사하다고 가정한다. 이러한 가정하에 상위깊이의 부호화 정보를 이용해 현재 CU의 예측 부호화 성능을 예측해볼 수 있다.

 

III. 제안한 고속 결정방법

본 논문에서는 HEVC 부호화기의 복잡도를 감소시키기 위해 크게 세 가지 방법을제안한다. 세가지 기법 모두 상위 깊이의 부호화 정보를 이용하여 최적의 PU를 조기결정하는 방법이다. 첫 번째 방법은 상위깊이 CU의 Sub-CBF를 이용하여 현재깊이 CU에서의 최적 PU모드를 조기 결정하여 PU모드 탐색을 고속화 한다. 두 번째 방법은 화면내(Intra) 예측고속화를 위하여 상위 CU의 sub-Intra RD cost를 이용하여 현재 깊이에서의 화면내 예측을 생략한다. 세 번째 방법에서는 화면내 예측 고속화를 위하여 현재 CU의 sub-CBF를 함께 사용하여 하위 깊이에서의 화면내 예측을 생략한다.

1. sub-CBF를 이용한 고속 PU 결정 기법

상위깊이 CU에서 최적의 PU 모드가 결정되고 이 때 4개의 NxN sub-CU에 대한 CBF 값, 즉 4개의 sub-CBF 값을 각각 얻을 수 있다. 현재 CU에 대응하는 상위 sub-CBF값이 0이라면 현재 CU도 2Nx2N 크기로 잘 예측 부호화될 수 있다고 가정할 수 있다. 이러한 가정의 타당성을 실험을 통한 통계적 특성으로 확인하였다. 그림 3을 보면 HM14.0으로 실험한 결과 Inter로 부호화되었고 대응하는 상위깊이의 sub-CBF값이 0을 만족하는 CU가 전체 CU의 72%에 해당하고 이 중에 89%의 현재 CU가 Merge Skip 또는 Inter 2Nx2N이 최적 PU 모드로 결정되었다.

그림 3.상위깊이 sub-CBF 기반 고속 PU 결정 기법의 적용범위 및 적중률 Fig. 3. Application scope and hit rate of a fast PU decision method based on the upper depth’s sub-CBF

이를 바탕으로 제안기법에서는 그림 4와 같이 상위깊이로부터 현재 CU에 대응하는 상위 sub-CU의 sub-CBF값과 상위 CU의 최적의 모드가 Intra인지 아닌지의 여부를 알려주는 Intra Flag를 전달받은 뒤, 상위깊이에서 Inter로 부호화되었고 대응하는 상위깊이 sub-CBF값이 0이라면 최적의 PU 모드 후보를 Merge Skip, Inter 2Nx2N으로 한정하고 나머지 모드에 대한 탐색 과정은 생략한다.

그림 4.sub-CBF를 이용한 고속 PU 결정 기법 Fig. 4. Fast PU decision method using sub-CBF

2. sub-Intra RD cost를 이용한 고속 PU 결정 기법

상위깊이 CU에서 Intra mode로 부호화를 할 때 4개의 NxN sub-CU에 대한 RD cost 값, 즉 4개의 sub-Intra RD cost 값을 각각 얻을 수 있다. 현재 CU에 대응하는 상위 sub-Intra RD cost값이 현재 CU를 Intra로 부호화했을 때의 RD cost와 유사하다는 가정하에, 현재 CU를 Inter로 부호화했을 때의 RD cost보다 상위 sub-Intra RD cost값이 더 크다면 현재 CU에 대해서 Intra mode로 부호화할 필요가 없다고 가정한다. 이러한 조건은 아래 수식으로 표현된다.

그림 5를 보면 HM14.0으로 실험해본 결과 상위 깊이 sub-Intra RD cost가 현재 CU를 Inter로 부호화한 RD cost보다 큰 경우의 CU가 전체 CU의 24%에 해당하고, 이 중에 현재 CU가 Inter로 결정되는 경우가 86%로 높은 적중률을 보임을 알 수 있다. 따라서 이러한 통계적 특성을 바탕으로 제안 기법에서는 그림 6과 같이 현재 CU에 대해서 Intra로 부호화하기 전에 상위 깊이 sub-Intra RD cost가 현재 Inter로 부호화한 RD cost(Inter RD cost)보다 크다면 Intra 모드는 생략한다.

그림 5.sub-Intra RD cost 기반 고속 PU 결정 기법 적용범위 및 적중률 Fig. 5. Application scope and hit rate of a fast PU decision method based on sub-Intra RD cost

그림 6.Sub-Intra cost 기반 고속 PU 결정 기법 Fig. 6. Fast PU decision method using sub-Intra cost

3. 하위깊이 Intra PU 모드 탐색 생략기법

본 제안 기법은 현재깊이에서 화면내 예측 부호화 성능이 충분히 좋으면 하위깊이에서의 Intra PU 모드 탐색을 생략할 수 있다고 가정하고, 그 판단 기준으로 CBF를 이용한다.

이러한 가정의 통계적 특성을 확인하기 위한 실험결과 그림 7과 같이 화면 내 예측 부호화에서 현재 CU에 대한 2Nx2N 블록의 CBF값이 0을 만족하는 CU가 전체 CU의 2%에 해당하며 이중에 하위깊이로 분할되지 않은 경우 즉, 현재깊이가 최적의 깊이가 될 적중률이 98%였다. 이로써 현재 CU의 CBF=0을 조건으로 사용할 수 있지만 화면 내 예측 부호화에서 CBF=0인 경우는 실험결과 2%로 거의 발생하지 않는다. 이를 보완하기 위한 또 다른 기준으로 상위깊이의 sub-CBF와 현재 CU의 sub-CBF를 이용한다.

그림 7.현재깊이의 CBF=0인 적용범위 및 적중률 Fig. 7. Application scope and hit rate of the current depth’s CBF=0

그림 8에 보인 실험결과 현재 CU에 대응하는 상위깊이 sub-CU가 화면 내(Intra) 예측 부호화했을 때의 sub-CBF값이 0을 만족하는 동시에 현재 CU의 NxN블록 4개에 대한 sub-CBF값이 모두 0을 만족하는 CU가 전체 CU의 32%에 해당하며 이중에 하위깊이로 분할되지 않을 경우가 72%로 비교적 높은 적중률을 보였다.

그림 8.상위 및 현재깊이의 sub-CBF=0인 적용범위 및 적중률 Fig. 8. Application scope and hit rate of the upper and current depth’s CBF=0

이러한 통계적 특성을 바탕으로 현재 CU에 대응하는 상위깊이의 sub-CBF값이 0이고, 현재 CU를 화면내 예측 부호화하였을 때 4개의 NxN 블록에 대한 sub-CBF값이 모두 0인 경우, 현재 CU가 화면내 예측 부호화 성능이 충분이 좋다고 판단한다.

따라서 제안 기법에서는 Intra Skip flag를 두고 그림 9와 같이 Intra Skip flag가 true이면 Intra 모드를 생략한다. flag의 초기값은 false이다. 현재 CU에 대해서 Intra 부호화를 수행한 뒤 현재 CU의 CBF값이 0이면 Intra Skip flag값을 true로 변경한다. 상위깊이로부터 전달받은 Intra sub-CBF 값이 0이고 현재 CU의 sub-CBF값 4개가 모두 0이면 역시 flag값을 true로 변경한다. 이 경우 하위깊이부터는 true값의 flag를 상위로부터 전달받기 때문에 모든 CU에 대해 Intra PU 탐색을 생략한다. 결국 P/B 슬라이스에서는 하위깊이에서 Intra PU 탐색만 생략하고 Inter PU 탐색은 기존과 동일하게 수행한다. I 슬라이스에서는 하위깊이의 Intra PU 탐색이 생략되므로 현재깊이로 최적의 CU가 조기 결정되어 하위깊이로의 CU 분할을 조기종료하게 된다.

그림 9.제안된 하위깊이 Intra PU 탐색 조기종료 기법 Fig. 9. Proposed early termination method of Intra PU in lower depth

 

IV. 실험결과

제안한 세 가지 PU 고속 탐색 기법을 HM 14.0[8]에 구현하여 각각의 성능을 확인하였다. HEVC의 테스트 시퀀스 클래스 A, B, C, D를 사용하였으며 QP는 22, 27, 32, 37로 설정하였다. 표 1과 표 2는 각각 Main Profile의 임의접근(RA: Random Access) 부호화 구조에서의 첫 번째, 두 번째 고속 PU 결정 기법의 실험결과이고, Intra Only에서 실험한 하위깊이 Intra PU 생략 기법의 성능은 표 3에 나타내었다. 표 4에서는 제안한 세 기법을 모두 적용한 실험 결과이다.

표 1.sub-CBF를 이용한 고속 PU 결정 기법 실험결과 (RA, Anchor: HM 14.0) Table 1. Results of a fast PU decision method using sub-CBF (RA, Anchor: HM 14.0)

표 2.sub-Intra RD cost를 이용한 고속 PU 결정 기법 실험결과(RA, Anchor: HM 14.0) Table 2. Results of a fast PU decision method using sub-Intra RD cost (RA, Anchor: HM 14.0)

표 3.하위깊이 Intra PU 생략 기법 실험결과(Intra Only, Anchor: HM 14.0) Table 3. Results of a lower depth Intra PU skipping method (Intra Only, Anchor: HM 14.0)

표 4.세 가지 기법을 모두 적용한 PU 고속 결정기법의 실험결과(RA, Anchor: HM 14.0) Table 4. Results of a fast PU decision method combining the proposed three methods (RA, Anchor: HM 14.0)

여기서 부호화 시간 변화량은 아래 식을 사용하였다.

표 1에서와 같이 Sub-CBF를 이용한 첫 번째 제안 기법은 기존 HM 14.0 대비 평균 1.2%의 BD-rate 증가에 31.4%의 복잡도 감소를 보였다. 표 2에서와 같이 Sub-Intra cost를 이용한 두 번째 제안 기법은 기존 HM 14.0 대비 평균 0.11%의 BD-rate 증가에 2.5%의 복잡도 감소를 보였다. 복잡도 감소 성능은 다소 미미하지만 RA 또는 LD 모드에서 Intra PU 탐색을 생략할 수 있는 기법으로 sub-CBF를 이용한 기법과 결합되어 상용될 수 있다. 표 3에 나타낸 하위깊이 Intra PU 생략 기법은 0.9% BD-rate 증가에 23.4%의 복잡도 감소를 보였다.

첫 번째 제안 기법은 현재 CU에서의 Inter 및 Intra를 포함한 PU 모드 탐색을 조기종료 하는 것이고, 두 번째 방법은 현재 CU에서의 Intra PU 모드 탐색을 생략하는 것이고 마지막 기법은 Intra PU 모드에 대한 깊이를 제한하는 것으로 모두 결합되어 적용될 수 있다. 표 4 는 3 가지 제안기법들을 하나로 결합하여 실험한 결과이다. 기존 HM 14.0대비 평균 1.8%의 BD-rate 증가에 34.3%의 복잡도 감소를 보였다. Intra Only 부호화 모드가 아닌 경우 Intra PU 모드에 적용되는 두 번째와 세 번째 기법은 적용되는 경우가 미미하므로 의미 있는 성능 개선 효과는 없지만, 이들 기법을 결합하면 Inter 및 Intra 부호화에 무관하게 모두 적용될 수 있음을 확인하였다.

또한 제안기법은 현재깊이 CU의 블록 위치를 고려하지 않고 단순히 상위깊이 CU의 부호화 정보를 이용한 기존의 PU 탐색 조기종료 기법[8]보다 우수한 성능을 보였다.

 

V. 결 론

본 논문은 HEVC의 고속 부호화를 위하여 상위깊이의 sub-CBF와 sub-Intra RD cost를 이용한 PU 모드 탐색 조기 종료 기법을 제시하였다. Intra PU 탐색 생략을 위해서 현재 CU의 sub-CBF를 추가로 사용하였다. 현재깊이의 CU에 대응하는 상위깊이의 부호화 결과를 통해 현재 깊이의 부호화 결과를 예측해볼 수 있음을 확인하였다. 제안 기법은 PU 고속 결정과 하위깊이 Intra PU 탐색을 생략하여 Intra 부호와에서의 깊이를 제한하는 두 부분으로 구성되고, 실험결과 기존 HM 14.0 대비 Random Access 부호화 모드에서 첫 번째 기법은 1.2%의 BD-rate 증가에 31.4%의 복잡도 감소를 가졌고, 두 번째 기법은 0.11% BD-rate 증가에 2.5%의 복잡도 감소를 얻었으며, 세 번째 기법은 Intra Only 부호화 모드에서 0.9%의 BD-rate 증가에 23.4%의 복잡도 감소를 얻었다. 또한 독립적인 세가지 기법을 동시에 적용한 결과에서는 1.8%의 BD-rate 증가에 34.3%의 복잡도 감소를 얻었다. 실험결과를 통하여 현재 CU에 대응되는 상위깊이 sub-CU의 부호화 정보 sub-CBF와 sub-Intra RD cost는 현재 CU의 부호화 성능을 예측함으로써 최적의 PU모드 탐색에 활용할 수 있는 유용한 부호화 정보임을 확인하였다.