Fast Intra Prediction in HEVC using Transform Coefficients and Coded Block Flag

변환계수와 CBF를 이용한 HEVC 고속 화면 내 예측

Abstract

HEVC(High Efficient Video Coding) has twice times better compression ratio than H.264/AVC, but since the computational complexity has significantly increased in the encoder side, it may cause difficulty in real-time SW implementation in the encoder side. This paper proposes two methods about fast intra prediction. First, fast mode and prediction unit decision method using transform coefficients of the original block is proposed. and second, fast prediction unit decision method using coded block flag(cbf) is proposed. The proposed method achieves 42% encoder speed up with 0.8% bitrate increase compared with HM16.0.

HEVC(High Efficiency Video Coding)는 H.264/AVC 대비하여 두 배 가까이 높은 압축률을 갖지만 부호화기의 복잡도가 크게 증가하였다. 이러한 높은 복잡도는 실시간 소프트웨어 부호화기 구현에 있어 문제가 될 수 있다. 부호화기의 계산복잡도를 줄이기 위하여 본 논문에서는 첫 번째로 화면 내 예측과정에서 입력 영상의 변환계수의 분포를 분석하여 예측블록의 크기와 모드를 빠르게 결정짓는 방법을 제안한다. 두 번째로, cbf(coded block flag)를 이용하여 예측블록의 크기를 빠르게 결정짓는 방법도 제안한다. 제안된 방법은 HM16.0 대비 0.8%의 비트율 증가하였지만 41%의 부호화 속도를 향상시켰다.

Ⅰ. 서 론

HEVC(High Efficiency Video Coding)[1]는 ITU-T VCEG과 ISO/IEC MPEG이 공동으로 JCT-VC (Joint Collaborative Team on Video Coding)를 결성하여 진행된 비디오 코덱 표준이다. 2010년 1월 JCT-VC팀이 결성되고 이후 2010년 4월 독일 드레스덴의 1회 JCT-VC 회의를 시작으로 표준화를 진행하여 2013년 4월 13일 표준으로 등록되었다. HEVC는 이전 비디오 코덱 표준인 H.264/AVC 에 대비하여 2배 정도의 압축효율 향상을 갖는다. HEVC는 H.264/AVC와 마찬가지로 블록단위 하이브리드 코딩에 기반하고 있지만 많은 세부적인 기술들이 개선되거나 추가되었다. 화면 내 예측 모드에서 확장된 방향성을 가지는 AIP(Angular Intra Prediction)[2], AMVP(Advanced Motion Vector Prediction)[3][4], RDOQ(Rate Distortion Optimized Quantization)[5], ALF(Adaptive Loop Filter)[6] 등의 기술들이 추가되었으며 H.264/AVC에서 사용되던 16x16 크기의 고정된 MB(Macro Block)에서 가변적인 크기를 갖는 CU(Coding Unit)로 코딩 단위가 변경되었다. 각 CU는 Quad-tree 분할 구조를 갖으며 최대 64x64 에서 최소 8x8의 크기를 갖는다[그림 1]. CU는 다시 PU(Prediction Unit)와 TU(Transform Unit)로 분할된다. PU는 예측정보를 담는 단위로서 화면 내 예측 모드에서는 예측 모드값 그리고 화면 간 예측 모드에서는 움직임 정보를 가지고 있다. PU의 분할은 64x64 크기의 LCU(Largest CU)에서 quad-tree 방식으로 분할된 트리의 Leaf-Node CU에서 한번만 분할되어진다. 화면 내 예측 모드에서의 PU분할은 [그림 2]와 같이 2Nx 2N, NxN이 있으며 NxN은 8x8 CU일 경우만 사용가능하다. TU는 변환 및 양자화를 수행하는 단위로서 PU와는 독립적으로 분할이 수행되며 CU와 동일하게 quad-tree분할구조를 갖는다. 화면 내 예측에서의 변환 및 양자화는 하나의 예측 모드로만 수행되기 때문에 예측 모드를 저장하는 기본단위인 PU보다 TU의 크기가 클 수 없다. HEVC에서의 TU의 크기는 32x32 부터 4x4 까지 정의한다. HEVC 화면 내 예측 모드에서 정의된 블록구조와 제한사항으로 보면, TU는 예측의 기본단위가 되고, PU는 같은 예측모드를 갖는 TU들끼리 병합하기 위해 사용된다고 볼 수 있다.

그림 1.quad-tree로 분할된 CU의 예 Fig 1. An example of CU partitions divided as quad-tree

그림 2.HEVC 화면 내 예측에서의 PU 분할 Fig 2. Types of PU partition in HEVC intra prediction

HEVC의 화면 내 예측 과정은 TU단위에서 수행되며 총 35가지 예측모드 중 하나의 모드를 선택한다. 일반적으로 HEVC 부호화기 에서는 이러한 최적의 예측모드를 결정하기 위하여 각각의 모드들에 대하여 RDO(Rate-Distortion Optimization)를 수행하게 된다. RDO는 비트율과 화질의 왜곡을 이용하여 비용을 계산하고, 비용이 가장 낮은 것을 선택하는 과정이다. RDO과정은 변환 양자화 및 엔트로피 코딩과 이들의 반대 과정을 수행해야 하므로 부호화기 에서 많은 복잡도를 차지하게 된다. 그러므로 부호화기의 복잡도를 감소시키기 위해서는 계산해야할 예측 모드 수를 줄이거나 계산해야할 PU 혹은 TU를 줄어야 할 것이다. 기존의 고속화 알고리즘들[7]~[9]과 같이 HEVC 이후 고속 부호화를 위해 수많은 연구가 이루어 졌다. [7]은 텍스쳐의 경사도를 이용하여 최종 RDO 후보를 줄이는 방법으로 화면 내 예측 부호화에서 약 20%의 속도 향상과 0.74%의 BD-rate(Bjontegaard distortion-rate) 하락을 보였다. [8]에서는 PU의 원 영상의 분산을 계산하여 빠르게 예측 모드를 결정하는 방법을 제안하였다. 이 방법은 평균적으로 44%의 부호화 속도향상과 1.27%의 BD-rate 하락을 보였다. [9]에서는 베이시안 결정 방법(Bayesian decision rule)을 CU 에 적용하여 불필요한 CU 분할을 제한하는 고속 CU 분할 방법을 제안하였다. 이 방법은 다른 알고리즘들에 비해 가장 높은 50%의 부호화 속도향상과 0.6%의 낮은 BD-rate 하락을 보였다. 본 논문에서는 RDO비용과의 오차를 최소화하기 위한 변환계수 분포를 이용하는 고속 부호화 알고리즘과 CBF(Coded Block Flag)를 이용하여 PU 혹은 TU 경계를 빠르게 결정하는 알고리즘을 제안한다. 본 논문의 2장에서는 변환계수의 분포를 분석하여 RDO 후보를 줄이는 방법을 제안한다. 그리고 3장에서는 CBF를 이용한 고속 부호화 알고리즘을 제안한다.

 

Ⅱ. 변환계수 분포를 이용한 고속 화면 내 예측

HEVC의 Intra prediction은 35가지 모드를 갖는다[그림 3]. 0과 1번 모드는 DC와 PLANAR로 방향성이 없는 예측방법이고 나머지 2~34 모드들은 각각 고정된 예측 방향을 갖고 있다. HEVC 부호화기 에서 이러한 35가지 모드들 중 하나를 선택하여 복호화기에 보내 주어야 하는데 이러한 결정을 하기 위해 각각의 모드들에 대하여 RDO를 수행하여야 한다. RDO 수행시의 RD 비용 계산은 다음 식 (1) 과 같이 계산된다.

그림 3.HEVC 화면 내 예측 모드 Fig 3. intra prediction mode directions in HEVC

식 (2)의 Distortion은 NxN 크기를 갖는 PU에 대하여 해당 PU에 위치한 원본 영상의 화소 값들 B(k, l)와 부호화 후 복원 된 화소 값들 B’(k, l)간의 왜곡 값을 나타내며 왜곡 예측을 위해 MSE(Mean Square Error)를 사용한다. 식 (1)의 라그랑지안(Lagrangian) 파라미터[10], λ,는 양자화 파라미터(Quantization Parameter, QP), CU와 PU의 깊이에 따라 각기 다른 값을 사용할 수 있다. 식 (1)의 Rates는 변환계수, 예측 모드 등 각종 정보를 부호화하기 위해 필요한 비트수를 의미한다. 이러한 Distortion과 Rates를 계산하기 위해서는 모든 부호화 정보를 알아야하며 그러기 위해서는 예측 신호 생성, 변환 및 양자화, 엔트로피 코딩, 복원을 포함하는 부호화 전체 과정을 수행하여야 한다. 그러므로 모든 35가지 모드들에 대하여 모두 RDO를 수행하기에는 HEVC 부호화기의 복잡도가 크므로 HM(HEVC Test Model) 부호화기 에서 35가지 모드들에 대하여 우선 RMD(Rough Mode Decision)을 수행한다. RMD는 비교적 부정확하지만 계산복잡도가 매우 낮은 비용계산을 통해 35가지 모드 중 일부분을 선택한다. 그 후 선택된 모드들을 RDO 수행을 통해 1개의 최종 후보를 선택 후 그 모드에 대하여 TU 분할에 따라 재귀적으로 RDO를 수행하여 최적의 TU 모양을 계산한다. 전체적인 수행 과정은 그림 4와 같다.

그림 4.HEVC 화면 내 예측 PU RDO(Rate-Distortion Optimization) 수행 과정 Fig 4. Process of PU RDO(Rate-Distortion Optimization) of intra prediction mode in HEVC

이러한 방법은 35가지 모드에 대하여 모두 RDO를 수행하는 것 보다 계산 복잡도가 높지 않지만 CU, TU 경계의 크기에 따른 재귀호출과 RDO 자체의 계산 량으로 인해 일반적인 프로세서에서 계산하기에는 여전히 높은 복잡도로 인해 실시간 부호화를 수행하는데 어려움이 있다. 이러한 복잡도를 더욱 감소시키기 위하여 원본 영상의 주파수 특성을 이용하여 모드를 빠르게 결정짓는 방법을 제안한다.

일반적으로 볼 수 있는 자연 영상들의 특성은 물체 혹은 모양의 edge 방향에 따라 영상의 주파수 성분들이 특정 주파수대역에 모이는 특성을 갖는다. 그림 5는 영상에서 4x4 픽셀 크기의 영역을 주파수 변환을 하였을 때 영상의 edge 방향에 따라 변환 계수들이 많이 분포하는 부분을 보여준다. 그림 5의 (a)는 낮은 주파수에 많은 에너지가 몰리는 경우로 영상에서 edge가 거의 없는 특징을 갖는다. 그러므로 이러한 경우 예측모드가 DC 혹은 PLANAR가 선택될 확률이 매우 높다. 그림 5의 (b)는 위쪽 모서리의 주파수들에 많은 에너지가 몰리는 경우로 영상에서의 edge가 세로방향으로 많이 발생하는 특징을 갖는다. 이러한 경우 26번 모드 혹은 주변의 모드가 선택될 확률이 매우 높다. 그림 5의 (c)는 좌측 모서리부분에 많은 에너지가 분포한 경우로 영상에서 가로방향으로 edge가 많이 발생하는 특징을 갖는다. 이러한 경우 10번 모드 혹은 주변의 모드가 선택될 확률이 매우 높다. 주파수 변환을 위하여 2차원 DCT-II (Discrete Cosine Transform type-II)[11][12]를 사용한다. DCT-II는 분리특성(separable property)을 갖는 트랜스폼으로 1차원 수직트랜스폼 후 1차원 수직트랜스폼을 수행해도, 혹은 그 반대로 수행할 경우에도 2차원 변환과 같은 결과를 보인다. 만약 블록의 수직방향 화소값이 다 같다면 블록을 수직방향으로 1차원 DCT를 수행할 경우 주파수 성분이 DC에만 존재하고 (Top-row에만 존재), 이 결과를 다시 수평방향으로 1차원 DCT를 수행하면 그림 5의 (b)와 같이 된다. (c)와 (d)도 유사한 방법으로 방향성에 따라 계수분포의 특징을 지니게 된다. 식 (3)에 DCT-II를 표현하였다.

그림 5.계수 분포에 따른 방향성 결정 Fig 5. determine directivity of prediction block using transformed coefficients

Xk 는 주파수 성분을 의미하고 N은 입력되는 신호(화소)의 너비 xn은 입력되는 신호를 의미한다. 부동소수점 연산을 피하고 정수연산을 하기 위하여 DCT-II의 기저벡터들을 스케일링 후 정수단위로 반올림하여 변환에 사용하였다. 2차원 DCT-II은 블록의 크기 n에 따라 O(n2log n)의 높은 복잡도를 가지므로 64x64, 32x32 PU에 대하여서는 계산복잡도 감소를 위하여 16x16로 원본영상을 축소하였고 DCT의 분리 변환 특징(separable transform property)을 이용하여 1 차원 16-point DCT-II를 수평, 수직으로 적용하여 16x16 DCT-II 변환계수를 생성하였다. 16x16, 8x8, 4x4 PU에 대해서는 각각의 PU크기에 맞는 2차원 DCT-II 변환을 수행하였다. 변환계수의 에너지 분포 Ek를 식 (5)-1,2와 같이 계산하여 변환 계수의 에너지 분포에 따라서 방향성을 “DC/PLANAR”, “HORIZONTAL”, “VERTICAL”, “DIAGONAL”, “UNKNOWN” 5가지로 구분하였다. 편의상 그림 5의 DCT 변환계수를 2차원 좌표계로 표현하면 변환계수의 분포비율은 다음과 같이 나타낼 수 있다.

식 (5)는 변환계수 분표비율을 의미한다. EDC는 전체변환계수 분포대비 DC/Planar 변환계수 분포비율, EVER, EHOR, EDIAG는 전체변환계수 분포대비 수직, 수평, 대각선 변환계수 분표비율을 의미한다. 그림 5(a), (b), (c), (d)는 N=4일때의 예이다. 식(5)에서 ｜⠂｜은 절대값 연산을 나타내고, N은 블록의 크기이며, N은 16, 8, 또는 4의 값을 갖을 수 있다.

그림 6에 방향성 결정과정에 대해 상세하게 도시하였다. 각각의 조건문에 있는 TDC, THOR, TVER, TDIAG 는 각각의 방향성들이 결정되기 위한 에너지 임계치 값들이다. 각각의 임계치들은 여러 번의 실험을 통하여 최적의 값을 구하였다. 방향성은 DC/PLANAR, HORIZONTAL, VERTICAL, DIAGONAL 순서대로 그림 6의 조건들 중 최초로 만족하는 조건의 방향성이 선택된다. 모든 조건이 만족되지 않았을 경우 UNKNOWN이 선택되며 HEVC 기존의 일반적인 RDO 과정이 수행된다. 구분된 방향성의 종류에 따라서 표 1과 같이 RMD 과정의 후보들과 최종 선택되는 RDO 후보의 개수를 제한하였다. 실험을 통해 최종적으로 선택된 모드의 RD비용은 거의 대부분 35가지 모드 중 최솟값을 갖는 것을 확인할 수 있었다.

그림 6.계수 분포에 따른 방향성 결정 과정 Fig 6. process of determining direction information of block using transformed coefficients

표 1계수 분포를 이용한 Intra 모드 후보 결정 과정 Table 1 intra mode candidate decision using transformed coefficients

 

Ⅲ. CBF를 이용한 고속 화면 내 예측

HEVC 부호화기의 화면 내 예측 압축과정은 PU와 TU로 조합할 수 있는 모든 경계선 모양에 대하여 35가지 예측모드의 비용을 검사하는 과정이다. 하지만 모든 PU와 TU의 분할 조합에 대하여 비용을 검사할 경우 부호화기의 복잡도는 높아지게 된다. 그러므로 코딩중인 PU 또는 TU 레벨에서 cbf(Coded Block Flag)를 검사하여 하위 분할의 비용을 검사하지 않고 종료하여 부호화기의 복잡도를 감소시키는 알고리즘을 제안한다. cbf는 TU마다 전송되는 플래그로 TU 내부의 변환계수가 전부 0일 경우 cbf는 0이 되며, 아닐 경우 cbf는 1이 된다. 만일 어떤 TU에 대하여 비용을 검사하는 중 cbf가 0이 나왔다면 부호화되는 양자화된 변환계수가 0이므로 최적의 TU경계모양일 가능성이 매우 높다. 그러므로 cbf가 0일 경우 하위 분할과정을 생략하고 현재의 TU경계모양을 최적의 모양으로 결정한다. 이러한 cbf를 사용한 고속 알고리즘은 RQT(Residual Quad Tree partitioning) 과정과 PU 결정 RDO 과정에서 사용될 수 있다. 만약 RQT과정에서 현재 검사 중인 TU의 cbf가 0이라면 더 이상 TU를 쪼개지 않고 RQT과정을 종료한다. 그리고 PU결정과정에서 현재 PU의 모든 cbf가 0일 경우 최적의 PU모양일 확률이 높으므로 하위 RDO과정을 생략한다. 기존의 HM(HEVC Test Model)의 Early CU 기술도 cbf가 0일 경우 해당 CU의 하위 분할 과정을 생략하는 고속 부호화 알고리즘이다. 이 알고리즘은 화면 간 예측 모드에서만 동작하는 알고리즘으로 제안하는 알고리즘에서는 화면 내 예측 모드와 빠른 TU 경계 결정으로 확장하였다. HEVC의 새로운 기술 중 하나인 RDOQ는 변환계수의 크기를 조절하면서 RDO를 계산하는 기술이다. 이러한 기술로 인해 cbf가 0인 TU 혹은 PU가 자주 발생하여 제안하는 cbf 고속화 알고리즘이 자주 적용될 수 있다. 현재 CU 혹은 TU에서의 cbf가 0이지만 하위 블록크기로 쪼개졌을 경우의 cbf가 모두 0인 경우 distortion이 증가할 수 있지만 소폭의 성능 저하를 보이는 요인이었다.

 

Ⅳ. 실험 및 결과

본 논문에서 제안하는 변환계수 분포를 이용한 고속 화면내 예측과 cbf를 이용한 고속 화면 내 예측의 성능을 보이기 위하여 HM 16.0을 사용하였으며, HEVC의 공통된 실험 조건[13]에서 Intra main 구조를 사용하여 압축하였다. 표 2는 공통된 실험조건[13]에 정의되어 있는 실험용 영상들을 나타낸다. 실험용 영상들은 클래스 A, 클래스 B, 클래스 C, 클래스 D, 클래스 E, 클래스 F로 나누어 질 수 있다. 이들의 해상도는 각각 2560x1600, 1080p, 832x480, 416x240, 720p, 720p이다. 여기서 클래스 E와 클래스 F는 특정 목적을 위해서 정의해놓은 영상이다. 클래스 E는 화상채팅용으로서 사용되며, 클래스 F는 스크린 콘텐츠로서 사용된다.

표 2.실험용 영상들 Table 2. Test Sequences

HEVC 부호화에 사용된 컴퓨터의 성능은 CPU – Intel Xeon E5(48 스레드 @ 2.3GHz), RAM – DDR4 64GB 이며, 실험에는 표 2에 있는 24개의 테스트 시퀀스가 사용되고 QP는 22, 27, 32, 37을 사용하여 1초분 량의 영상을 부호화 하였다. 제안된 방법의 부호화 시간은 HM16.0의 부호화 시간과 비교된다. 부호화 시간의 차이를 나타내는 Encoding Time은 식 (6)와 같이 계산하였다.

표 3은 제안된 방법과 HM16.0과의 부호화 시간과 압축성능의 비교와 다른 고속 부호화 방법인 [14]와 HM16.0과의 부호화 시간과 압축 성능의 비교를 나타내고 있다. 제안하는 알고리즘은 HM16.0에 대비하여 평균적으로 41%의 부호화 성능 향상을 가졌으며 0.8%의 BD-rate 손실이 발생했다. 클래스 A와 클래스 B의 고해상도 영상에 대해서는 제안하는 알고리즘의 부호화 시간 감소가 크지 않았다. [14]의 고속화 알고리즘과 비교하였을 경우에는 최대 30% 정도의 부호화 시간차이가 발생하였다. 이러한 원인은 고해상도 영상인 경우 보다 작은 해상도의 영상에 비해 같은 블록 크기 안에 있는 화소들의 주파수 성분의 특성이 평균적인 특성과 달라 고속화가 제대로 이루어지지 않은 것 같다. 하지만 BD-rate의 손실은 거의 1% 미만으로 다른 고속화 알고리즘이 평균적으로 1.5%의 BD-rate손실인 것에 비해 좋은 성능을 보였다. 고해상도 영상에서의 주파수 에너지의 임계치들을 수정한다면 더 나은 결과를 얻을 수 있을 것이다. 그리고 클래스 C와 클래스 D 그리고 클래스 E에서는 부호화 시간도 줄고 BD-rate 손실도 줄어들었다. 클래스 F에서는 [14]의 고속화 알고리즘의 BD-rate 손실이 2.0%, 9.6%, 15.3%, 9.2% 로 매우 높게 발생하는데 비해 제안하는 알고리즘은 평균적으로 1%의 손실로 매우 성능이 뛰어났으며 부호화 시간도 크게 줄었다.

표 3.제안하는 알고리즘의 실험 결과 Table 3. Experimental results of the proposed method

 

Ⅴ. 결 론

본 논문에서는 변환계수를 이용한 고속 예측 모드를 빠르게 결정방법과 cbf가 0일 때 PU 혹은 TU 경계를 빠르게 결정하는 방법을 제안하였다. 이러한 두 가지 고속 알고리즘을 모두 적용하였을 경우 기존의 HM16.0에 대비하여 총 부호화 시간이 약 41% 감소하였으며 0.8%정도의 BD-Rate 손실이 발생한다. 고해상도 영상에서의 따라서 제안된 방법은 HEVC 부호화 복잡도를 감소시키는 기술로서 유용하게 쓰일 수 있을 것이다.