Fast Intra Coding using DCT Coefficients

DCT 계수를 이용한 고속 인트라 코딩

Abstract

The RDO (Rate Distortion Optimization) process of HEVC results in good coding efficiency, but relatively requires much encoding time. In order to reduce the encoding time of RDO process, this paper proposes a method of fast intra prediction mode decision using DCT coefficients distributions and the existence of DCT coefficients. The proposed fast Intra coding sets the number of intra prediction mode candidates to three(3) from the RMD (Rough Mode Decision) process in HM16.0 reference SW and reduces the number of candidates one more time by investigating DCT coefficients distribution. After that, if there exists a quantized DCT block having all zero coefficient values for a specific candidate before the RDO process, the candidate is chosen without the RDO process. The proposed method reduces the encoder complexity on average 46%, while the coding efficiency is 2.1% decreased compared with the HEVC encoder.

HEVC 표준에서 율-왜곡 최적화(RDO) 과정은 좋은 압축 성능을 보이지만 상대적으로 많은 부호화 시간이 요구된다. RDO 과정의 부호화 시간을 줄이기 위해서 본 논문에서는 변환 계수와 CBF(Coded Block Flag) 이용한 고속 인트라 예측 방법을 제안한다. 제안된 고속 인트라 압축방법은 HM16.0 참조SW의 RMD(Rough Mode Decision)를 통해 나온 인트라 예측모드의 후보 수를 3개로 줄이고 이산 여현 변환(Discrete Cosine Transform) 계수 분포와 비교하여 예측 모드의 수를 한 번 더 줄인다. 이후 RDO를 수행하기 전, 양자화된 DCT 계수값이 모두 0이 되는 후보가 있으면 RDO과정 없이 그 후보를 선택하는 방법이다. 제안된 방법은 HEVC 부호화 보다 비트율이 2.5% 중가했지만 평균 55%의 부호화 속도 향상을 얻는다.

Ⅰ. 서 론

HEVC(High Efficiency Video Coding)[1]는 JCT-VC (Joint Collaborative Team on Video Coding)라는 VCEG (Video Coding Expert Group)와 MPEG(Moving Picture Expert Group)[1]가 공동으로 진행한 팀이 만들어낸 표준화된 코덱이다. 2010년 1월 JCT-VC팀이 결성되고 이후 2010년 4월 독일 드레스덴의 1회 JCT-VC 회의를 시작으로 표준화를 진행 하였다. HEVC의 표준 기술에서는 기존 AVC/H.264와 다르게 CU(Coding Unit)라는 새로운 코딩 단위를 적용하였으며, 최소 8x8 부터 최대 64x64 크기까지 정의된다. 이러한 CU는 다시 예측 단위인 PU(Prediction Unit)로 분할되고 인트라/인터 예측을 수행하게 된다. 화면 내 예측 방법[2]인 인트라 예측 방법은 기존 AVC/H.264가 예측 방향을 9가지 방향을 가진 것과 달리 HEVC에서는 총 35가지(그림 1) 예측 방향을 결정하는 모드를 사용하여 성능 향상을 가져왔다. 예측이 된 화소 값들은 각 방향적인 특징을 가진 인접한 화소의 값을 통하여 예측이 수행되고 결정된다. 이러한 예측을 위해 인트라에서는 RMD[3](Rough Mode Decision)을 통하여 최적의 모드를 가질 수 있는 상위 N개의 후보를 구하고 MPM[3](Most Probable Mode)을 거쳐 나온 후보들을 더하게 된다. 더해진 모드들에 대하여 최종 최적화된 모드를 결정하기 위해 율-왜곡 최적화 방법(RDO : Rate-Distortion Optimization)을 이용한다. 이러한 과정을 통하여 HEVC의 35가지 모드는 성능 향상을 가져왔지만, 이에 상응하는 부호기의 계산량이 증가하는 문제점을 가진다. 이는 아무리 RMD와 MPM을 통하여 최적의 후보 수를 가려내기 위한 모드의 후보 수가 줄었다고는 하지만, RDO를 실행할 때 선정된 후보 들 각각에 변환, 양자화, 엔트로피 코딩을 추가적으로 실행해야 하기 때문에 부호기의 계산량이 증가할 수 밖 에 없다. 이러한 문제를 해결하기 위해 본 논문에서는 RMD를 통해 결정된 상위 N개의 후보수를 줄이고 DCT 변환 계수를 통해 에너지 방향을 예측한 후 CBF(Coded block flag)가 0이 되는 모드를 찾고 한 번 더 후보 군의 모드의 수를 줄임으로써 부호화 시간을 감소시키는 방법을 제안한다. 본 논문의 구성은 다음과 같다. 2절에서는 제안할 3가지 방법의 근거가 되는 기존 연구의 기법들을 설명하고 3절에서는 그와 차별화되는 제안하는 방법의 3가지 특성과 과정을 설명한다. 4절에서는 실험 및 결과, 5절에서는 결론으로 이루어진다.

그림 1.HEVC의 화면 내 예측 모드[2] Fig. 1. Intra prediction mode in HEVC[2]

 

Ⅱ. 기존 연구 (related work)

본 논문에서 제안하는 3가지 방법은 HEVC에서 연구되고 사용하는 기존 기법에 새로운 기법을 추가 또는 변형하여 적용한다. 제안하는 방법을 3절에서 설명하기 전에 이 방법들의 기본이 되는 HEVC의 기술들을 이번 장에서 설명한다. 제안하는 방법의 순서와 연관지어 RMD, CBF, 실험에서 비교할 DCT 계수 분포 특성[6]만을 사용하는 방법, Sub-cbf를 이용한 방법[7] 등으로 설명을 진행한다. DCT 계수 분포 특성에 관한 자세한 설명은 3장 2절에서 제안하는 방법과 연관지어 설명하므로 이 장에서는 생략한다. 첫 번째로 RMD이다. 화면 내 예측에서 예측 방향 모드는 총 35가지 모드이다. 기존 H.264/AVC의 예측 방향이 9가지 방향인 것에 비하면 예측 효율은 높아지지만 35가지 모드를 전부 예측 모드로 결정하는데 이용한다면 부호화 복잡도가 커진다. 그래서 압축 효율은 비슷하게 유지하면서도 복잡도를 크게 줄일 수 있는 RMD[3]를 적용하게 되었다. RMD는 HM 10.0부터 적용되고 있는 고속 알고리즘이다. RMD는 크게 세 가지 단계로 나누어 볼 수 있다. 첫 번째 단계로 예측에 대한 SATD만을 측정한 후 35가지 예측 모드에서 CU 크기 별로 N개의 후보를 결정한다. N개의 후보는 CU 사이즈 별로 64x64, 32x32, 16x16은 후보 개수를 3개로, 8x8, 4x4에서는 후보 개수를 8개로 정의한다. 결정된 후보 모드에 MPM(Most Probable Mode)를 적용하여 추가된 후보를 더한 후 두 번째, 세 번째 단계로 단일 레벨 RQT (Residual Quad Tree), 다중 레벨 RQT를 수행한다. 이를 통해 1가지 최적의 후보 모드를 결정하는 것까지 RMD를 사용한 인트라 예측 후보 결정 단계이다. 두 번째로 CBF에 관하여 설명한다. 각 TU(Transform Unit) 블록에 변환과 양자화 과정을 수행 한 후 계수 값들의 특성을 살펴보면 전체 계수가 0으로 나타나는 경우가 다분하다. 이에 따라 압축 효율을 높이기 위해 cbf라는 정보를 전송하게 된다. cbf는 변환, 양자화 과정을 거친 후에 TU의 분할됨[9]에 따라 1개 이상의 0이 아닌 변환 계수가 존재하는지의 여부를 명시한다. cbf가 0이라는 것은 그림 2에서와 같이 해당 분할된 TU의 내부에 base unit 별로 모든 변환 계수가 0[10]이라는 뜻이며, 디코더 단에서 역변환 과정을 수행할 필요가 없으므로 압축 성능을 높임에 있어 영향을 미칠 수 있다. 세 번째로 마지막 실험에서 비교할 논문의 내용인 DCT 계수 분포만을 이용한 방법과 Sub-cbf를 이용한 방법의 설명이다. DCT 계수 분포만을 사용하는 방법[6]은 본 논문에서 제안하는 방법의 이전 모델이다. 제안하는 방법의 RMD와 CBF를 적용하지 않고 DCT 계수 분포의 특성만을 고려한다. 기존 HEVC에서와 같이 RMD의 첫 번째 과정에서 CU 사이즈별로 후보 모드를 선택한 후 MPM을 통하여 한 번 더 후보를 거른다. 그 다음에 DCT 계수 분포 특성을 적용하고 그에 따라 선택된 후보와 비교한 일치한다면 최종 후보로 선택될 확률이 높다는 가정 아래에 후보 모드 수를 줄이는 방법이다. 마지막으로 sub-cbf를 이용한 방법이다. 이 방법은 인트라 고속화를 위해 상위깊이의 sub-CBF와 sub-RD cost를 이용하여 PU 모드 조기 종료 기법[7]이다. 이는 제안한 방법의 단계 중 CBF를 이용한 3번째 단계의 아이디어와 유사한 방법이다.

그림 2.TU 분할에서 cbf의 예 Fig. 2 . Example of cbf in TU split

그림 3.에지(edge) 방향에 따른 4x4 양자화 DCT 값의 분포: (a) DC, (b) 세로 방향, (c) 가로 방향, (d) 45도 방향 Fig. 3. Distribution of 4x4 Quantized DCT values according to edge direction (a) DC, (b) Vertical direction, (c) Horizontal direction, (d) 45°Diagonal direction

 

Ⅲ. 제안하는 방법

HEVC의 인트라 예측 방법은 기존 H.264/AVC의 방법보다 다양한 방향 예측을 통해 탁월한 성능 향상을 가진다. 그러나 HEVC의 화면 내 예측 모드를 분석해 본 결과, 성능 향상에 도움이 될 수 있는 여러 가지 특성을 찾게 되었고 3가지 아이디어를 제안하게 되었다. 화면 내 예측에서 RMD를 통해 N개의 후보모드를 선택하는 방법은 다른 기술들보다 성능향상에 큰 도움이 된다. 그러나 최종적으로 결정되는 후보의 분포를 보면 후보 수가 많아 봤자 어차피 상위 후보 근처들에서 결정되는 특징을 가지고 있어 모든 35가지 후보를 다 연산하는 것이 오히려 효율적인 면에서 떨어질 수 있다. 상위 후보란 SATD 값이 낮은 후보들을 순서대로 정렬하였을 때 가장 낮은 후보 군에 있는 후보를 말한다. 두 번째로 HEVC의 인트라 예측 에서 예측 방향 모드로 결정될 확률이 높은 모드는 35가지의 모드 중 DC(1), Planar(0), Horizontal(10), Vertical(26), diagonal (18, 34) 라는 특성을 갖는다. 마지막으로 화면 내 예측에서도 CU(Coding Unit)의 cbf가 0가 되는 경우가 화면 간 예측보다는 덜 하지만 존재한다는 특성을 가지고 있다. 이러한 특성들에 기인하여 각 특성마다 서로 다른 방법을 적용하는 세 가지 방법을 제안한다.

1. RMD

RMD의 첫 번째 단계에서는 SATD(Sum of Absolute Transformed Differences)[4]를 통하여 35가지 모드에서 N개의 후보 모드를 결정한다. SATD란 하다마드 변환(Hadamard transform)된 원본 블록과 예측 블록간의 SAD이다(식 1). 이는 작은 연산량을 갖기 때문에 부호화 시간의 증가에 큰 영향을 끼치진 않는다. 그러나 앞에서 설명한 두번째, 세 번째 단계에서 후보 모드를 결정하기 위해 계산되는 연산은 부호화 시간의 증가에 많은 영향을 미친다. 이를 통해 본 논문에서 제안하는 방법은 RMD의 첫 번째 단계가 끝난 후 MPM을 하지 않고 CU 사이즈에 관계없이 후보 개수를 앞에서부터 상위 후보 3개로 줄이는 방법이다.

표 1은 기존 HM 16.0의 성능 대비 제안하는 방법을 적용하였을 때 평균 인코딩 시간과 BD-rate의 결과를 나타낸다. 표 1에는 전체 A-F 클래스에 해당하는 모든 시퀀스를 실험하였을 때 대표적인 시퀀스들만 기록하였다. 기존 HM 16.0 대비 average의 인코딩 시간은 27% 감소하여 고속화 되었고 BD-rate는 1.3%만 소폭 증가한 것을 볼 수 있다. 이에 따른 결과는 CU 사이즈 8X8, 4X4의 후보 개수를 8개에서 3개를 줄여도 최종적으로 최적의 모드로 결정되는 모드는 모드 리스트에 저장되는 인덱스 0,1,2에 해당하는 후보 모드가 선택될 확률이 높다는 결과를 도출해 낼 수 있다. 또 최종적으로 결정되는 후보모드에 제안하는 방법의 상위 후보 모드 3개가 들어가는 확률은 64%으로 높은 일치성을 갖고 있다는 것을 알 수 있다.

표 1.RMD의 후보 개수를 3개로 줄인 결과 Table 1. Results reducing the number of candidates in RMD to three (3)

2. DCT 계수 분포 특성

HEVC의 인트라 예측 에서 예측 방향 모드로 결정되는 확률이 높은 모드는 35가지의 모드 중 DC(1), Planar(0), Horizontal(10), Vertical(26), Diagonal(18,34) 등이다. 제안하는 방법은 이 6가지 모드들을 최종 모드로 결정될 확률이 높은 모드들의 변환 계수와 연관 지어 사용하는 것이다[5][6]. RMD 후보 개수를 줄이는 1번째 방법이 끝난 후 정해진 후보 모드들과 원본 블록의 DCT 수행 후 그 변환 계수의 분포에 따라 결정된 후보 모드를 비교하여 블록 에지 방향과 후보 모드를 결정하는 방법이다. 그림 2 와 같이 각 블록의 DCT 변환 계수를 총 4가지 형태로 분류하여 각 블록의 에지 방향을 예측한다.

그림 2 는 블록의 방향에 따른 계수 분포를 나타낸다. 어두운 영역은 DCT 계수 값이 0이 아닌 값을 의미하고, 밝은 영역은 DCT 계수 값이 0인 값을 의미한다. 그림 2-(a)와 같은 계수 분포는 블록 내 에지가 없는 평탄한 영상(DC), 그림 2-(b)는 세로방향의 에지, 그림 2-(c)는 가로 방향의 에지, 그림 2-(d)는 45도 방향의 에지를 가지고 있는 블록의 분포를 의미한다. 45도 방향의 에지를 가지고 있는 블록은 계수 분포의 특성이 대칭 행렬로 나타난다. 여기서 각 블록의 DCT 변환 과정이 끝난 계수 값들은 정확한 계수를 확인하기 위해 임의로 정의한 shift 연산과 임계치의 값을 통해 소수점을 가진 나누기 양자화 방법을 사용한다. 그림2와 같이 해당되는 계수 분포가 원본 블록에 존재한다면 첫 번째 제안하는 방법에서 나온 3가지 후보와 비교한 후 동일한 방향을 가진 모드가 존재한다면 후보 개수를 에지 방향에 따라 한 번 더 줄인다. 계수 분포 특징을 갖는 후보 변수의 초기값은 Planar로 두고 비교한다. 계수 분포 특징으로 결정된 모드가 DC 혹은 diagonal로 정의된다면 계수 분포 특징이 확실하므로 후보 개수를 1개로 줄인다. horizontal 방향과 vertical 방향의 에지를 가진 분포를 나타낸다면 DC, Planar보다 10,26번 주위의 모드들과 연관되어 모드가 결정될 확률이 높으므로 후보 모드 개수는 3개로 유지하되, 첫번째로 결정될 모드를 각 10번, 26번 모드로 전환한다. 마지막으로 DC, diagonal, vertical, horizontal에 해당하는 계수 분포 특성을 가진 모드가 없다면 초기 값인 planar모드와 첫 번째 제안된 방법에서 나온 3가지 모드와 비교한 후 존재한다면 추가한 뒤 모드 수를 2로 줄인다. 만약 전체 과정과 3가지 모드가 해당하는 바가 없다면 첫 번째 방법이 끝난 후 모드를 가지고 다음 단계로 이동한다.

3. 화면 내 예측의 cbf 빈도수

CBF의 정의와 기능은 앞의 2장에서 설명하였다. CBF의 이러한 기능으로써, ECU(Early CU)라는 옵션이 현 HM에 적용 되어있다. 화면 간 예측에서 쓰이는 이 옵션은 PU(Prediction Unit)의 8가지 모드 결정에 있어 인코더 복잡도를 확연하게 감소시켜 주기 때문에 빈번하게 사용되고 있다. 그러나 화면 내 예측에서는 TU단에서 cbf가 0가 나오는 경우가 화면 간 예측보다 적기 때문에 거의 적용이 되지 않고 있다. 세 번째로 제안하는 방법은 이러한 아이디어에서 나오게 되었다. 표 2는 화면 내 예측에서 해당 CU의 cbf 전체가 0이 나오는 빈도수에 대한 표이다. 위의 표에서 실험 조건은 전체 클래스에서 시퀀스별로 QP(Quantization Parameter)를 27,37로 두고 실험하였다. 표 2를 보면 특히 클래스 D,E,F에서 CU 전체에 해당하는 cbf가 0인 빈도수가 생각보다 높다는 것을 알 수 있었다. 위의 실험 결과로 화면 내 예측에서도 cbf가 0인 경우가 다분히 존재하고 이를 통해 부호화 복잡도가 최종적으로 더욱 줄어드는 결과를 가져올 수 있다는 가정을 할 수 있다. 제안하는 방법의 순서는 첫 번째, 두 번째 제안하는 방법에서 결정된 후보 모드 중에서 RDOQ 과정에 들어가기 전에 cbf의 존재 유무를 검사하는 것이다. 해당 후보 모드를 가진 상태의 CU에서 cbf가 모두 0이 나온다면 해당 후보 모드를 최종, 최적의 모드로 결정하게 되고 부호화 시간에 가장 큰 영향을 미치는 Full RDO를 사용하지 않아 부호화 시간이 감소한다.

표 2.화면 내 예측의 CU에서 cbf 전체가 0이 나오는 빈도수 Table 2. Frequency that all cbfs are zero in a CU of Intra

4. 전체 알고리즘

제안하는 방법의 전반적인 알고리즘은 그림 4와 같다. 제안된 알고리즘에서 numModeFullRD는 Full RDO 과정에 수행되는 후보 모드의 개수이다. numModeFullRD가 1인 경우는 RDO 과정 없이 예측 모드를 결정하고, 그 외의 경우는 RDO과정을 수행한다. RdModeList는 3개의 index를 갖는 1차원 배열로써 SATD 값이 작은 순서부터 즉, 최종 모드로 선택될 확률이 높은 순서부터 후보모드를 설정할 수 있다. Rough Mode Decision의 첫 번째 단계인 35가지 모드와 SATD 값의 비교를 이용한 후보모드 설정을 한다. 이를 통해 나온 후보모드 개수는 CU 사이즈 별로 64x64~16x16는 3개로, 8x8~4x4는 8개로 설정 된다. 제안하는 첫번째 방법은 후보 모드 개수(Candidate Num)을 모두 CU 사이즈에 상관없이 3개로 설정하여 줄이는 것이다. 두 번째로 제안하는 방법은 DCT 계수 분포의 특성에 따라 후보 모드를 결정하고 후보 모드의 개수를 줄이는 것이다. 이 과정이 제안하는 3가지 방법들 중 성능향상에 상당히 큰 기여를 하며, 전체 알고리즘의 구성 중 가장 많은 부분을 차지하고 있다. 해당하는 원본 블록의 사이즈를 4x4로 다운 스케일 한 뒤 DCT 변환, 양자화를 통해 계수 값을 구한다. 이 계수 값들의 분포 특성은 DCT 계수 분포 특성을 의미하는 BestModeDCT로 결정한다.

그림 4.제안된 알고리즘 Fig.4. Proposed algorithm

BestModeDCT의 초기 값은 Planar 모드로 설정한다. 그 다음 DCT 계수분포를 비교하는 과정은 아래 순서와 같이 진행한다. 처음에 DC 계수 분포의 특징과 비교한 후 차례로 Diagonal-> Horizontal-> Vertical->Planar 순으로 진행한다. RdModeList[0]=DC, numModeFullRD=1 의 의미는 RDO 과정 없이 예측모드가 DC로 결정됨을 의미한다. BestModeDCT distribution 중 HorSum>VerSum의 의미는 RdModeList[0]가 Vertical(수직방향) mode로 설정되고, RdModeList[0]와 [1]을 각각 RdModeList[1], RdModeList[2]로 설정한다는 것이다. HorSum

 

Ⅳ. 실험 및 결과분석

1. 실험 조건

본 논문은 HEVC 참조 소프트웨어인 HM 14.0에서 구현되었으며, HEVC의 공통 실험조건[8]에 맞추어 실행하였다. 공통 실험조건에 명시된 영상의 분류는 비교를 위해 A-D 클래스로 이루어져있고 시퀀스들은 총 15개이며 다양한 해상도로 구성되어있다. All Intra 실험을 진행하였으며 사용한 QP는 22, 27, 32, 37이며 각 시퀀스에 해당하는 프레임 수는 100장으로 정하였다. 실험 결과의 비교를 위해 표 3과 같이 HM 14.0과 DCT 계수 분포 특성만을 사용하는 방법[6]과 sub-cbf를 이용한 방법[7]과 제안하는 방법과의 결과를 비교한다. E와 F 클래스는 실험 비교와 애니메이션, 컴퓨터 그래픽 등의 스크린 컨텐츠 영상의 포함으로 실험에 있어 부적합 하다고 판단되어 제외하였고, Max CTU size는 64인 경우에 는 경우의 수로 인하여 성능 향상에 부적합하므로 32로 정의한다. 표 3과 같이 기존 DCT 계수 분포만을 이용한 방법[6]은 HM 16.0 대비 평균 부호화 속도가 26% 감소하였고, BD-rate는 1.2% 증가하였다. 두 번째 sub-cbf를 이용한 방법[7]에서는 HM 14.0 대비 평균 부호화 속도가 34.3% 감소한 것에 비해 1.8%의 BD-rate가 증가하였다. 본 논문에서 제안하는 방법은 평균 부호화 속도가 55% 감소하였고, BD-rate는 그에 비해 2.5%로 소폭 증가하는 성능을 보였다. 특히 클래스 A,B에서 BD-rate는 [6][7]번 방법보다 조금 증가하였지만, 부호화 시간에 있어 큰 감소를 보인다. 결과적으로 기존 HM 대비 DCT 계수 분포만 적용한 방법, sub-cbf 정보를 이용한 방법 보다 제안한 방법의 BD-rate 대비 부호화 속도가 가장 높은 성능을 가진다.

표 3.DCT 계수분포만을 이용한 방법[6], sub-cbf를 이용한 방법[7], 제안된 방법과의 비교 실험 Table 3. Comparison Experiments of the method using only DCT coefficients distribution[6], the method using sub-cbf[7], and the proposed method

 

Ⅴ. 결 론

제안하는 고속 인트라 압축방법은 RMD를 통해 나온 인트라 예측모드의 후보 수를 줄이고 이산 여현 변환(DCT) 계수 분포와 비교하여 예측 모드의 수를 한 번 더 줄인다. 이후 RDO를 수행하기 전 CBF의 값이 0이 되는 후보를 찾아 후보모드를 줄여 RDO 수행시간을 줄이는 방법이다. 이 방법은 기존 HEVC 부호화 방법보다 비트율이 2.5% 중가했지만 평균 55%의 부호화 속도 향상을 얻는다. 따라서 제안된 방법은 고속화에 대한 관심이 집중되는 가운데 동영상 부호화에 유용하게 사용될 것으로 전망된다.