Efficient QP-per-frame Assignment Method for Low-delay HEVC Encoder

저지연 HEVC 부호화기를 위한 효율적인 프레임별 양자화 파라미터 할당 방법

Abstract

In this paper, we propose an efficient assignment method that assigns quantization parameter (QP) in accordance with group of picture (GOP) structure given in HEVC encoder. Each video frames can have difference QP values based on given GOP configuration for HEVC encoding. Particularly, for important frames we can assign low QP values, and vice versa. However, there has not been thorough investigation on efficient QP assignment method by far. Even in HEVC reference software encoder, only monotonic QP assignment method is employed. Thus, the proposed method assign adaptive QP values to each GOP so that temporal dynamic activity between GOPs can be exploited. Through the experiment, the proposed method showed a 7.3% gain of compression performance in terms of BD-rate compared to HEVC test model (HM) in low-delay configuration, and outperformed the existing QP assignment study on average.

본 논문에서는 HEVC 부호화기에서의 주어진 Group of picture(GOP) 구조에 맞추어 양자화 파라미터(Quantization parameter, QP)를 효율적으로 할당하는 방법을 제안한다. HEVC에서는 주어진 GOP 설정에 따라 각 비디오 프레임에 다른 QP값들을 할당할 수 있다. 특히, 낮은 QP값은 중요한 프레임에 할당시키고, 높은 QP값은 덜 중요한 프레임들에 할당하는 QP 변화 전략을 통해 압축률 증가를 꾀할 수 있다. 그러나 지금까지 효율적으로 QP를 할당하는 방법에 대한 정밀한 분석은 철저히 이루어진 바가 없다. HEVC 참조소프트웨어 부호화기에서도 단지 단조로운 QP 할당 방식만을 사용하고 있을 뿐이다. 본 제안기술은 QP할당을 각 GOP마다 적응적으로 하는 방식으로써, 그 기반은 GOP간의 시간적인 동적 활동 특성들을 활용한다는 것에 있다. 실험 결과, 저지연 부호화 환경설정에서 제안기술은 HEVC 테스트 모델(HM)과 비교하여 BD-rate의 관점으로 7.3%의 압축률을 더 이루었으며, 타 QP 할당방식 연구보다도 평균적으로 압축성능이 우월함을 확인하였다.

Ⅰ. 서 론

비디오 코딩에서 양자화 파라미터(Quantization parameter, QP)는 비디오 프레임의 비트율과 화질 왜곡도에 매우 결정적인 영향을 끼친다. 또한, 이러한 QP에 의한 압축률은 비단 해당 프레임만 영향을 끼치는 것이 아니라, 해당 프레임을 참조 프레임으로 사용할 나머지 프레임들의 압축률에도 영향을 끼치게 된다. 비디오 전송 시스템을 위한 비트율 제어 기법(rate control, RC)에서도 QP할당 방식은 중요한 축을 이룬다. 일반적으로, QP값은 AVC/H.264와 HEVC에서는 프레임 단위 혹은 매크로블록 단위로 조정한다[1]-[5]. QP값을 제어함으로써, RC 방법들은 비디오 전송을 위한 주어진 버퍼 크기라는 제약 속에서, 비트 할당의 안정화를 주요 목표로 연구되어 왔다. 이러한 RC 알고리즘들은 때때로 압축률을 증가시키는 것에 기여할 수도 있겠으나, 왜 부호화 중의 QP 변화가 압축률을 향상시킬 수 있는지에 대해서는 철저히 조사된 바는 없다.

비디오 코딩 기술이 비디오 코딩 기술이 진화하면서, 몇몇의 기술들은 다른 QP값을 프레임에 할당하여 압축률을 끌어올릴 수 있다고 보고한 바 있다. 일례로, Group of picture(GOP)내에서 다른 QP값을 할당함으로써 저지연 환경(low-delay configuration)에서 압축률을 매우 개선시킨 것이 보고된 바 있다[6]. Li 등의 연구자들[7]도 QP값을 프레임마다 다르게 할당하여 Rate-Distortion Optimization(RDO) 연산에 사용되는 람다값(λ)에 맞추어 QP 값을 키우는 것을 연구한 바 있다.

이렇게 다양한 QP 값을 할당하는 것의 중요성이 확인된 후로, 최신 비디오 코덱 표준인 HEVC에서도 주로 QP 변이 전략을 사용하기로 하였다. 특정 시간적 계층 T에 해당하는 프레임을 위한 특정 QP 값 QPT를 정의한다면, HEVC는 다음 식 (1)과 같은 전략을 차용하고 있다.

여기서, QPI는 화면간 예측 프레임(Intra frame)에 할당하는 QP값을 의미하며, n은 정수값을 의미한다. 각 계층 T에 대하여, 정수값 n은 T값으로 할당한다. 예를 들면, 시간적 계층이 2라고 했을 때, n은 역시 2가 된다. 그러나 HEVC라는 최신 동영상 코덱에서 다양한 영상의 특성에 맞추어 어떤 QP값을 GOP구조 내의 특정 프레임에 할당해야 압축률을 최적으로 올릴 수 있는지 아닌지에 대해서는 지금까지 연구된 바가 미미하다.

본문에서 우리가 제안하는 방법은 HEVC 특유의 코딩 구조에 맞게 QP값을 프레임에 적응적으로 할당하는 것이다. 이러한 적응적인 QP 선택 설계방식이 연구된 이유는, 고정된 QP 할당 전략(Lim 등[6]과 Li 등[7])으로는 다양한 비디오 영상들의 고유 특성들을 모두 반영하는 것에 한계가 있기 때문이다. 움직임이 많은 혹은 정적인 장면들의 특징을 인식하기 위해서, 제안 방법은 예측 유닛(Prediction Unit, PU)의 문맥을 활용하며, 이를 통해 얼마나 많은 QP값을 적응적으로 변화시킬지를 GOP내에서 결정하게 함으로써 기존 기술의 한계를 극복하고자 한다. 덧붙여서, 저지연 환경은 대체로 양방향 예측이 가능한 프레임을 가지고 있는 임의 접근 구조(Random access structure)와 비교할 때 압축률이 떨어지는 경우가 많다. 그래서 저지연 환경에서의 압축률을 중점적으로 향상시키고자 저지연 환경의 코딩 구조에 특화된 기술을 제안한다. 실험 결과, 제안 기술은 기존의 고정 QP 변이 방식들에 비해, 저지연 제약(Low-delay constraint) 환경에서 평균적으로 우월한 성능을 보였다.

 

Ⅱ. 제안하는 QP 할당 방식

제안 기술의 주요 요지는 2가지로 나뉠 수 있다. 하나는 프레임마다 각 프레임의 상대적 중요성에 따라 QP변이전략을 취하는 것이며, 다른 하나는 현재 GOP 내에서 이전 GOP들의 특징에 기반하여 적응적으로 QP값을 조정하는 것이다. 먼저, 제안기술은 근본적으로 시간적 계층의 이점을 취하는 것에 있으며, 이 시간적 계층은 HEVC에 이미 구현되어 있고 흔히 사용되는 것을 의미한다. QP변이를 프레임마다 차용하는 것의 이점은 이미 보고된 바가 있는데[6][8][9], 이러한 것들은 다수의 시간적 계층을 이용한다. 이렇게 특정 시간적 계층에 따라 다른 QP값을 할당하는 것이 압축 성능에 어떠한 영향을 끼치는지 확인하기 위하여 HEVC 표준화 및 연구에 널리 쓰이는 3개의 영상에 대해 그림 1과 같은 실험을 실시하였다. 그림 1은 특정 시간계층 QPT에 대하여 본래의 값보다 그 값을 증가시킬 때에 따른 기존 HEVC의 QP 할당과의 압축률의 변화를 보여준다(+1은 1만큼 더 증가를 의미하며, +1/+2/+2일 경우 각각 차례대로 본래의 QP1/QP2/QP3에 대한 추가로 할당한 값을 의미한다). 그림 1에서 보여주는 바와 같이, BasketballDrill과 PartyScene이라는 영상은 QP2와 QP3에 증가된 QP값을 할당하여도 압축률이 상승하는 반면, BQMall의 경우에는 QP2와 QP3에 3 이상의 값을 추가로 할당할 경우, 압축률에서 이득을 보지 못함을 알 수 있다. 이에 따라 제안 기술은 이러한 QP변이의 이점을 더욱 증가시키기 위하여, 각 시간적 계층 T에 대해 새로운 QP값인 QPT’를 할당하며, 이를 다음 식 (2), (3), (4)와 같이 서술하였다.

그림 1.저지연 환경에서 각 시간 계층에 할당하는 QP1/QP2/QP3의 값을 일부 증가시킬 경우에 따른 BD-rate 변화량(+는 압축률 손실을, -는 압축률 이득을 의미) Fig. 1. BD-rate differences in low-delay configuration according to the increased value on QP1/QP2/QP3 which were assigned to an each frame for the particular temporal layer, respectively

여기서, QPT는 각 시간적 계층을 위해 HEVC 개발에서 흔히 사용되던 본래의 QP값을 의미한다. 제안하는 QP값은 동영상의 주관적 화질을 매끄럽게 잘 유지하기 위하여 결정되었다. 왜냐하면, 너무 높은 QP값 차이를 만들어버리면, 이것은 동적인 영상의 경우 동영상내에서 깜빡거리는 효과(flickering effect)를 크게 야기할 수 있기 때문이다. 그리고 QP2’와 QP3’에 대한 QP값을 원래의 HEVC에서의 QP값보다 더 증가시킨 이유는, 참조 프레임의 특성을 반영한 것이다. 특히, QP2’와 QP3’와는 달리, QP1는 다중 참조 프레임으로서 가장 많이 참조된다는 특성이 있기 때문이다[6].

두 번째로, GOP마다 인코딩 중에 QP값을 조정하기 위한 온라인 적응적 방법을 채택하기 위해서는, 각 프레임들의 중요성을 평가하는 기준점이 필요하다. 이러한 기준점을 위하여, 이전 GOP내에서 다음의 문맥 정보들을 수집했다. 첫째는 스킵모드(Skip mode)의 확률 Pskip, 두 번째는 인트라 예측 모드의 확률 Pintra, 그리고 마지막으로는 바로 이전 프레임이 아닌 나머지 프레임들의 참조되는 확률 Pref이다. 우리는 앞서 언급한 문맥들이 다양한 동영상 특성(움직임이 많거나 정적인 장면 등)을 이해하기 위한 중요한 정보를 전달한다고 가정하였다. 그림 1은 각 세 가지 문맥에 따른 GOP마다의 흥미로운 트렌드를 보여준다. Kimono라는 실험 영상을 사용하였는데, 이 영상의 특징은 바로 시작부분에는 움직임이 매우 많으나 약 2/3의 시간이 지나면 정적인 부분으로 장면의 전환이 이루어지는 영상이다. 그림 1에서 그려진 바와 같이, 움직임 중점적인 부분에서는(즉, 1~34의 GOP들에서는) 정적인 부분과 비교하여, Pskip의 확률이 대체로 낮으며, Pintra는 높은 비율을, 그리고 Pref는 낮은 비율을 나타냄을 분명히 볼 수 있다. Pref에 대하여 더 상세히 서술하면, 본문에서는 만약 현재 PU의 예측 모드가 화면 간 예측모드(inter prediction mode)일 경우에 한해 계산되었으며, 여기서 스킵 모드는 제외하였다. 덧붙이면, 만약 현재 예측 유닛이 가지고 있을 특정 움직임 벡터에서 첫 참조 인덱스(즉, RefIdx(0))가 0을 나타낸다면, 그러한 경우만 Pref에 반영되었다. 여기서, 참조 인덱스는 참조 리스트 0(Reference list 0)에 있는 참조 프레임들을 가리키는 인덱스이다.

위에 서술한 문맥들에 기반하여, 제안 기술이 마침내 결정할 수 있는 것은, 이전 GOP내에서의 어떤 프레임이 중요한지 아닌지를 판별할 수 있다는 것이다. 만약 어떤 프레임이 중요하지 않은 것이라면, 부호화기는 효율적으로 그 프레임을 압축하여 적은 비트만으로 표현가능하다. 특히, 시간적 계층 값이 높은 프레임들(T가 2 혹은 3인 프레임들)의 경우, 첫 계층에서의 프레임보다 훨씬 덜 중요하다. 이는 HEVC의 참조 리스트를 위한 특별한 구조 때문이다. 더군다나, Li 등[7]은 QP2와 QP3 값들이 증가되었을 때 좋은 압축효율을 보일 수 있음을 보였는데, 특히 3에서 7까지의 값을 더 더했을 때에 대한 결과를 보였다. 이와 비슷하게, 제안기술은 (3)에서의 QP2와 (4)에서의 QP3에 대해 A(n)만큼 더 QP값을 증가시키는 다음의 식 (5), (6), (7)을 제안한다.

여기서 Clip3은 가운데 인자 값을 왼쪽과 오른쪽 값의 범위 내의 값으로 자르는 함수로서 왼쪽 인자가 최소값을, 오른쪽 인자가 최대값을 의미하는 것으로 볼 수 있다(즉, A(n)은 여기서 0과 4 사이의 값만을 가지게 된다). 또한 여기서, n은 증가하는 자연수값이며, 특히 현재 GOP의 순서(즉, 몇 번째 GOP인지)를 나타낸다. A(n)은 프레임들의 중요성을 분류하는 함수로, 다음 식 (8)과 같이 정의한다.

여기서, α는 0.5를, β는 0.03을, γ는 0.25로 설정하였다. 이러한 상수값 α와 β는 Vanne 등[10]이 연구한 스킵 모드와 인트라 모드의 평균 확률값과 유사하다. 즉, 이러한 값들은 흔한 동영상과 특이한 동영상 사이를 구별하는데 기여할 수 있을 것으로 본다. 그리고 나머지 상수값인 γ는 저자의 강도 높은 실험 결과를 통해 실험적으로 발견한 값이다. 이에 대해 덧붙이자면, 대부분의 정적인 영상들(가령 Johnny 영상)은 대게 Pskip 확률이 0.5의 값보다 큰 값을 가질 경우가 있다. 흔히, 인트라 예측의 비율은 P프레임에서는 매우 낮은 편인데 약 0.01에서 0.02에 달한다. 그러나 움직임 중점적이거나 복잡한 질감을 갖는 영상들에서는 이 비율이 올라간다. Pref의 경우, γ는 움직임 중점적인 영상에서도 커질 수가 있으나, 식 (8)에서의 2번째 조건을 동시에 만족하는 것은 상기 서술한 이유 때문에 흔하지 않다.

그림 2.저지연 환경에서 QP32로 부호화된 Kimono영상에서의 세 문맥(Pskip, Pref, Pintra)의 변이 Fig. 2. Variations of three contexts (Pskip, Pref, and Pintra) in Kimono sequence when encoding by QP32 in low-delay configuration

 

Ⅲ. 실험 결과

성능 평가를 위하여, 3가지 방법들을 실험하였다. 하나는 HEVC 참조 소프트웨어이며, 다른 하나는 기존의 QP 정제방법[7]이고, 마지막으로 제안기술을 평가한다. 기존 방식과 제안 방식은 모두 HEVC test model(HM) 15.0 위에 구현하였으며, Common Test Condition(CTC)[11]에 맞추어 평가를 진행하였다. CTC는 실험영상과 실험환경들, 그리고 QP값들에 대해 서술된 문서이다. 특별히, QP값들에 대해서는 기존 QP정제 방법[7]을 위해 디폴트 QP값들(22, 27, 32, 37)을 사용하지 않고 더 낮은 QP값들을 사용하였다(20,25,30,35). 그리고 제안방법 역시 비슷한 비트율로 맞추어 비교하기 위해서, QP값을 CTC에서의 값보다 하나씩 작게 설정하였다(즉, 21, 26, 31, 36). 모든 실험들은 저지연 환경에서 평가되었다. 그리고 Intel Xeon CPU E5645프로세서를 갖추고 있는 컴퓨터에서 실험을 수행하였으며, 2.4GHZ 클록 속도와 12GB RAM에서 수행했다.

압축성능은 BD-rate라는 것으로 평가하였는데, 이는 동일한 화질(특히 여기서는 PSNR값을 의미)에서의 비트율의 차이값을 의미하는 평가지표이다[12]. 전체적인 색차 요소까지 평가하기 위해서 우리는 PSNRyuv라는 것을 BD-rate 계산식에 함께 사용하였는데, 이 식은 Ohm 등[13]이 사용한 가중치값을 그대로 사용하였으며, 이는 다음의 식 (9)와 같다.

여기서 PSNRy는 휘도성분의 평균 PSNR을, PSNRu와 PSNRv는 색차신호의 평균 PSNR값을 의미한다. 부호화 시간 역시 평가하였으며, 이는 전체 부호화 시간의 기하평균값의 비율로 평가하여 제안기술의 복잡도를 이해하는데 돕고자 하였다.

실험결과는 표 1과 같다. 전체적으로 제안 기술은 QP정제방식보다 대부분의 경우에서 더 효율적으로 부호화를 하였으며, 평균적으로 QP정제방식은 1.2%의 BD-rate 이득을 얻은 반면, 제안기술은 3.3%의 이득을 성취했다. 제안 기술의 가장 좋은 압축률은 Class E 영상들에서 나타났는데, 이러한 영상들은 정적인 장면을 많이 포함하고 있고 고정된 카메라 위치에 몇몇의 적은 움직임만 있는 특징의 영상이다. 특히, FourPeople과 KristenAndSara영상에서는 최대 7.3%의 BD-rate 성능 향상을 보였다. 이러한 경우, 제안 기술은 부호화 중에 QP값을 최대한 증가시키려는 경향이 있으며, 이를 통해 압축률을 성취한다. 덧붙이자면, 제안기술은 꽤나 복잡한 영상들인 ParkScene이나 BQSquare에서도 기존 기술에 비해 우수한 성능을 보였는데(각 3.2%와 3.8%의 이득), 이는 식 (8)의 조건을 만족하여 QP값을 증가시켜왔다는 것을 의미한다. 즉, 이러한 영상들은 식 (8)의 조건을 여러 번 만족시켰는지를 판별함으로써 프레임들의 중요성을 적절히 판단하는 것 역시 잘 수행하고 있음을 알 수 있다. 이와는 반대로, 제안기술이 기존 QP정제방식보다 덜 효율적인 영상도 있는데, 이는 매우 움직임이 크거나 복잡한 영상인 RaceHorses같은 경우에 나타난다. 비록 제안기술이 분명이 대부분의 영상에서 압축효율의 우수성을 보였지만, 여전히 개선이 필요한 부분도 있음을 알 수 있다. 특히 매우 복잡한 장면을 가진 영상들이나 압축 성능의 어려움을 야기하는 영상들에 대한 추후 연구가 필요하겠다. 표 1에는 또한 부호화시간도 기록하였는데, 제안기술은 전체 부호화시간을 3% 더 줄였음을 알 수 있다. 이는 QP증가가 부호화시간을 줄이는 것에 영향을 끼쳤다고 보고 있다. 이러한 비슷한 관찰은 학계에도 이미 토의된 바가 있다(자세한 사항과 관련된 실험은 Vanne 등[14]의 연구에서 발견할 수 있다).

표 1.HM 15.0과 비교한 기존 기술과 제안 기술의 압축률 성능 결과 Table 1. Compression Performance Results of existing method [6] and the proposed method compared to HM 15.0

압축 성능의 결과에 덧붙여서, PSNR의 변이 영향에 대해서도 측정 실험을 수행하였다. 제안기술이 QP를 시간에 따라 변경시키는 것이므로, 각 프레임마다 PSNR값에 대하여 표 2와 같이 각 프레임의 PSNR 값들에 대한 표준편차 값을 측정하였다. 측정할 때의 실험 환경은 기 서술한 방식으로 동일하게 수행하였으며, BasketballDrill과 PartyScene, 그리고 FourPeople이라는 세 가지 영상에 대해 측정하였다. 표 2에서 보이는 바와 같이, 제안기술은 오히려 기존 HEVC보다 더 적은 표준편차값을 가지므로 제안 기술의 PSNR 편차가 Y, U, V 모든 영역에서 상대적으로 꽤나 안정적임을 알 수 있다. 또한, 이러한 트렌드는 각 프레임에서의 PSNR 값을 측정하였을 때에도 비슷하게 나타난다. 프레임 간의 QP의 변화량을 상세히 보기 위하여, 본문에서는 그림 3과 같이 각 프레임이 가지는 PSNR 값을 조사하였다. 특별히, 그림 3에서는 FourPeople과 BasketballDrill 두 영상에서의 PSNR-Y(휘도성분)을 나타내었다. 그림 3에서와 같이, 제안기술은 프레임 간에 PSNR이 HM과 비교하여도 그렇게 크게 차이가 나지 않음을 알 수 있다.

표 2.프레임간의 PSNR 표준편차 결과 Table 2. Standard deviation results of PSNR among frames

그림 3.프레임간의 휘도성분(Y component)의 0부터 50프레임까지의 PSNR 변화량. Org는 HM을, Li는 Li 등[6]을, Prop.는 제안기술을 의미. (a) : FourPeople 영상, (b) : BasketballDrill 영상. Fig. 3. PSNR values of luma (Y) component among frames (0 to 50 frames; Org means HM method, Li means Li’s method [6], and Prop means the proposed method). (a): FourPeople Sequence, (b): BasketballDrill Sequence.

 

Ⅳ. 결 론

지금까지 단조로운 QP할당방식만이 HEVC 참조 부호화기에 고용되어 왔으나, 학계에서는 효율적인 QP 할당방식에 대한 심도 깊은 탐구는 이루어진 바가 미미하다. 본문에서 제안하는 방식은 적응적인 QP할당 전략을 GOP마다 수행하는, GOP간의 움직임의 복잡도를 기반으로 압축 효율을 끌어올리는 방식이다. 제안 방법의 효율성을 검증하기 위하여 객관적인 평가방식이 저지연 환경에서 수행되었고, 그 결과 HM 15.0부호화기에 비해 평균적으로 3.3%의, 최대 7.3%의 BD-rate 압축 효율을 이끌어냈다. 또한 기존의 다른 QP할당방식 연구보다도 평균적으로 우월함을 보였으며, 부호화시간 역시 합리적임을 보였다. 이를 바탕으로, 제안하는 QP할당 방식은 HEVC 부호화기에 함께 설계되는 것이 수많은 비디오 데이터를 효율적으로 압축하기 위해 고려되어야 한다고 결론짓는다.