Performance Analysis of Screen Contents Coding Tools to Reduce Inter-Color Component Correlation

색 공간 내 중복 정보 감소를 위한 HEVC 스크린 콘텐츠 부호화 기법 성능 분석

Abstract

JCT-VC (Joint Collaborative Team on Video Coding) continues developing HEVC/Screen Content Coding (HEVC/SCC) as an extension for efficiently coding screen content videos, including computer animations, graphics, and electrical documents, based on HEVC/Range extension (HEVC/RExt.). Color space conversion from RGB space being captured from CCD sensors is popular in natural video coding. However, the conversion is often undesired for screen contents because of a significant loss in perceptual quality. Therefore, several coding tools including cross-component prediction (CCP) and in-loop adaptive color space transform (ACST) have been developed for an efficient screen content video coding in order to reduce the redundancies between color spaces while maintaining the original color space. In this paper, we review the two coding tools, i.e., CCP and ACST exploiting the correlation in the RGB color space and conduct the performance analysis of the coding tools. In our simulation results, CCP and ACST provide 11.7% BD-rate saving and 16.4% BD-rate saving, respectively, while the two coding tools provide 18.2% BD-rate saving in total. Following this idea, if the two coding tools are exclusively selected, we provide 93% encoding measurement time with a 0.3% coding loss.

최근 동영상 압축에 관한 국제 표준화 기구인 JCT-VC (Joint Collaborative Team on Video Coding) 에서는 High Efficiency Video Coding (HEVC)의 확장 표준으로 HEVC/Range Extension (HEVC/RExt)의 개발을 완료하고 스크린 콘텐츠 동영상의 부호화기술을 위한 표준인 HEVC/Screen Content Coding (HEVC/SCC)을 제정 중이다. 기존 동영상 압축 과정에서는 이미지 센서로부터 취득한 RGB 영상을 변환하여 부호화를 수행하는 반면에 애니매이션, 그래픽스 등 컴퓨터로 합성한 영상을 일컫는 스크린 콘텐츠의 경우는 색 공간의 변환이 주관적 화질을 심각하게 열화 시킬 수 있으므로 기존 RGB 색 공간을 유지하며 효율적으로 색 공간 내 정보의 중복성을 줄이기 위한 부호화 기법이 필요하다. 본 논문에서는 HEVC/RExt.와 HEVC/SCC에서 개발한 스크린 콘텐츠 동영상 압축을 위한 색 요소 예측 기법과 루프 내 색 공간 변환 기술의 성능을 분석한다. 실험 결과에 의하면 색 요소 예측 기법은 평균 약 11.7% BD-rate 감소, 색 공간 예측 기법은 평균 약 16.4% BD-rate 감소를 보인다. 그러나 두 기법이 동시에 적용되는 경우 약 18.2%의 BD-rate 감소를 보여 두 기법의 부호화 효율이 약 9.9% 중첩된다. 본 결과를 응용하여 두 기법이 배타적으로 선택이 되게끔 부호기 고속화를 수행하는 경우 약 0.3%의 부호화 손실로 93%의 부호화 측정 시간을 제공한다.

Ⅰ. 서 론

최근 컴퓨터 합성 기술의 향상과 디지털 콘텐츠 제작 기술의 발달로 다양한 영상에 대한 방송· 산업계의 수요가 증가하고 있다. 스크린 콘텐츠(Screen Contents)는 카메라에서 취득한 일반 동영상이 아닌 애니매이션, 각 종 전자 문서 등 컴퓨터로 합성한 영상으로 스마트 오피스, 가상 현실, 스크린 캐스트 등 다양한 어플리케이션에 함께 적용할 수 있어서 관련 동영상 콘텐츠의 제작이 급속도로 증가하고 있다[1]. 스크린 콘텐츠 동영상은 원 색상의 생생한 표현을 위하여 그래픽 장치로부터 취득한 영상의 색상 요소를 휘도 요소 대비 다운샘플링하지 않고 동일한 샘플링 비율을 이용한 RGB 4:4:4 동영상 형식으로 저장한다. 그러나 RGB 4:4:4 형식은 색상 요소 사이의 중복성이 크기 때문에 압축에 적합하지 않으며 각 색상 요소 간 동일한 샘플링 비율을 사용하기 때문에 정보의 크기가 큰 단점이 있다. 이에 따라 RGB 4:4:4 형식의 중복성을 줄이면서 부호화 효율을 제고하기 위한 색 공간 변환 기법 (Adaptive Color Space Transform, ACST)[2]과 색 요소 예측 기법 (Cross-Component Prediction, CCP)[3]과 같은 부호화 기법에 관한 연구가 최근 활발하다. 색 요소 예측 기법과 색 공간 변환 기법은 H.264/AVC 확장의 4:2:2 혹은 4:4:4 동영상 형식을 압축하기 위한 기술로 개발이 되었으며 최근에는 HEVC 기반의 개선된 방식으로 개발 중이다.

High Efficiency Video Coding (HEVC) 동영상 압축 표준의 요소 기술은 HD/UHD 방송을 위하여 개발이 되어 색상의 대조비가 높은 그래픽과 글자 등으로 구성된 스크린 콘텐츠의 압축에 최적화 되어있지 못하다[4]. 이에 따라 최근 동영상 압축에 관한 국제 표준화 기구인 JCT-VC (Joint Collaborative Team on Video Coding) 에서는 보다 다양한 동영상포맷과깊은비트심도로의 HEVC 확장표준 (HEVC Range Extension, HEVC/RExt)[5]을 기반으로 스크린 콘텐츠 동영상의 효율적인 압축방식의 표준을 개발 중이다. HEVC/RExt는 확장된 색상 포맷과 높은 비트 심도를 갖는 동영상의 압축을 지원하기 위하여 제정되었으며 표준화 과정에서 스크린 콘텐츠의 압축 성능 제고를 위한 색 요소 예측 기법을[3] 포함한 여러 부호화 기법이 고려되었다. HEVC/Screen Content Coding (HEVC/SCC)는 ITU-T SG16/Q6.16과 ISO/IEC JTC1/SC29/WG11의 공동 Cfp의 응답으로 2014년 3월 Valencia회의에서 퀄컴, 미디어텍, 화 웨이, 마이크로소프트, 미쓰비시, 인터디지털, 및 ITRI의 제안 코덱 성능을 평가하고 2016년 2월에 종료될 예정으로 표준화를 진행 중이다[6]. HEVC/SCC의 제안된 대표적인 기술로는 현재 SCC test model인 SCM4.1[7] 기준으로 색 공간 변환 기법 (Adaptive Color Space Transform, ACST)[2], 화면 내 블록 카피 기법 (Intra Block Copy、 IBC)[8], 팔레트 부호화 모드 (Pallette Coding Mode, PCM) [9] 등이 있다.

스크린 콘텐츠는 일반 동영상과 다르게 YCbCr 색 공간으로 변환 후 Cb/Cr 색상 요소를 다운 샘플링하여 압축을 수행하는 경우 변환 과정에서의 rounding-off 오류가 콘텐츠의 심각한 화질 열화를 야기할 수 있으며 RGB 색상 요소간 중복 정보가 커서 압축 효율이 감소하는 특성이 있다. 또한 그림 1에서 보듯이 스크린 콘텐츠의 예측 부호화 후 취득한 잔차 신호로 여전히 색상 요소 간 중복 정보가 많이 남아있는 것을 볼 수 있다. 본 논문에서는 이러한 문제를 해결하기 위하여 원 색상 공간을 유지하면서 색 공간 내 정보의 중복성을 감소시키기 위한 압축 기법으로 최근 HEVC 확장 표준에 채택이 된 색 요소 예측 기법과 색 공간 변환 기법의 부호화 메커니즘을 설명하고 성능을 분석 및 평가한다. 본 실험 결과 및 분석은 향 후 부호기 고속화 알고리듬 등에 유용하게 사용할 수 있다.

그림 1.스크린 콘텐츠의 예측 부호화 후 잔차 신호 (32x32) 에서 보이는 RGB 색상 요소 간 중복 정보. 왼쪽부터 R,G, 그리고 B. Fig 1. Redundancies in RGB components in 32x32 residue

본 논문의 구성은 다음과 같다. II장에서는 HEVC/Screen Content Coding (HEVC)의 소개된 기존 기법을 설명하고 III장에서는 색 공간 내 정보의 중복성을 줄이기 위한 부호화 기법으로 색 요소 예측 기법과 색 공간 변환 기법을 설명한다. IV 장에서는 성능을 평가하고 분석한다. 마지막으로 V장에서는 향 후 연구 방향과 함께 결론을 맺는다.

 

Ⅱ. 기존 연구

HEVC/SCC의 화면 내 블록 카피 기법은 콘텐츠의 반복되는 패턴이나 글자의 부호화에 효율적으로 "All Intra" 구성에서 HEVC/RExt 대비 최대 약 69% 비트율 감소의 효율을 보인다. 화면 내 블록 카피 기법은 일반적인 움직임 예측/보상 기법과 비슷하게 블록 벡터를 이용하여 가장 근사한 블록을 찾아 그 차분 값과 블록 벡터를 압축하는 방식으로 HEVC의 Coding Unit (CU) 단위로 적용 여부를 결정하고 CU의 블록 크기가 2N×2N일 때 2N×2N, 2N×N, N×2N, N×N의 Prediction Unit (PU) 모드를 이용하여 예측 부호화를 수행한다. 적용 여부는 Sequence Parameter Set (SPS)의 "intra_block_copy_enabled_flag"와 CU 단위의 "intra_bc_flag"가 동시에 1이면 적용이고 그렇지 않으면 적용하지 않는다. 블록 벡터의 탐색은 CU의 크기에 따라 지역 탐색과 전역 탐색을 수행한다. 지역 탐색은 일반적으로 현 Coding Tree Unit (CTU)의 왼쪽과 위 CTU 영역에서 블록 벡터를 찾고 전역 탐색은 8×8 그리고 16×16 CU에 대하여 동일 화면 내 앞서 부호화한 영역에서 찾는다. 이 경우 고속 부호화를 위하여 16×16 CU는 수평 혹은 수직 방향으로 1-D 탐색을 수행하고 8×8 CU는 4×4 서브블록의 DC 값과 경사 값으로 표현한 16 비트 해쉬 테이블을 이용하여 블록 매칭을 수행한다[10].

팔레트 부호화 기법은 스크린 콘텐츠의 화소 분포가 빈번하게 발생하는 소수의 대표 화소 값과 희소한 예외 화소값으로 구성되는 특성을 이용하여 개발되었다. 부호화 과정에서는 화소의 히스토그램으로부터 대표 화소 값을 인덱스로 표현하는 맵핑 테이블을 구성하고 블록 내 화소를 맵핑 후 인덱스의 부호화를 수행한다. 맵핑은 대표 화소 값을 주위로 설정한 양자화 구간에 따라 수행하며 양자화 구간 외부의 화소 값은 escape 인덱스로 표현한다. 따라서 팔레트의 복호를 위해서 필요한 정보는 팔레트를 구성하는 색상 요소에 관한 테이블 정보와 이에 따라 화소 값을 맵핑한 인덱스 정보로 부호화 하여 복호기로 전송한다. 팔레트 테이블 정보는 각 인덱스 별로 이전 CU에서 구성한 팔레트 인덱스의 재사용 여부를 “previous_pallette_entry_flag”를 run-length 기법을 이용하여 부호화하고 새로운 인덱스를 구성하는 경우 비트스트림을 통하여 전송한다. 색상 인덱스의 부호화는 그림 2와 같이 수평 혹은 수직으로 블록 내 인덱스를 먼저 스캐닝하여 1-D 배열로저장하며 이 때선택한 스캐닝 모드는 “palette_transpose_flag”를 이용하여 부호화 한다. 저장한 인덱스는 “index 모드”와 “copy_ above 모드”를 이용하여 부호화 한다. “index mode”는 인덱스를 run-length code로 부호화하고 “copy above” 모드는 바로 위 행의 인덱스 정보를 복사하여 사용한다. 수직 스캐닝의 경우 “copy above” 모드는 바로 왼쪽 열의 인덱스 정보를 복사한다. escape 모드는 테이블 인덱스 중 가장 큰 인덱스로 표현하여 부호화 한다. escape 모드로 인덱스 2가 할당이 된다[11].

그림 2.팔레트 부호화의 수평 그리고 수직 인덱스 스캐닝[1] Fig.2. Horizontal and vertical traverse scan in Pallette coding[1]

 

III. 색 공간 내 중복 정보 감소를 위한 부호화 기법

색 요소 예측 기법 (Cross Component Prediction, CCP)와 색 공간 변환 기법 (Adaptive Color Space Transform, ACST)는 색 공간 내 중복 정보 감소를 위한 부호화 기법으로 각각 HEVC/RExt와 HEVC/SCC에 채택이 되었다. 그림 3는 HEVC/RExt와 HEVC/SCC의 블록 다이어그램으로 각 흰색 블록은 HEVC/RExt를 구성하는 부호화 모듈을 보이고 회색 모듈은 HEVC/RExt 기반에 HEVC/SCC에서 새롭게 추가된 모듈을 보인다[12]. 그림에서 보듯이 ACST는 예측 후 잔차 신호에 대해서 수행한다. 변환 후 얻은 ACST 계수에 대하여 CCP를 수행할 수 있다. CCP 후 신호는 일반 잔차 신호처럼 DCT 변환 후 양자화를 수행한다. ACST와 CCP는 비트율-왜곡 최적화에 따라 부호화 적용 여부를 결정할 수 있으며 해당 flag에 따라 모드를 비트스트림에 시그널링하여 복호기로 전송한다.

그림 3.HEVC/RExt와 HEVC/SCC에 구성한 색 공간 변환 기법과 색 요소 예측 기법[12] Fig 3. Cross-Component Prediction and Adaptive Color Space Transform in HEVC/RExt and HEVC/SCC[12]

1. 색 요소 예측 기법 (Cross-Component Prediction)

색 요소 예측 기법은 잔차 신호의 휘도 성분을 이용하여 색차 정보를 예측 부호화한다. HEVC 부호화 과정 중 스크린 콘텐츠의 RGB 형식 요소 중 Green 색상 요소를 휘도 성분으로 이용하고 나머지 Red/Blue 색상 요소를 색차 정보로 간주하여 부호화를 수행한다. 따라서 HEVC/SCC에서는 앞서 부호화한 Green 색상 요소를 이용하여 Red/Blue 색상 요소를 예측 부호화 한다. 잔차 신호의 (x, y)의 색차 요소를 rc(x, y)로 휘도 요소를 rL(x, y)로 지칭할 때 색차 정보의 차분값 drc(x, y)는 다음과 같이 구한다.

이 때 r'L(x, y)는 앞서 부호화하여 양자화 잡음이 섞인 복원 휘도 성분이고, α는 스케일링 파라메터이다. α는 HEVC의 Transform Unit (TU) 단위로 부호화 한다. 사전에 정의한 파라메터 셋 집합 A={-8, -4, -2, -1, 0, 1, 2, 4, 8} 중 파라메터를 encoder에서 비트율-왜곡 최적화에 따라 최적의 값을 선택하고 TU마다 전송한다. 파라메터의 부호화는 각 파라메터의 부호 정보와 표 1과 같이 0~4까지의 절대값을 truncated unary 방식으로 이진화하여 Context Adap- tive Binary Arighmetic Coding (CABAC)을 이용하여 부호화 한다. 파라메터가 0인 경우는 색 요소 예측 기법을 수행하지 않는다. 색 요소 예측 기법은 화면 내 부호화 (Intra- Coding) 혹은 화면 간 (Inter-Coding) 압축 방식으로 부호화한 TU에서 모두 적용이 가능하지만 화면 내 부호화 블록에서는 해당 블록이 DM chroma 방식으로 부호화한 경우에만 수행한다. 색 요소 예측 기법은 휘도와 색차 정보의 의존성으로 복호 과정에서 지연이 발생할 수 있는 단점이 있지만 4:4:4 동영상 포맷에서 특히 부호화 효율이 커서 HEVC/ RExt. 표준에 채택이 되었다.

표 1.색 공간 내 예측 기법의 파라메터 및 이진 부호화[11] Table 1. Parameter in Cross-Component Prediction[11]

2. 색 공간 변환 기법 (Adaptive Color Space Transform)

색 변환 기법은 원 영상을 표현하는 색 공간을 새로운 공간으로 변환하는 방식으로 YCgCo (혹은 YCgCo-R) 색 변환 행렬[7]이 4:4:4 동영상 형식을 부호화하는데 효율적으로 알려져 H.264/AVC의 확장 표준에 채택이 되었으며 현 개발 중인 스크린 콘텐츠 압축 표준에도 같은 방식의 변환 기법이 채택이 되었다. HEVC/SCC의 색 공간 변환 기법은 CU 단위로 부호화 적용 여부를 시그널링하여 모드 정보를 전송한다.

YCgCo 변환 식은 식 2에 따라 변환한다. 식 2는 KLT (karhunen-loeve transform)을 이용하여 색상 요소 간 중복성을 줄이기 위한 행렬식을 학습하여 찾고 정수 기반 행렬 곱이 가능하도록 근사한 것이다. 식 3은 식 2에 대응하는 YCgCo로부터 다시 RGB 색 공간으로 사영하는 backward transform 식을 보인다.

식(3)에서 보듯이 backward transform은 덧셈 연산자만으로 역변환이 가능한 반면 forward transform은 변환 과정에서 rounding-off 오류를 발생한다. 따라서 무손실 압축을 위하여 식 2를 lifting scheme[13]을 이용하여 수정한 YCgCo-R 변환을 이용한다. 이를 식 4와 5에 보인다.

보다 효율적인 색 공간 변환 기법을 위한 최적화 방식이 몇 가지 있다. 우선 YCgCo의 forward transform에서 보듯이 색 변환 행렬식은 정규화 되어있지 않기 때문에 Co 요소는 만큼 Y 및 Cg 요소는 만큼 정규화 보정을 수행해야한다. HEVC/SCC에서는 양자화 파라메터의 “delta QP”를 이용하여 정규화 보정한다. 즉 CU의 주어진 양자화 파라메터 (Quantization Parameter, QP)에 대하여 Y/Cg/Co에 대해서 QP-5, QP-5, QP-3를 적용하여 부호화를 수행한다[2].

이외에 색 공간 변환 기법의 부호기 측 최적화로는 화면 내 부호화에서 예측 모드가 DM chroma인 경우에만 색 공간 변환 행렬을 적용하여 비트율-왜곡 최적화를 수행한다. 또한 모드 결정을 위해서 먼저 RGB 색 공간이 아닌 공간에서의 비트율 왜곡 비용을 구하고 변환 공간에서 적어도 하나의 non-zero 계수 값이 발생하면 RGB 색 공간에서의 비트율 왜곡 비용을 구하여 최적화를 수행한다.

 

III. 실험 결과 및 분석

본 장에서는 색 공간 변환 기법과 색 요소 예측 기법의 개별 및 조합 성능을 비교 분석한다. 두 기법 모두 색 요소 사이의 통계적 중복성을 이용하여 부호화 효율을 개선하는 공통적인 특성이 있다. 실험을 위하여 SCC 참고 코덱인 SCM4.1 코덱 (Screen Content Coding Test Model 4.1)[7]을 이용한다. SCM4.1 코덱은 공통 실험 조건에서 색 공간 변환 기법과 색 요소 예측 기법을 모두 사용한다. 실험에서는 두 부호화 기술이 동시에 적용되지 않을 때의 부호화 성능 대비 각 기술을 사용하였을 때 (On)의 부호화 성능을 비교하여 우선 각 기법의 고유 성능을 보인다. 또한 두 부호화 기술이 동시에 적용되었을 때의 부호화 성능 대비 검증 기법이 사용되지 않을 때 (Off)의 부호화 성능을 비교하여 각 기법이 서로 어떻게 영향을 미치는지를 분석한다. 실험은 "All Intra" 환경에서 수행하였고 QP는 24, 28, 32, 36이다. 또한 SCC 주요 부호화 기법으로 스크린 콘텐츠에서 매우 큰 부호화 효율을 보이는 화면 내 블록 카피 부호화 기법의 상호 영향을 분석하기 위한 실험을 수행한다.

표 2는 색 요소 예측 기법의 부호화 성능을 RGB 색 요소 별로 보인다. SCM4.1은 색 요소 예측 기법과 색 공간 변환 기법을 모두 포함하므로 선별적으로 활성화 하거나 비활성화하여 성능을 실험한다. 먼저 SCM4.1의 색 요소 예측 기법과 색 변환 기법을 모두 비활성화 하고 색 요소 예측 기법만을 활성화 하여 색 요소 예측 기법의 고유 성능을 보인다. 표2에 의하면 색 요소 예측 기법은 색 요소 별로 평균 -11.7%, -11.7%, -11.5%의 BD-rate 감소를 보여 평균 약 11.6%의 향상된 부호화 효율을 제공한다. 추가적으로 SCM4.1의 성능을 색 요소 예측 기법만을 비 활성화하여 실험하고 색 요소 예측 기법과 색 공간 변환 기법을 모두 활성화하여 얻은 결과를 비교하여 표2의 각 수치 옆 괄호 안에 보였다. 이 경우 표 2에서 보듯이 색 요소 별로 평균 -2.4%, -2.5%, -2.0%로 상대적으로 부호화 효율의 증가분이 약 9.3% 줄어들었는데 이는 색 요소 예측 기법을 사용하지 않더라도 색 공간 변환 기법이 색 공간 내 중복성을 효율적으로 제거하였기 때문이다.

표 2.SCM4.1의 색 요소 예측 기법의 부호화 성능 비교 Table 2. Coding gain of CCP in SCM4.1

표 3은 색 공간 변환 기법의 성능을 보이기 위한 결과이다. 마찬가지로 색 공간 변환 기법과 색 요소 예측 기법을 비활성화 하여 얻은 결과를 색 공간 변환 기법만 활성화하여 얻은 결과와 비교하여 성능 평가를 하였다. 표 3에 의하면 색 요소 별로 평균 약 -21.4%, -14.0%, -13.8%의 BD-rate 감소를 보여 평균 약 -16.4%의 상당히 개선된 부호화 효율을 제공한다. 특히 sc_viking과 sc_robot에서 탁월한 부호화 효율을 보이는데 두 테스트 시퀀스는 word, excel, ppt와 같이 많은 글자를 포함하는 스크린 콘텐츠와 달리 컴퓨터 애니매이션의 테스트 시퀀스이다. 또한 색 공간 변환 기법과 색 요소 예측 기법을 모두 활성화하고 색 공간 변환 기법만을 비활성화 하여 얻은 결과를 비교하여 괄호 안에 표현하였다. 실험에 의하면 색 요소 별로 -13.4%, -5.3%, -4.8%의 평균 약 -7.8%의 부호화 효율을 보인다. 이 경우 색 공간 변환 기법의 고유 부호화 효율인 -16.4%와 비교하여 약 8.6%의 성능 감소분이 있었으며 표2에서 분석한 부호화 효율의 감소분인 약 9.3%와 유사한 차이를 보인다.

표 3.SCM4.1의 색 공간 변환 기법의 부호화 성능 비교 Table 3. Coding gain of SCM4.1 ACST in　SCM4.1

표 2와 표 3에서 추론할 수 있듯이 두 부호화 기법은 각 고유 부호화 성능이 산술적으로 1:1로 합산되기 보다는 성능 일부가 중첩이 되는 것을 알 수 있는데 그 이유는 두 기법 모두 색 요소 사이의 연관성을 활용하여 부호화 성능을 제공하기 때문이다. 보다 명확하게 보이기 위하여 표 4는 색 공간 변환과 색 요소 예측 기법을 모두 비 활성화하여 얻은 결과와 모두 활성화하여 얻은 결과를 비교한 실험으로 RGB 각각 -23.2%, -16.1%, -15.5%의 성능으로 표 3의 색 요소 예측 기법을 비활성화한 평균 부호화 효율과 비교할 때 추가적인 부호화 효율이 약 1.9%에 불과한 것을 알 수 있다. 즉 두 부호화 기법은 각 고유 부호화 성능이 합산되기 보다는 일부 중첩이 되어 성능이 상쇄 되는 것을 알 수 있는데, 이는 두 기법 모두 색 요소 간의 연관성을 활용하여 부호화 성능을 제공하기 때문이다. 표 5는 Low-delay 실험 조건에서의 결과로 각 실험 구성 별로 All intra 실험 조건과 유사한 성능을 보인다.

표 4.SCM4.1의 색 공간 변환 기법 및 색 요소 예측 기법의 부호화 성능 비교 Table 4. Coding gain of ACST and CCP in SCM4.1

표 5.SCM4.1의 색 공간 변환 기법 및 색 요소 예측 기법의 부호화 성능 비교 (Low-delay configuration) Table 5. Coding gain of ACST and CCP in SCM4.1 (Low-delay configuration)

화면 내 블록 카피 (Intra Block Copy, IBC)는 최대 69%까지 압축 효율을 제공하는 스크린콘텐츠 압축을 위한 대표적인 부호화 기법으로 IBC의 사용 여부에 따른 색 요소 예측 기법 및 색 공간 변환 기법의 압축 성능 비교 역시 흥미로울 수 있다. 그림 4는 "Web browsing" 테스트 시퀀스를 이용하여 얻은 R-D curve로 그림 4(a) 와 그림 4(b)는 각각 IBC를 활성화 한 경우와 그렇지 않은 경우를 보인 것이다. G 색상 요소의 비트율과 PSNR을 플롯팅하였다. 그림에서 보듯이 IBC의 이용 여부에 비교적 독립적으로 색 요소 예측 기법과 색 공간 변환기법이 고유의 부호화 성능을 제공하며 서로 간의 간섭으로 중복된 부호화 성능을 제공하는 현상 또한 유사한 것을 알 수 있다.

그림 4.“Web browsing” 테스트 시퀀스를 이용한 SCM4.1의 CCP와 ACST 성능 비교R-D curve: (a) Intra Block Copy (IBC) on, (b) IBC off Figure 4. R-D curves using “Web browsing” test sequence in (a) Intra Block Copy (IBC) on, (b) IBC off

위 실험 결과로부터의 분석을 통해 마지막으로 색 공간 변환 기법과 색 요소 예측 기법을 블록 별로 배타적으로 사용하도록 수정하고 실험을 진행하여 부호기의 고속화가 가능함을 보인다. SCM4.1에서 색 공간 변환 기법은 CU 단위로 선택이 되며 색 예측 변환 기법은 TU 단위로 선택이 되므로 색 공간 변환 기법이 선택이 되는 경우 해당 CU에 속하는 하위 TU에서는 색 예측 기법을 수행하지 않도록 수정 뒤 실험을 하였다. 반면 색 공간 변환 기법이 선택이 되지 않은 CU에서는 TU 별로 색 예측 기법을 수행 가능하도록 하였다. 실험에 의하면 평균 0.31%의 부호화 효율 감소 대비 약 93%의 부호화 측정 시간 감소로 부호기 고속화가 수행 가능하다.

표 6.부호화 측정 시간 및 부호화 효율 감소 Table 6. Coding Loss and the Corresponding encoding time increase

 

IV. 결 론

본 논문에서는 현재 표준화 중인 HEVC/SCC의 부호화 기술 중 색 요소 예측 기법과 색 공간 변환 기법의 리뷰와 성능 분석을 수행하였다. 색 요소 예측 기법은 앞서 부호화를 완료한 G 색상 요소를 이용하여 R/B 요소를 예측 부호화하였고 색 변환 기법은 in-loop에서 RGB 공간을 YCgCo 공간으로 변환하여 부호화를 수행하였다. 두 기법 모두 색 요소 사이의 통계적 중복성을 이용하여 부호화 효율을 개선하는 공통적인 특성이 있다. 실험 결과에 의하면 색 요소 예측 기법은 약 11.6%, 색 공간 변환 기법은 약 16.4%의 고유 부호화 성능을 제공하였다. 두 부호화 기법이 동시에 사용되는 경우 약 9%의 성능이 중첩되었으나 화면 내 블록 카피 부호화 기법과는 비교적 독립적으로 성능에 큰 영향을 받지 않는 것을 보였다. 이러한 분석은 향 후 해당 기법의 고속화 및 성능 향상을 위하여 유용한 정보를 제공할 수 있다. 향 후 연구로는 색 공간 변환 기법과 색 요소 예측 기법의 조합 혹은 단일 방식으로 부호화하는 블록의 통계적 특징을 고려하여 보다 효율적인 두 모드 간 고속화 기법을 개발할 수 있다.