• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제9권6호
• /
• pp.2271-2288
• /
• 2015

The emerging high efficiency video coding (HEVC) standard adopts the quadtree-structured transform unit (TU) in the residual quadtree (RQT) coding. Each TU allows to be split into four equal sub-TUs recursively. The RQT coding is performed for all the possible transform depth levels to achieve the highest coding efficiency, but it requires a very high computational complexity for HEVC encoders. In order to reduce the computational complexity requested by the RQT coding, in this paper, we propose a fast TU size decision method incorporating an adaptive maximum transform depth determination (AMTD) algorithm and a full check skipping - early termination (FCS-ET) algorithm. Because the optimal transform depth level is highly content-dependent, it is not necessary to perform the RQT coding at all transform depth levels. By the AMTD algorithm, the maximum transform depth level is determined for current treeblock to skip those transform depth levels rarely used by its spatially adjacent treeblocks. Additionally, the FCS-ET algorithm is introduced to exploit the correlations of transform depth level between four sub-CUs generated by one coding unit (CU) quadtree partitioning. Experimental results demonstrate that the proposed overall algorithm significantly reduces on average 21% computational complexity while maintaining almost the same rate distortion (RD) performance as the HEVC test model reference software, HM 13.0.

• 방송공학회논문지
• /
• 제17권2호
• /
• pp.325-343
• /
• 2012

본 논문에서는 참조 프레임 혹은 시간적으로 이전에 부호화한 프레임을 통해 현재 프레임의 LCU 분할구조를 예측하여 부호화하는 방법을 제안한다. HEVC에서는 CU로 부호화 및 복호화를 수행하는데, CU의 기본이 되는 LCU 단위로 영상의 특성에 따라 분할구조를 결정하여 영상을 적응적으로 부호화한다. 이 때, 현재 부호화하려는 LCU의 분할구조와 참조 프레임 및 시간적으로 이전에 부호화한 프레임 내의 동일한 위치에 대응되는 LCU(Co-located LCU)의 분할구조는 매우 유사한 특성이 있다. 따라서 본 논문에서는 인코더의 복잡도를 낮추기 위하여 현재 LCU의 분할구조를 결정할 때, Co-located LCU의 복잡성을 통해 현재 부호화하는 LCU의 분할구조 정보를 예측하고 분할구조에 포함될 확률이 높은 CU만 부호화하는 방법을 제안한다. 제안 방법의 시뮬레이션 결과로서, 인코더만을 변경하여 인코더 복잡도를 낮추는 방법이 기존 대비 인코더 복잡도가 평균 21.3% 감소하였고, 디코더 복잡도는 거의 비슷했으며, BD-Bitrate는 최대 0.6% 증가하였다. 또한 인코더에서 분할구조를 결정할 때 LCU의 분할 정보를 예측하여 부호화하고, CU 분할 정보를 부호화 및 복호화하는 과정을 변경하는 방법을 통해 BD-Bitrate를 감소시키는 방법을 제안하였다. 제안 방법의 시뮬레이션 결과는 인코더 복잡도가 평균 22% 감소하였고, 디코더 복잡도는 거의 비슷했으며, BD-Bitrate는 최대 0.3% 정도만 증가하여 제안하는 방법의 우수함을 확인할 수 있었다.

• 방송공학회논문지
• /
• 제18권2호
• /
• pp.261-270
• /
• 2013

스테레오스코픽(stereoscopic) 3D 비디오 서비스는 기존 2D와의 호환성을 유지하면서 새로운 3D 비디오 서비스를 제공할 수 있다. 전송 대역이 제한된 지상파 방송의 경우 높은 부호화 효율을 갖는 스테레오스코픽 비디오 코덱이 요구된다. 따라서 기준영상은 기존 2D 비디오 서비스와의 호환성을 위해 MPEG-2로 부호화하는 반면 3D를 위한 부가영상 부호화를 위해 부호화 효율이 높은 H.264/AVC, HEVC(High Efficiency Video Coding) 등을 고려하고 있으며, 또한 부가영상을 비실시간으로 전송하는 NRT(Non-Real Time) 3D 서비스도 고려되고 있다. 본 논문에서는 NRT 3D 서비스를 위한 스테레오스코픽 비디오 부호화에 있어서, HEVC에서 고려되었던 적응루프필터(ALF: Adaptive Loop Filter)를 전/후처리 필터로 적용하는 기법을 제시한다. 특히, 부가영상의 후처리에 ALF를 적용하기 위하여 부호화 과정에 결정되는 CU(Coding Unit) 구조를 이용하는 HEVC와 달리 MVC(Multiview Video Coding)로 부호화한 부가영상의 매크로블록(MB) 부호화 모드 및 참조영상 인덱스 등의 MB 부호화 정보를 이용한 ALF 적용 기법을 제안한다. 부가 영상 부호화에 있어서 제안한 기법으로 전처리 및 후처리 과정으로 ALF를 적용함으로써 최대 약 24.9%의 비트율 감소를 확인하였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제13권6호
• /
• pp.3165-3181
• /
• 2019

Spherical videos, which are also called 360-degree videos, have become increasingly popular due to the rapid development of virtual reality technology. However, the large amount of data in such videos is a huge challenge for existing transmission system. To use the existing encode framework, it should be converted into a 2D image plane by using a specific projection format, e.g. the equi-rectangular projection (ERP) format. The existing high-efficiency video coding standard (HEVC) can effectively compress video content, but its enormous computational complexity makes the time spent on compressing high-frame-rate and high-resolution 360-degree videos disproportionate to the benefits of compression. Focusing on the ERP format characteristics of 360-degree videos, this work develops a fast decision algorithm for predicting the coding unit depth interval and adaptive mode decision for intra prediction mode. The algorithm makes full use of the video characteristics of the ERP format by dealing with pole and equatorial areas separately. It sets different reference blocks and determination conditions according to the degree of stretching, which can reduce the coding time while ensuring the quality. Compared with the original reference software HM-16.16, the proposed algorithm can reduce time consumption by 39.3% in the all-intra configuration, and the BD-rate increases by only 0.84%.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2011년도 하계학술대회
• /
• pp.169-172
• /
• 2011

최근 ISO/IEC의 MPEG과 ITU-T의 VCEG이 JCT-VC (Joint Collaborative Team for Video Coding)를 구성하여 HEVC (High Efficiency Video Coding) 차세대 비디오 압축 표준 제정을 위한 작업을 진행 중이다. 과거 압축률이 가장 좋은 것으로 알려진 H.264/AVC 보다 최대 50%까지 부호화 효율 향상을 목표로 하고 있다. HEVC는 H.264/AVC와는 상이한 부호화 구조를 채택하고 있고 작은 크기의 영상뿐만 아니라 크기가 큰 영상까지도 효율적으로 부호화할 수 있도록 설계되고 있다. 예측 및 변환 부호화 과정이 계층적 쿼드트리 구조를 가지며, 특히 변환 부호화는 작은 크기의 변환 블록으로부터 $32{\times}32$ 크기의 변환 블록까지 크게 확장되어 계층적 변환 구조를 이루며 부호화하도록 되어 있다. 본 논문에서는 기존 코덱과는 상이한 부호화 구조를 갖는 쿼드트리 부호화 기반 HEVC 코덱 표준을 위한 율-왜곡 (Rate-Distortion) 모델을 제안한다. 기존의 코덱에서는 부호화되는 기본 단위가 $16{\times}16$로 일정하고, 변환 및 양자화되는 블록의 크기 역시 $4{\times}4$또는 $8{\times}8$ 크기 단위로 그 블록의 크기가 작을 뿐만 아니라 고정된 크기를 사용한다. 따라서 단일 확률 모형을 사용하여 율-왜곡 모델을 만들었으며, 그 정확도 역시 비교적 정확한 결과를 얻었다. 그러나 HEVC에서는 계층적 가변 블록 크기를 갖는 기본 부호화, 예측 및 변환/양자화 기법을 사용하기 때문에 기존의 단일 모델로는 정확한 율-왜곡 모델을 만들어 내기 어렵다. 제안하는 방법은 HEVC의 기본 단위인 CU (Coding Unit)별로 독립적인 확률 모형을 사용하여 율-왜곡모델을 사용하는 것으로 CU의 크기가 가변적이고 CU 내의 텍스처 역시 크기에 따라 매우 다른 특성을 가지고 있기 때문에 단일 모델을 사용하는 것보다 매우 효율적인 것을 실험을 통하여 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2014년도 추계학술대회
• /
• pp.12-14
• /
• 2014

본 논문에서는 AZB (All-Zero Block) 검출을 이용한 조기 부호화 단위(Coding Unit, CU) 결정 방법을 제안한다. HEVC 영상 코덱의 하드웨어 구현에서 이산여현변환(DCT)는 많은 부호화 자원을 필요로 하는 과정으로 DCT 수행 이전에 블록 내의 모든 양자화 계수가 0 이 되는 영블록(All-zero Block)을 미리 검출하여 DCT 및 양자화 과정을 생략하고 CU 의 부호화 과정을 조기에 종료함으로써 부호화 복잡도를 크게 감소시키는 방법을 제안한다. 기존의 SAD (Sum of Absolute Difference) 또는 SATD (Sum of Absolute Transform Difference)에 기반하는 AZB 검출 방법은 HEVC 에서 새롭게 추가된 큰 크기의 $16{\times}16$와 $32{\times}32$ DCT 에서 AZB 을 효율적으로 검출할 수 없는 한계가 존재한다. 본 논문에서는 DCT 변환 커널이 하다마드 변환 커널과 또 다른 정규 직교 변환 커널로 분할하여 표현할 수 있는 성질을 이용하여, 부화소 움직임벡터 추정 과정을 통해 생성된 하드마드 변환 계수에 DCT 를 생성하는 변환 커널을 곱하여 DCT 변환 커널을 생성한 후 양자화 계수를 이용하여 CU 단위의 AZB 을 검출하는 방법을 제안한다. 또한 AZB 검출과 움직임 벡터의 크기를 이용하여 현재 CU 의 부호화 과정을 조기에 종료하는 방법을 제안한다. 제안하는 AZB 검출과 CU 조기 종료 부호화 방법을 사용하면 평균적으로 34.7%의 부호화 시간을 감소시켜 부호화 복잡도를 크게 줄일 수 있다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2011년도 하계학술대회
• /
• pp.199-201
• /
• 2011

본 논문에서는 현재 표준화가 진행중인 HEVC 의 고정 비트율(CBR) 부호화를 위한 비트율 제어(rate control) 기법을 다룬다. HEVC 의 임의접근(Random Access: RA) 부호화 모드는 계층적-B 부호화 구조를 통해 높은 부호화 효율을 제공할 수 있다. 기존의 HEVC 를 위한 비트율 제어 방식으로는 2 차 비트율-왜곡 모델 기반의 시간계층 및 프레임 타입에 따른 비트율 특성을 반영한 프레임 레벨의 비트율 제어 기법이 제시되었다. 이 같은 기존의 프레임 레벨의 비트율 제어 기법은 임의접근 모드의 계층적-B 구조에서 동작성능이 확인되었으나, HEVC 의 기본적인 부호화 단위(Coding Unit: CU)의 특성이 반영되지 않아 비트율 제어의 정확성이 제한되었다. 본 논문에서는 기존의 계층적 부호화 구조를 고려한 프레임 레벨의 비트율 제어 기법을 확장한 CU 레벨에서의 비트율 제어 기법을 제시하고 모의실험을 통해 제시된 기법의 비트율 제어 성능을 확인한다.

• 한국정보통신학회논문지
• /
• 제17권2호
• /
• pp.391-396
• /
• 2013

본 논문에서는 고성능 HEVC 복호기 설계를 위해 SAO(Sample Adaptive Offset)의 수행시간 단축과 연산량, 하드웨어 면적 감소를 위한 하드웨어 구조를 제안한다. 제안하는 SAO 하드웨어 구조는 $8{\times}8$ CU(Coding Unit)를 처리하는 연산기를 구성하여 하드웨어 면적을 최소화하고, 내부레지스터를 이용하여 $64{\times}64$ CU의 처리를 지원한다. 또한 기존 SAO의 top-down 블록분할 구조 대신 bottom-up 블록분할 구조로 설계하여 연산시간 및 연산량을 최소화한다. 제안한 SAO 하드웨어를 TSMC $0.18{\mu}m$ CMOS 표준 셀 라이브러리 이용해 합성한 결과 게이트 수는 30.7k개의 로직게이트로 구현되며 최대동작주파수는 250MHz이다. 제안한 SAO 하드웨어 구조는 하나의 매크로 블록을 복호화하는데 64사이클이 소요된다.

• 방송공학회논문지
• /
• 제21권4호
• /
• pp.578-591
• /
• 2016

본 논문에서는 HEVC 부호화기의 속도를 향상시키기 위하여, 움직임 벡터의 군집화를 통한 코딩 블록의 최대 분할 깊이를 결정하는 방법을 제안한다. 현재 HEVC (High Efficiency Video Coding)의 참조 소프트웨어 HM은 최적의 코딩 블록 구조를 찾기 위해 다양한 코딩 블록의 깊이들에 대한 율-왜곡 최적화 (RDO: Rate-Distortion Optimization)를 수행한다. 하지만 이는 부호화기의 높은 복잡도를 차지하는 요소 중 하나로 보고된다. 본 논문에서는 최적의 코딩 블록 구조를 움직임 벡터의 군집화 된 결과에 따라 결정함으로써, 부호화 과정에서 코딩 블록 구조를 찾기 위한 RDO의 복잡도를 줄임으로써 부호화기의 속도를 향상시키는 방법을 제안한다. 제안하는 방법은 전처리 과정으로부터 원본 영상에 대한 움직임 벡터 계산, 이를 통한 계층적 군집화를 수행하여, 군집화된 경향을 기반으로 코딩 블록의 최대 깊이를 결정한다. 본 논문의 제안하는 방법은 HEVC 참조 소프트웨어 대비 평균 1.45% BD-rate 손실이 있었으며 평균 16%의 부호화 속도 향상을 보였다. 또한, 기존의 고속화 방법과 함께 적용한 경우 1.84% BD-rate 손실과 45.13%의 평균 부호화 속도 향상을 나타냈다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2011년도 하계학술대회
• /
• pp.378-380
• /
• 2011

스테레오스코픽(stereoscopic) 3D 비디오 서비스는 기존 2D 와의 호환성을 유지하면서 새로운 3D 비디오 서비스를 제공할 수 있는 것으로, 전송 대역이 제한된 지상파 방송에서 높은 부호화 효율을 갖는 스테레오스코픽 비디오 코덱이 요구된다. 따라서 3D 를 위한 부가영상의 부호화를 위해 H.264/AVC 등을 고려하고 있으며, 또한 부가영상을 비실시간으로 전송하는 비실시간(Non-Real Time: NRT) 3D 서비스도 고려되고 있다. 본 논문에서는 NRT 3D 서비스를 위한 스테레오스코픽 비디오 부호화에 있어서, HEVC 에서 고려중인 적응루프필터(ALF: Adaptive Loop Filter)를 전/후처리 필터로 적용하는 기법을 제시한다. 특히, 부가영상의 후처리에 ALF 를 적용하기 위하여 부호화 과정에 결정되는 CU(Coding Unit) 구조를 이용하는 HEVC 와 달리 H.264/MVC 로 부호화한 부가영상의 매크로블록(MB) 부호화 모드를 이용한 ALF 적용 기법을 제안한다. 부가영상 부호화에 있어서 전처리 및 후처리 과정으로 ALF 를 적용함으로써 최대 약 20.5%의 부가영상의 부호화 성능 향상을 확인하였다.