• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2014.10a
• /
• pp.271-274
• /
• 2014

This paper proposes high-performance SAO(Sample Adaptive Offset) in HEVC(High Efficiency Video Coding) encoder for Ultra HD video processing in real time. SAO is a newly adopted technique belonging to the in-loop filter in HEVC. The proposed SAO encoder hardware architecture uses three-layered buffers to minimize memory access time and to simplify pixel processing and also uses only adder, subtractor, shift register and feed-back comparator to reduce area. Furthermore, the proposed architecture consists of pipelined pixel classification and applying SAO parameters, and also classifies four consecutive pixels into EO and BO concurrently. These result in the reduction of processing time and computation. The proposed SAO encoder architecture is designed by Verilog HDL, and implemented by 180k logic gates in TSMC $0.18{\mu}m$ process. At 110MHz, the proposed SAO encoder can support 4K Ultra HD video encoding at 30fps in real time.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2013.11a
• /
• pp.67-70
• /
• 2013

본 논문에서는 HEVC(high efficiency video coding)의 후처리 필터 중 하나인 적응적 샘플 오프셋(sample adaptive offset, SAO) 기술을 고속화 하는 방법을 제안한다. 기존의 SAO 는 원 영상과 복원된 영상간의 오차를 최소화하기 위해 각 블록마다 오프셋 값을 계산하므로 연산 복잡도가 매우 높다. 따라서 제안한 방법에서는 다양한 입력 영상에 대한 오프셋 사용빈도를 알아보고, 그 통계를 기반으로 불필요한 오프셋 연산을 생략한다.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.17 no.2
• /
• pp.391-396
• /
• 2013

In this paper, for HEVC decoding, an SAO hardware design with less processing time and reduced area is proposed. The proposed SAO hardware architecture introduces the design processing $8{\times}8$ CU to reduce the hardware area and uses internal registers to support $64{\times}64$ CU processing. Instead of previous top-down block partitioning, it uses bottom-up block partitioning to minimize the amount of calculation and processing time. As a result of synthesizing the proposed architecture with TSMC $0.18{\mu}m$ library, the gate area is 30.7k and the maximum frequency is 250MHz. The proposed SAO hardware architecture can process the decode of a macroblock in 64 cycles.

• Broadcasting and Media Magazine
• /
• v.24 no.4
• /
• pp.87-101
• /
• 2019

JVET(Joint Video Experts Team)에서 새로운 비디오 압축 표준으로 진행 중인 VVC(Versatile Video Coding)에서는 HEVC(High Efficiency Video Coding)의 기술을 근간으로 부호화 효율을 높일 수 있는 다양한 새로운 기술들을 채택하고 있다. 인루프 필터(In-Loop Filter)는 복원영상의 화질을 향상시키기 위한 기술로 주관적 화질 개선뿐만 아니라 부호화 효율을 향상시키는 기술로 기존 HEVC의 확장 기술 및 새로운 인루프 필터 기술을 채택하고 있다. 본 고에서는 VVC의 CD에 채택되어 있는 인루프 필터 기술들을 소개한다. 인루프 필터 기술은 HEVC에 채택되어 있는 디블록킹 필터(Deblocking Filter: DF)와 SAO(Sample Adaptive Offset), 새로이 추가된 ALF(Adaptive Loop Filter)의 3가지의 필터와 LMCS(Luma Mapping with Chroma Scaling) 기술을 포함하고 있다. 이들 인루프 필터 기술은 주관적 화질 개선과 부호화 효율을 크게 개선하고 있으며, 2020년 7월 FDIS(Final Draft International Standard) 완료를 앞두고 인루프 필터링의 다양화로 인한 성능과 복잡도를 고려한 간소화 및 병렬처리 등의 고속화에 대한 표준화가 지속적으로 이루어질 전망이다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.143-144
• /
• 2020

VVC (Versatile Video Coding)는 HEVC이후 차세대 표준 비디오 코딩으로 JVET(Joint Video Exploration)에 의해 2018년 표준화를 시작하였다. VVC에는 복원픽쳐의 변환-양자화에러에 의해 발생한 블로어, 블로킹, 링잉 아티팩트를 감소시키기 위하여 deblocking filter (DF), sample adaptive offset (SAO), adaptive loop filter(ALF)와 같은 모듈을 사용한다. 한편 CNN (Convolutional Neural Network)은 최근 이미지와 비디오 복원에 높은 성능을 보이고 있다. VVC에서 픽쳐는 CTU (Coding Tree Unit)으로 분할되고 각 CTU는 다시 CU (Coding Unit)으로 분할된다. 그리고 인코딩을 위한 중요한 정보들이 Picture, CTU, CU단위로 디코더에 전송된다. 이 논문에서는 화면 간 예측으로 인코딩 된 픽처에서 블록과 픽처정보를 이용한 딥러닝 기반의 인루프 필터 모델을 제안한다. 제안하는 모델은 화면 간 예측에서 QP, 4×4 블록단위의 모션벡터, 참조블록과의 시간적거리, CU의 깊이를 모델에 추가적인 정보로 이용한다.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2017.10a
• /
• pp.543-545
• /
• 2017

This paper describes the SAO hardware architecture design for high performance in-loop filters. SAO is an inner module of in-loop filter, which compensates for information loss caused by block-based image compression and quantization. However, HEVC's SAO requires a high computation time because it performs pixel-unit operations. Therefore, the SAO hardware architecture proposed in this paper is based on a $4{\times}4$ block operation and a 2-stage pipeline structure for high-speed operation. The information generation and offset computation structure for SAO computation is designed in a parallel structure to minimize computation time. The proposed hardware architecture was designed with Verilog HDL and synthesized with TSMC chip process 130nm and 65nm cell library. The proposed hardware design achieved a maximum frequency of 476MHz yielding 163k gates and 312.5MHz yielding 193.6k gates on the 130nm and 65nm processes respectively.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2016.06a
• /
• pp.237-239
• /
• 2016

본 논문에서는 HEVC (High Efficiency Video Coding) 복호화기의 SAO (Sample Adaptive Offset)를 효율적으로 병렬화하기 위한 방법을 제안한다. HEVC 는 주관적 화질 향상 및 압축 효율 향상을 위해 디블록킹 필터 (de-blocking filter)와 샘플 적응적 오프셋 (SAO)이라는 두 가지 인-루프 필터를 사용한다. 두 종류의 인-루프 필터의 사용은 HEVC 복호화기의 복잡도를 증가시키는 요인이며, 인-루프 필터에 데이터레벨 병렬화를 적용하여 고속으로 복호화를 수행할 수 있다. 본 논문에서는 SAO 의 병렬화를 위해 CTU (Coding Tree Unit)의 행 단위로 병렬화를 수행함으로써, 병렬화로 인한 추가적으로 발생하는 라인 버퍼 사용을 줄여 SAO 병렬화 효율을 향상시켰다. 실험결과 제안하는 SAO 병렬화 방법을 사용하여 균등분할 SAO 병렬화 방법에 비해 91%의 속도를 향상시켰다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2016.06a
• /
• pp.369-372
• /
• 2016

본 논문에서는 고효율 비디오 부호화에서 채택하고 있는 인-루프 필터 중 SAO (sample adaptive offset)를 컨볼루션 신경망으로 대체하여 부호화 효율을 향상시키는 방법을 제안한다. SAO 는 양자화 에러를 줄이기 위해 인코더에서 디코더로 적절한 오프셋 값을 전송한다. 제안하는 컨볼루션 신경망을 사용한 인-루프 필터는 인코더와 디코더가 같은 컨볼루션 신경망을 사용하여, 추가적인 비트를 디코더로 전송할 필요 없이 양자화 에러를 줄일 수 있다. 컨볼루션 신경망의 구조는 두 가지를 각각 사용하였고, 각 컨볼루션 신경망의 구조에 대해서 입력 영상과 원래 영상의 평균제곱오차에 따라 다른 모델을 적용하였다. 따라서 제안하는 방법을 HEVC에 적용하여 기존의 방법보다 더 적은 bit 로 더 좋은 화질의 영상을 얻어서 BD-rate 의 gain 을 얻을 수 있을 뿐만 아니라, 주관적인 화질의 비교에서도 더 좋은 결과를 보인다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2013.06a
• /
• pp.117-118
• /
• 2013

본 논문에서는 HEVC (High Efficiency Video Coding) SAO (Sample Adaptive Offset)의 병렬화 성능을 비교한다. HEVC 의 참조 소프트웨어인 HM-10.0 에서는 SAO 수행 과정의 연산량 및 메모리 접근을 최소화하고 카테고리 계산 과정에서 SAO 수행 전의 픽셀값을 사용하기 위해서 라인 버퍼를 사용한다. 그러나 이러한 라인버퍼의 사용은 SAO 에 대해 데이터-레벨의 병렬화를 적용하기 어렵게 만드는 주요 요인이다. 본 논문에서는 HEVC 디블록킹 필터가 적용된 픽쳐를 추가 메모리에 복사하는 구현 방식과 HM-10.0 의 SAO 구현 방식 각각에 대해 데이터-레벨 병렬화를 적용하고 각각의 성능을 비교 분석하였다. 실험 결과, HEVC 디블록킹 필터가 적용된 픽쳐를 추가 메모리에 복사하는 구현 방식은 데이터-레벨 병렬화의 구현은 쉽지만, 디블록킹 필터링 된 픽쳐를 추가 메모리에 복사하는 부분 때문에 HM-10.0 기반의 병렬화보다 복호화 성능이 저하될 수 있음을 확인하였다. 이에 반해 CTU 의 행 단위로 병렬 수행될 영역을 분할하는 방식은 구현의 용이성과 병렬화 성능을 동시에 얻을 수 있음을 확인하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2014.11a
• /
• pp.7-9
• /
• 2014

본 논문에서는 하드웨어 기반의 Sample Adaptive Offset (SAO) 부호화기에서 전체 면적 중 상당히 큰 비중을 차지하는 통계값 테이블의 면적을 개선하는 방법을 제안한다. 파이프라인으로 동작하는 통계 계산과 최적 모드 결정 모듈의 통계값 테이블 접근 분석을 통하여 Luma 테이블을 재사용함으로써 Cr 테이블을 제거할 수 있다. 또한 테이블의 bit width 를 가능한 값의 최대 범위가 아닌, 충분히 큰 범위로 제한함으로써 면적을 감소시킬 수 있다. 제안한 방법을 적용했을 때 합성을 통해 예측된 면적이 46% 가량 감소하는 것을 확인하였다.