• Broadcasting and Media Magazine
• /
• v.24 no.4
• /
• pp.87-101
• /
• 2019

JVET(Joint Video Experts Team)에서 새로운 비디오 압축 표준으로 진행 중인 VVC(Versatile Video Coding)에서는 HEVC(High Efficiency Video Coding)의 기술을 근간으로 부호화 효율을 높일 수 있는 다양한 새로운 기술들을 채택하고 있다. 인루프 필터(In-Loop Filter)는 복원영상의 화질을 향상시키기 위한 기술로 주관적 화질 개선뿐만 아니라 부호화 효율을 향상시키는 기술로 기존 HEVC의 확장 기술 및 새로운 인루프 필터 기술을 채택하고 있다. 본 고에서는 VVC의 CD에 채택되어 있는 인루프 필터 기술들을 소개한다. 인루프 필터 기술은 HEVC에 채택되어 있는 디블록킹 필터(Deblocking Filter: DF)와 SAO(Sample Adaptive Offset), 새로이 추가된 ALF(Adaptive Loop Filter)의 3가지의 필터와 LMCS(Luma Mapping with Chroma Scaling) 기술을 포함하고 있다. 이들 인루프 필터 기술은 주관적 화질 개선과 부호화 효율을 크게 개선하고 있으며, 2020년 7월 FDIS(Final Draft International Standard) 완료를 앞두고 인루프 필터링의 다양화로 인한 성능과 복잡도를 고려한 간소화 및 병렬처리 등의 고속화에 대한 표준화가 지속적으로 이루어질 전망이다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2003.11a
• /
• pp.65-68
• /
• 2003

블록화 현상은 블록 기반의 부호화와 이에 따른 거친 양자화 계수를 적용할 때 나타날 뿐 아니라 블록화가 나타난 블록을 움직임 보상으로 가져와 적용할 때 이후 영상에 전파되게 된다. 이를 방지하기 위해 H.264/MPEG-4 AVC 표준은 부호화 및 복호화 과정에 동시에 포함된 형태의 루프 필터를 적용하였다. 필터는 블록 경계에서 경계 양쪽의 블록 예측 모드에 기반 한 필터의 세기를 결정하고 양자화 계수를 이용한 한계 값과 화소 값윽 비교하여 블록 경계에 적응적으로 적용한다. 이 때 필터의 특성을 결정하는 편차 값을 부호기에서 전송하게 되는데 이 값은 부호기 구현에 따라 달라질 수 있다. 본 논문은 부호화하는 각 영상의 특성을 정의하고 편차 값을 정함으로써 영상에 적응적인 디블로킹 필터 알고리즘을 구현 및 실험을 통하여 검증한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.46-48
• /
• 2020

HEVC (High Efficiency Video Coding)의 In-Loop 필터 중 하나인 디블로킹 필터는 예측과 변환 블록 주변의 균일하지 않은 잡음을 제거하기 위해 사용된다. 영상을 복원할 때 텍스쳐 정보의 경우, 디블로킹 필터로 눈에 보이는 잡음을 제거하는 데 유리하지만 깊이 정보는 깊이를 예측하여 합성하는 데 사용되므로 디블로킹 필터를 적용하면 합성에 방해가 될 수 있다. 이에 본 논문은 TMIV (Test Model 6 for MPEG Immersive Video) 인코더를 거쳐 나온 기본 시점과 추가 시점의 텍스쳐와 깊이 영상에 디블로킹 필터를 적용하여 BD-Rate의 향상 정도와 인지 화질적 관점에서의 화질 개선 여부를 실험을 통해 검증한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.143-144
• /
• 2020

VVC (Versatile Video Coding)는 HEVC이후 차세대 표준 비디오 코딩으로 JVET(Joint Video Exploration)에 의해 2018년 표준화를 시작하였다. VVC에는 복원픽쳐의 변환-양자화에러에 의해 발생한 블로어, 블로킹, 링잉 아티팩트를 감소시키기 위하여 deblocking filter (DF), sample adaptive offset (SAO), adaptive loop filter(ALF)와 같은 모듈을 사용한다. 한편 CNN (Convolutional Neural Network)은 최근 이미지와 비디오 복원에 높은 성능을 보이고 있다. VVC에서 픽쳐는 CTU (Coding Tree Unit)으로 분할되고 각 CTU는 다시 CU (Coding Unit)으로 분할된다. 그리고 인코딩을 위한 중요한 정보들이 Picture, CTU, CU단위로 디코더에 전송된다. 이 논문에서는 화면 간 예측으로 인코딩 된 픽처에서 블록과 픽처정보를 이용한 딥러닝 기반의 인루프 필터 모델을 제안한다. 제안하는 모델은 화면 간 예측에서 QP, 4×4 블록단위의 모션벡터, 참조블록과의 시간적거리, CU의 깊이를 모델에 추가적인 정보로 이용한다.

• Journal of Broadcast Engineering
• /
• v.16 no.1
• /
• pp.1-13
• /
• 2011

In this paper, we propose an adaptive in-loop filter to improve the coding efficiency. Recently, there are post-filter hint SEI and block-based adaptive filter control (BAFC) methods based on the Wiener filter which can minimize the mean square error between the input image and the decoded image in video coding standards. However, since the post-filter hint SEI is applied only to the output image, it cannot reduce the prediction errors of the subsequent frames. Because BAFC is also conducted with a deblocking filter, independently, it has a problem of high computational complexity on the encoder and decoder sides. In this paper, we propose the low-complexity adaptive in-loop filter (LCALF) which has lower computational complexity by using H.264/AVC deblocking filter, adaptively, as well as shows better performance than the conventional method. In the experimental results, the computational complexity of the proposed method is reduced about 22% than the conventional method. Furthermore, the coding efficiency of the proposed method is about 1% better than the BAFC.

• Journal of the Institute of Electronics Engineers of Korea SP
• /
• v.41 no.6
• /
• pp.109-120
• /
• 2004

The current paper presents an effective deblocking algorithm for block-based coded images using singularity detection in Mallat wavelet transform. In block-based coded images. The local maxima of the wavelet transform modulus detect all singularities, including blocking artifacts, from multiscale edges. Accordingly, the current study discriminates between blocking artifacts and edges by estimating the Lipschitz regularity of the local maxima and removing the wavelet transform modulus of blocking artifacts. Experimental results showed that the performance of the proposed algorithm was objectively and subjectively superior.

• Journal of the Institute of Electronics Engineers of Korea SD
• /
• v.45 no.6
• /
• pp.37-42
• /
• 2008

In H.264/AVC decoder, intra predictor, motion compensator, and deblocking filter need to read reference images in external frame memory in decoding process. They read external frame memory very frequently, which lowers system operation speed and increases power consumption. This paper proposes a intra predictor integrated with motion compensator without external frame memory. It achieves power reduction and memory bandwidth minimization by exploiting data reuse of common and repetitive pixels. The proposed infra predictor achieves more than $45%\;{\sim}\;75%$ cycle time reduction compared with conventional intra predictors.

• Journal of the Institute of Electronics Engineers of Korea SP
• /
• v.41 no.5
• /
• pp.217-223
• /
• 2004

In block-based lossy video compression, severe quantization causes discontinuities along block boundaries so that annoying blocking artifacts are visible in decoded video images. These blocking artifacts significantly decrease the subjective image quality. In order to reduce the blocking artifacts in decoded images, many algorithms have been proposed. However studies on so called comer outlier, have been very limited. Corner outliers make image edges look disconnected from those of neighboring blocks at cross block boundary. In order to solve this problem we propose a corner outlier detection and compensation algorithm as loop-filtering in spatial domain. Experiment results show that the proposed method provides much improved subjective image quality.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2012.07a
• /
• pp.236-238
• /
• 2012

본 논문에서는 HEVC 코덱에서 프레임 단위로 수행되던 디블록킹 필터를 하드웨어 구현 시에 LCU 단위로 처리되는 파이프라인 구조를 적용하여 병렬적으로 수행할 수 있는 방법을 제안한다. 파이프라인 구조에서는 현재 처리되고 있는 하나의 LCU 에 대해 디블록킹 필터를 수행하기 위해서 현재 처리하고 있는 LCU 뿐만 아니라 주변의 LCU 의 화소 값 등의 정보가 필요하며 주변의 LCU 의 화소 값을 모두 저장하는 것은 불필요한 메모리소모를 야기해 HEVC 코덱의 복잡도를 증가시킬 수 있다. 또한 현재 처리되는 LCU 의 경계에 디블록킹 필터를 수행하는 경우 현재 처리되는 LCU 이전의 수정할 수 없는 LCU 의 화소 값도 수정되어야 한다. 따라서 본 논문에서는 이를 해결하기 위해 수평 버퍼 와 수직 버퍼의 개념을 도입하여 처리되는 LCU 의 왼쪽 LCU 의 오른쪽 끝 4 열의 화소와 위쪽 LCU 의 아래쪽 끝 4 행의 화소만을 저장하여 메모리를 합리적으로 사용하는 방법을 제시하고 평행이동 LCU 개념을 적용하여 수정 불가능한 화소 값들을 처리하는 방법을 제시한다. 제안된 구조에 따라 구현된 소프트웨어 상에서 기존의 참조 소프트웨어인 HM6.0 과 동일한 결과를 얻을 수 있었다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2012.07a
• /
• pp.468-470
• /
• 2012

본 논문에서는 High Efficiency Video Coding (HEVC)을 하드웨어로 구현하기 위해서 파이프라인 방식을 인-루프 필터에 새롭게 도입된 기술인 Sample Adaptive Offset (SAO)에 적용하여 병렬화 처리하는 방법을 제안한다. 현재 HEVC 에서 SAO 의 입출력이 프레임단위로 구현되어 있는데, 이를 파이프라인 방식의 하드웨어 설계시에는 Largest Coding Unit(LCU)단위로 입출력이 가능하도록 수정해야 한다. SAO 에서 사용하는 두 가지 방식으로 Edge Offset(EO)과 Band Offset(BO)모드가 있으며, 이 중 EO 모드가 주변 화소값을 이용하므로 주변 화소값 정보가 없는 LCU 경계에 위치한 화소들을 버퍼에 저장한 뒤, 다음 LCU 블록의 입력과 함께 SAO 를 수행한다. 또한, SAO 앞 단의 인-루프 필터 기술인 디블록킹 필터(Deblocking Filter)에서도 LCU 단위로 입출력이 수행되므로 디블록킹 필터에서 저장하는 버퍼를 고려하면, SAO 입력에서 사용가능한 데이터는 LCU 가 천이된 형태가 된다. 따라서 SAO 입력의 천이된 형태와 버퍼 사용에 따라 총 9 가지 타입을 갖게 되며, 이 중 경계에 위치한 블록을 제외한 타입들의 경우 서로 다른 정보를 가진 SAO 를 4 번 수행해야 한다. 이러한 점을 반영한 파이프라인 방식을 SAO 에 적용하여 하드웨어에 적합한 구조를 구현할 수 있다.