• 방송과미디어
• /
• 제24권4호
• /
• pp.87-101
• /
• 2019

JVET(Joint Video Experts Team)에서 새로운 비디오 압축 표준으로 진행 중인 VVC(Versatile Video Coding)에서는 HEVC(High Efficiency Video Coding)의 기술을 근간으로 부호화 효율을 높일 수 있는 다양한 새로운 기술들을 채택하고 있다. 인루프 필터(In-Loop Filter)는 복원영상의 화질을 향상시키기 위한 기술로 주관적 화질 개선뿐만 아니라 부호화 효율을 향상시키는 기술로 기존 HEVC의 확장 기술 및 새로운 인루프 필터 기술을 채택하고 있다. 본 고에서는 VVC의 CD에 채택되어 있는 인루프 필터 기술들을 소개한다. 인루프 필터 기술은 HEVC에 채택되어 있는 디블록킹 필터(Deblocking Filter: DF)와 SAO(Sample Adaptive Offset), 새로이 추가된 ALF(Adaptive Loop Filter)의 3가지의 필터와 LMCS(Luma Mapping with Chroma Scaling) 기술을 포함하고 있다. 이들 인루프 필터 기술은 주관적 화질 개선과 부호화 효율을 크게 개선하고 있으며, 2020년 7월 FDIS(Final Draft International Standard) 완료를 앞두고 인루프 필터링의 다양화로 인한 성능과 복잡도를 고려한 간소화 및 병렬처리 등의 고속화에 대한 표준화가 지속적으로 이루어질 전망이다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2003년도 정기총회 및 학술대회
• /
• pp.65-68
• /
• 2003

블록화 현상은 블록 기반의 부호화와 이에 따른 거친 양자화 계수를 적용할 때 나타날 뿐 아니라 블록화가 나타난 블록을 움직임 보상으로 가져와 적용할 때 이후 영상에 전파되게 된다. 이를 방지하기 위해 H.264/MPEG-4 AVC 표준은 부호화 및 복호화 과정에 동시에 포함된 형태의 루프 필터를 적용하였다. 필터는 블록 경계에서 경계 양쪽의 블록 예측 모드에 기반 한 필터의 세기를 결정하고 양자화 계수를 이용한 한계 값과 화소 값윽 비교하여 블록 경계에 적응적으로 적용한다. 이 때 필터의 특성을 결정하는 편차 값을 부호기에서 전송하게 되는데 이 값은 부호기 구현에 따라 달라질 수 있다. 본 논문은 부호화하는 각 영상의 특성을 정의하고 편차 값을 정함으로써 영상에 적응적인 디블로킹 필터 알고리즘을 구현 및 실험을 통하여 검증한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 추계학술대회
• /
• pp.46-48
• /
• 2020

HEVC (High Efficiency Video Coding)의 In-Loop 필터 중 하나인 디블로킹 필터는 예측과 변환 블록 주변의 균일하지 않은 잡음을 제거하기 위해 사용된다. 영상을 복원할 때 텍스쳐 정보의 경우, 디블로킹 필터로 눈에 보이는 잡음을 제거하는 데 유리하지만 깊이 정보는 깊이를 예측하여 합성하는 데 사용되므로 디블로킹 필터를 적용하면 합성에 방해가 될 수 있다. 이에 본 논문은 TMIV (Test Model 6 for MPEG Immersive Video) 인코더를 거쳐 나온 기본 시점과 추가 시점의 텍스쳐와 깊이 영상에 디블로킹 필터를 적용하여 BD-Rate의 향상 정도와 인지 화질적 관점에서의 화질 개선 여부를 실험을 통해 검증한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 추계학술대회
• /
• pp.143-144
• /
• 2020

VVC (Versatile Video Coding)는 HEVC이후 차세대 표준 비디오 코딩으로 JVET(Joint Video Exploration)에 의해 2018년 표준화를 시작하였다. VVC에는 복원픽쳐의 변환-양자화에러에 의해 발생한 블로어, 블로킹, 링잉 아티팩트를 감소시키기 위하여 deblocking filter (DF), sample adaptive offset (SAO), adaptive loop filter(ALF)와 같은 모듈을 사용한다. 한편 CNN (Convolutional Neural Network)은 최근 이미지와 비디오 복원에 높은 성능을 보이고 있다. VVC에서 픽쳐는 CTU (Coding Tree Unit)으로 분할되고 각 CTU는 다시 CU (Coding Unit)으로 분할된다. 그리고 인코딩을 위한 중요한 정보들이 Picture, CTU, CU단위로 디코더에 전송된다. 이 논문에서는 화면 간 예측으로 인코딩 된 픽처에서 블록과 픽처정보를 이용한 딥러닝 기반의 인루프 필터 모델을 제안한다. 제안하는 모델은 화면 간 예측에서 QP, 4×4 블록단위의 모션벡터, 참조블록과의 시간적거리, CU의 깊이를 모델에 추가적인 정보로 이용한다.

• 방송공학회논문지
• /
• 제16권1호
• /
• pp.1-13
• /
• 2011

본 논문에서는 고효율의 비디오 부호화를 위한 적응적인 인-루프 필터 방법을 제안한다. 최근 비디오 부호화 표준화 단체에서는 영상의 부호화 후 복원된 영상과 원본 영상과의 평균 제곱 오차(mean square error) 관점에서 오차를 최소화하는 Wiener 필터기반의 post-filter hint SEI 메시지 방법과 블록 기반의 필터 제어 방법 (block-based adaptive filter control, BAFC)에 대한 연구가 있었다. Post-filter hint SEI 메시지 방법은 후처리 필터로서 프레임간의 예측 오차를 줄이지 못하는 문제점이 있으며, BAFC 방법은 기존 H.264/AVC의 디블록킹 필터와 독립적으로 동작하기 때문에 인코더 및 디코더 영역에서 높은 연산 복잡도를 차지하는 문제점이 있다. 본 논문에서는 기존 H.264/AVC의 디블록킹 필터와 문맥 기반으로 설계한 인-루프 필터를 적응적으로 사용함으로써 복잡도를 낮추고 부호화 효율을 높이는 인-루프 필터 방법(Low-complexity adaptive in-loop filter, LCALF)을 제안한다. 실험결과에서 제안하는 방법은 기존 방법보다 평균적으로 약 1% 정도의 비트 감소를 보이고, 동시에 디코더 영역에서 약 22% 정도의 낮은 연산 복잡도를 보인다.

• 대한전자공학회논문지SP
• /
• 제41권6호
• /
• pp.109-120
• /
• 2004

본 논문에서는 다층스케일 에지로부터 특이점 검출을 이용한 블록화 현상 제거 방법을 제안하였다. 블록 부호화된 영상에서 블록화 현상 및 에지와 같은 특이점들은 다층스케일 웨이블릿 변환 영역에서 국부 계수 최대치로 검출된다. 제안한 방법에서는 국부 계수 최대치의 Lipschitz 정칙 상수를 이용하여 블록화 현상 및 에지의 특이점들을 구분하고, 웨이블릿 변환 영역에서 블록화 현상에 의한 특이점들을 영역에 따라 스케일별로 제거한다. 실험 결과로부터 제안한 방법이 기존의 방법에 비하여 객관적 화질 및 주관적 화질 측면에서 보다 우수함을 확인하였다.

• 대한전자공학회논문지SD
• /
• 제45권6호
• /
• pp.37-42
• /
• 2008

H.264/AVC 복호기에서는 인트라 예측기 뿐만 아니라 움직임 보상기, 디블럭킹 필터 등 각 IP들이 복호화를 위한 참조 영상 값들을 필요로 한다. 이들 IP들은 참조 영상을 읽어들이기 위하여 외부 메모리에 빈번하게 접근하는데, 이때문에 시스템 동작 속도도 낮아지고 전력 소모도 증가한다. 본 논문에서는 공통적이고 반복적인 블록의 재사용을 통하여 연산량을 줄이고 전력 소모 및 메모리 대역폭을 최소화하도록 외부 메모리를 사용하지 않는 움직임 보상기와 연계한 인트라 예측기를 제안하였다. 제안된 인트라 예측기는 기존에 비해 $45%\;{\sim}\;75%$ 가량 사이클 수를 감소시켰다.

• 대한전자공학회논문지SP
• /
• 제41권5호
• /
• pp.217-223
• /
• 2004

블록 기반의 손실 영상 압축 방식에서는 블록마다 다른 양자화 오류로 인하여 블록 경계를 따라 불연속성이 나타날 수 있다. 이러한 블록화 현상은 압축률이 높아질수록 심각하여 화질에 큰 영향을 미친다. 이러한 블록화 현상을 막기 위해 많은 알고리즘들이 제안되었다 그러나 블록화 현상에 대한 연구 중 모서리 잡음이라고 불리는 현상에 대한 연구가 미진하였다. 모서리 잡음은 블록 경계가 교차하는 지점에서 영상 경계가 불연속적으로 나타나게 되는 것을 말한다. 본 논문에서는 블록 기반영상 압축방식에서 발생하는 모서리 잡음의 발생과정과 특성을 분석하고 이 문제를 해결하기 위한 검출과 제거 알고리즘을 제안한다. 실험 결과는 제안 방법이 주관적 화질을 향상시키는 것을 보여준다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2012년도 하계학술대회
• /
• pp.236-238
• /
• 2012

본 논문에서는 HEVC 코덱에서 프레임 단위로 수행되던 디블록킹 필터를 하드웨어 구현 시에 LCU 단위로 처리되는 파이프라인 구조를 적용하여 병렬적으로 수행할 수 있는 방법을 제안한다. 파이프라인 구조에서는 현재 처리되고 있는 하나의 LCU 에 대해 디블록킹 필터를 수행하기 위해서 현재 처리하고 있는 LCU 뿐만 아니라 주변의 LCU 의 화소 값 등의 정보가 필요하며 주변의 LCU 의 화소 값을 모두 저장하는 것은 불필요한 메모리소모를 야기해 HEVC 코덱의 복잡도를 증가시킬 수 있다. 또한 현재 처리되는 LCU 의 경계에 디블록킹 필터를 수행하는 경우 현재 처리되는 LCU 이전의 수정할 수 없는 LCU 의 화소 값도 수정되어야 한다. 따라서 본 논문에서는 이를 해결하기 위해 수평 버퍼 와 수직 버퍼의 개념을 도입하여 처리되는 LCU 의 왼쪽 LCU 의 오른쪽 끝 4 열의 화소와 위쪽 LCU 의 아래쪽 끝 4 행의 화소만을 저장하여 메모리를 합리적으로 사용하는 방법을 제시하고 평행이동 LCU 개념을 적용하여 수정 불가능한 화소 값들을 처리하는 방법을 제시한다. 제안된 구조에 따라 구현된 소프트웨어 상에서 기존의 참조 소프트웨어인 HM6.0 과 동일한 결과를 얻을 수 있었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2012년도 하계학술대회
• /
• pp.468-470
• /
• 2012

본 논문에서는 High Efficiency Video Coding (HEVC)을 하드웨어로 구현하기 위해서 파이프라인 방식을 인-루프 필터에 새롭게 도입된 기술인 Sample Adaptive Offset (SAO)에 적용하여 병렬화 처리하는 방법을 제안한다. 현재 HEVC 에서 SAO 의 입출력이 프레임단위로 구현되어 있는데, 이를 파이프라인 방식의 하드웨어 설계시에는 Largest Coding Unit(LCU)단위로 입출력이 가능하도록 수정해야 한다. SAO 에서 사용하는 두 가지 방식으로 Edge Offset(EO)과 Band Offset(BO)모드가 있으며, 이 중 EO 모드가 주변 화소값을 이용하므로 주변 화소값 정보가 없는 LCU 경계에 위치한 화소들을 버퍼에 저장한 뒤, 다음 LCU 블록의 입력과 함께 SAO 를 수행한다. 또한, SAO 앞 단의 인-루프 필터 기술인 디블록킹 필터(Deblocking Filter)에서도 LCU 단위로 입출력이 수행되므로 디블록킹 필터에서 저장하는 버퍼를 고려하면, SAO 입력에서 사용가능한 데이터는 LCU 가 천이된 형태가 된다. 따라서 SAO 입력의 천이된 형태와 버퍼 사용에 따라 총 9 가지 타입을 갖게 되며, 이 중 경계에 위치한 블록을 제외한 타입들의 경우 서로 다른 정보를 가진 SAO 를 4 번 수행해야 한다. 이러한 점을 반영한 파이프라인 방식을 SAO 에 적용하여 하드웨어에 적합한 구조를 구현할 수 있다.