• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2014년도 추계학술대회
• /
• pp.271-274
• /
• 2014

본 논문에서는 UHD급 영상의 실시간 처리를 위한 고성능 HEVC(High Efficiency Video Coding) SAO(Sample Adaptive Offset) 부호화기의 효율적인 하드웨어 구조를 제안한다. SAO는 HEVC에서 새롭게 채택된 루프 내 필터 기술 중 하나이다. 본 논문에서 제안하는 SAO 부호화기 하드웨어 구조는 메모리 접근 최소화 및 화소들의 처리를 간소화하기 위해 three-layered buffer를 사용한다. 또한 연산시간 및 연산량을 줄이기 위해서 4개의 화소들을 병렬적으로 에지 오프셋과 밴드 오프셋으로 분류하며, 화소들의 분류와 SAO 파라메터 적용을 2단계 파이프라인 구조로 구현하고, 하드웨어 면적을 줄이기 위해서 덧셈과 뺄셈, 쉬프트 연산, 그리고 재귀 비교기만을 사용한다. 본 논문에서 제안하는 SAO 부호화기 하드웨어 구조는 Verilog HDL로 설계하였으며, TSMC $0.18{\mu}m$ CMOS 표준 셀 라이브러리를 사용하여 합성한 결과 약 180k개의 게이트로 구현되었다. 또한, 110MHz의 동작주파수에서 4K UHD급 해상도인 $4096{\times}2160@30fps$의 실시간 처리가 가능하다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2013년도 추계학술대회
• /
• pp.67-70
• /
• 2013

본 논문에서는 HEVC(high efficiency video coding)의 후처리 필터 중 하나인 적응적 샘플 오프셋(sample adaptive offset, SAO) 기술을 고속화 하는 방법을 제안한다. 기존의 SAO 는 원 영상과 복원된 영상간의 오차를 최소화하기 위해 각 블록마다 오프셋 값을 계산하므로 연산 복잡도가 매우 높다. 따라서 제안한 방법에서는 다양한 입력 영상에 대한 오프셋 사용빈도를 알아보고, 그 통계를 기반으로 불필요한 오프셋 연산을 생략한다.

• 한국정보통신학회논문지
• /
• 제17권2호
• /
• pp.391-396
• /
• 2013

본 논문에서는 고성능 HEVC 복호기 설계를 위해 SAO(Sample Adaptive Offset)의 수행시간 단축과 연산량, 하드웨어 면적 감소를 위한 하드웨어 구조를 제안한다. 제안하는 SAO 하드웨어 구조는 $8{\times}8$ CU(Coding Unit)를 처리하는 연산기를 구성하여 하드웨어 면적을 최소화하고, 내부레지스터를 이용하여 $64{\times}64$ CU의 처리를 지원한다. 또한 기존 SAO의 top-down 블록분할 구조 대신 bottom-up 블록분할 구조로 설계하여 연산시간 및 연산량을 최소화한다. 제안한 SAO 하드웨어를 TSMC $0.18{\mu}m$ CMOS 표준 셀 라이브러리 이용해 합성한 결과 게이트 수는 30.7k개의 로직게이트로 구현되며 최대동작주파수는 250MHz이다. 제안한 SAO 하드웨어 구조는 하나의 매크로 블록을 복호화하는데 64사이클이 소요된다.

• 방송과미디어
• /
• 제24권4호
• /
• pp.87-101
• /
• 2019

JVET(Joint Video Experts Team)에서 새로운 비디오 압축 표준으로 진행 중인 VVC(Versatile Video Coding)에서는 HEVC(High Efficiency Video Coding)의 기술을 근간으로 부호화 효율을 높일 수 있는 다양한 새로운 기술들을 채택하고 있다. 인루프 필터(In-Loop Filter)는 복원영상의 화질을 향상시키기 위한 기술로 주관적 화질 개선뿐만 아니라 부호화 효율을 향상시키는 기술로 기존 HEVC의 확장 기술 및 새로운 인루프 필터 기술을 채택하고 있다. 본 고에서는 VVC의 CD에 채택되어 있는 인루프 필터 기술들을 소개한다. 인루프 필터 기술은 HEVC에 채택되어 있는 디블록킹 필터(Deblocking Filter: DF)와 SAO(Sample Adaptive Offset), 새로이 추가된 ALF(Adaptive Loop Filter)의 3가지의 필터와 LMCS(Luma Mapping with Chroma Scaling) 기술을 포함하고 있다. 이들 인루프 필터 기술은 주관적 화질 개선과 부호화 효율을 크게 개선하고 있으며, 2020년 7월 FDIS(Final Draft International Standard) 완료를 앞두고 인루프 필터링의 다양화로 인한 성능과 복잡도를 고려한 간소화 및 병렬처리 등의 고속화에 대한 표준화가 지속적으로 이루어질 전망이다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 추계학술대회
• /
• pp.143-144
• /
• 2020

VVC (Versatile Video Coding)는 HEVC이후 차세대 표준 비디오 코딩으로 JVET(Joint Video Exploration)에 의해 2018년 표준화를 시작하였다. VVC에는 복원픽쳐의 변환-양자화에러에 의해 발생한 블로어, 블로킹, 링잉 아티팩트를 감소시키기 위하여 deblocking filter (DF), sample adaptive offset (SAO), adaptive loop filter(ALF)와 같은 모듈을 사용한다. 한편 CNN (Convolutional Neural Network)은 최근 이미지와 비디오 복원에 높은 성능을 보이고 있다. VVC에서 픽쳐는 CTU (Coding Tree Unit)으로 분할되고 각 CTU는 다시 CU (Coding Unit)으로 분할된다. 그리고 인코딩을 위한 중요한 정보들이 Picture, CTU, CU단위로 디코더에 전송된다. 이 논문에서는 화면 간 예측으로 인코딩 된 픽처에서 블록과 픽처정보를 이용한 딥러닝 기반의 인루프 필터 모델을 제안한다. 제안하는 모델은 화면 간 예측에서 QP, 4×4 블록단위의 모션벡터, 참조블록과의 시간적거리, CU의 깊이를 모델에 추가적인 정보로 이용한다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2017년도 추계학술대회
• /
• pp.543-545
• /
• 2017

본 논문에서는 고성능 루프내 필터를 위한 SAO 하드웨어 구조 설계에 대해 기술한다. SAO는 루프내 필터 내부 모듈이며, 블록 단위 영상 압축 및 양자화 등에서 발생하는 정보의 손실을 보상하는 기술이다. 하지만, HEVC의 SAO는 픽셀 단위 연산을 수행하기 때문에 높은 연산 시간을 요구한다. 따라서 본 논문에서 제안하는 SAO 하드웨어 구조는 고속연산을 위해 $4{\times}4$ 블록 연산과 2단 파이프라인 구조를 기반으로 한다. SAO 연산을 위한 정보생성 및 offset 연산구조는 병렬구조로 설계하여 연산시간을 최소화 하였다. 제안하는 하드웨어 구조는 Verilog HDL로 설계하였으며, TSMC 칩 공정 130nm 및 65nm 셀 라이브러리로 합성을 진행하였다. 130nm에서 최대 동작 주파수는 476MHz이고, 전체 게이트 수는 163k이다. 65nm에서 최대 동작 주파수는 312.5MHz이고, 전체 게이트 수는 193.6k이다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2016년도 하계학술대회
• /
• pp.237-239
• /
• 2016

본 논문에서는 HEVC (High Efficiency Video Coding) 복호화기의 SAO (Sample Adaptive Offset)를 효율적으로 병렬화하기 위한 방법을 제안한다. HEVC 는 주관적 화질 향상 및 압축 효율 향상을 위해 디블록킹 필터 (de-blocking filter)와 샘플 적응적 오프셋 (SAO)이라는 두 가지 인-루프 필터를 사용한다. 두 종류의 인-루프 필터의 사용은 HEVC 복호화기의 복잡도를 증가시키는 요인이며, 인-루프 필터에 데이터레벨 병렬화를 적용하여 고속으로 복호화를 수행할 수 있다. 본 논문에서는 SAO 의 병렬화를 위해 CTU (Coding Tree Unit)의 행 단위로 병렬화를 수행함으로써, 병렬화로 인한 추가적으로 발생하는 라인 버퍼 사용을 줄여 SAO 병렬화 효율을 향상시켰다. 실험결과 제안하는 SAO 병렬화 방법을 사용하여 균등분할 SAO 병렬화 방법에 비해 91%의 속도를 향상시켰다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2016년도 하계학술대회
• /
• pp.369-372
• /
• 2016

본 논문에서는 고효율 비디오 부호화에서 채택하고 있는 인-루프 필터 중 SAO (sample adaptive offset)를 컨볼루션 신경망으로 대체하여 부호화 효율을 향상시키는 방법을 제안한다. SAO 는 양자화 에러를 줄이기 위해 인코더에서 디코더로 적절한 오프셋 값을 전송한다. 제안하는 컨볼루션 신경망을 사용한 인-루프 필터는 인코더와 디코더가 같은 컨볼루션 신경망을 사용하여, 추가적인 비트를 디코더로 전송할 필요 없이 양자화 에러를 줄일 수 있다. 컨볼루션 신경망의 구조는 두 가지를 각각 사용하였고, 각 컨볼루션 신경망의 구조에 대해서 입력 영상과 원래 영상의 평균제곱오차에 따라 다른 모델을 적용하였다. 따라서 제안하는 방법을 HEVC에 적용하여 기존의 방법보다 더 적은 bit 로 더 좋은 화질의 영상을 얻어서 BD-rate 의 gain 을 얻을 수 있을 뿐만 아니라, 주관적인 화질의 비교에서도 더 좋은 결과를 보인다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2013년도 하계학술대회
• /
• pp.117-118
• /
• 2013

본 논문에서는 HEVC (High Efficiency Video Coding) SAO (Sample Adaptive Offset)의 병렬화 성능을 비교한다. HEVC 의 참조 소프트웨어인 HM-10.0 에서는 SAO 수행 과정의 연산량 및 메모리 접근을 최소화하고 카테고리 계산 과정에서 SAO 수행 전의 픽셀값을 사용하기 위해서 라인 버퍼를 사용한다. 그러나 이러한 라인버퍼의 사용은 SAO 에 대해 데이터-레벨의 병렬화를 적용하기 어렵게 만드는 주요 요인이다. 본 논문에서는 HEVC 디블록킹 필터가 적용된 픽쳐를 추가 메모리에 복사하는 구현 방식과 HM-10.0 의 SAO 구현 방식 각각에 대해 데이터-레벨 병렬화를 적용하고 각각의 성능을 비교 분석하였다. 실험 결과, HEVC 디블록킹 필터가 적용된 픽쳐를 추가 메모리에 복사하는 구현 방식은 데이터-레벨 병렬화의 구현은 쉽지만, 디블록킹 필터링 된 픽쳐를 추가 메모리에 복사하는 부분 때문에 HM-10.0 기반의 병렬화보다 복호화 성능이 저하될 수 있음을 확인하였다. 이에 반해 CTU 의 행 단위로 병렬 수행될 영역을 분할하는 방식은 구현의 용이성과 병렬화 성능을 동시에 얻을 수 있음을 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2014년도 추계학술대회
• /
• pp.7-9
• /
• 2014

본 논문에서는 하드웨어 기반의 Sample Adaptive Offset (SAO) 부호화기에서 전체 면적 중 상당히 큰 비중을 차지하는 통계값 테이블의 면적을 개선하는 방법을 제안한다. 파이프라인으로 동작하는 통계 계산과 최적 모드 결정 모듈의 통계값 테이블 접근 분석을 통하여 Luma 테이블을 재사용함으로써 Cr 테이블을 제거할 수 있다. 또한 테이블의 bit width 를 가능한 값의 최대 범위가 아닌, 충분히 큰 범위로 제한함으로써 면적을 감소시킬 수 있다. 제안한 방법을 적용했을 때 합성을 통해 예측된 면적이 46% 가량 감소하는 것을 확인하였다.