• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 추계학술대회
• /
• pp.143-144
• /
• 2020

VVC (Versatile Video Coding)는 HEVC이후 차세대 표준 비디오 코딩으로 JVET(Joint Video Exploration)에 의해 2018년 표준화를 시작하였다. VVC에는 복원픽쳐의 변환-양자화에러에 의해 발생한 블로어, 블로킹, 링잉 아티팩트를 감소시키기 위하여 deblocking filter (DF), sample adaptive offset (SAO), adaptive loop filter(ALF)와 같은 모듈을 사용한다. 한편 CNN (Convolutional Neural Network)은 최근 이미지와 비디오 복원에 높은 성능을 보이고 있다. VVC에서 픽쳐는 CTU (Coding Tree Unit)으로 분할되고 각 CTU는 다시 CU (Coding Unit)으로 분할된다. 그리고 인코딩을 위한 중요한 정보들이 Picture, CTU, CU단위로 디코더에 전송된다. 이 논문에서는 화면 간 예측으로 인코딩 된 픽처에서 블록과 픽처정보를 이용한 딥러닝 기반의 인루프 필터 모델을 제안한다. 제안하는 모델은 화면 간 예측에서 QP, 4×4 블록단위의 모션벡터, 참조블록과의 시간적거리, CU의 깊이를 모델에 추가적인 정보로 이용한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 하계학술대회
• /
• pp.311-312
• /
• 2021

최근 VVC(Versatile Video Coding) 표준 완료 이후 JVET(Joint Video Experts Team)은 NNVC(Neural Network-based Video Coding) AhG(Ad-hoc Group)을 구성하고 인공지능을 이용한 비디오 압축 기술들을 탐색하고 있다. 본 논문에서는 VVC 복원 영상의 DCT 계수를 기반으로 복원 영상을 분류하고, 분류된 각 클래스에 따라 적응적으로 CNN(Convolutional Neural Network) 기반의 화질 개선을 수행하는 VVC 후처리 기법을 제안한다. 실험결과, 제안기법은 AI(All Intra) 부호화 모드에서 1.23% BD-rate 이득을 보였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 하계학술대회
• /
• pp.1236-1238
• /
• 2022

JVET 은 최신 비디오 부호화 표준인 VVC(Versatile Video Coding) 표준화를 완료한 후, VVC 보다 더 높은 압축 성능을 가지는 새로운 표준기술 탐색을 진행하고 있으며, 이를 위하여 참조 소프트웨어 ECM(Enhanced Compression Model)을 개발하고 있다. 현재 ECM4.0 에는 다양한 후보 구성 및 예측 성능 개선 기법을 추가하여 기존 VVC 의 GPM(Geometric Partitioning Mode)을 확장한 GPM-MMVD(GPM with merge MV differences), GPM-TM(GPM with template matching) 등을 채택하고 있다. 본 논문에서는 ECM 에 채택된 확장된 GPM 기술들의 각 기술 별 선택 빈도를 분석하고 이를 바탕으로 보다 효율적인 GPM 확장 모드 시그널링 방식을 제안한다. 또한 후보 탐색 알고리즘을 간소화한 복잡도 감소 기법을 제시한다. 실험결과 제안하는 시그널링 기법은 ECM4.0 대비 Y와 Cb, Cr 에서 각각 0.02%, 0.16%, 0.09% BD-rate 부호화 성능 향상을 보였고 GPM 인덱스 탐색 간소화 기법은 ECM4.0 대비 Y 와 Cr 에서 각각 0.02%, 0.18% BD-rate 부호화 성능 향상을 보였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 하계학술대회
• /
• pp.1239-1240
• /
• 2022

JVET 은 VVC(Versatile Video Coding) 표준화 완료 이후 보다 높은 압축 성능을 갖는 차세대 비디오 코덱의 표준 기술을 탐색하고 있으며 ECM(Enhanced Compression Model) 참조 소프트웨어를 통해 제안된 알고리즘의 성능을 검증하고 있다. 현재 ECM 에서는 정해진 순서에 의해 병합(Merge) 후보를 구성하고 템플릿 매칭(template matching)을 통하여 후보들의 순서를 재배열하는 ARMC(Adaptive Reordering of Merge Candidate) 기법을 채택하고 있다. 본 논문은 ARMC 의 병합 후보의 선택 빈도 분석을 바탕으로 정규 병합(regular merge) 후보 수를 확장하여 구성하고, 실제 탐색에 사용되는 최종 후보의 수를 제한하는 효율적인 ARMC 후보 구성 기법을 제안한다. 실험결과 ECM 4.0 대비 Cb 와 Cr 에서 0.12%, 0.19% 비디오 부호화 성능을 확인하였다.

• 방송공학회논문지
• /
• 제25권3호
• /
• pp.313-324
• /
• 2020

본 논문에서는 360 비디오의 특성을 이용하여 픽쳐 경계에서 코딩 효율을 증가시키는 움직임 벡터 예측 방법을 제안한다. VVC의 화면간 예측에서 움직임 벡터 후보군을 구성할 때 주변 블록의 위치가 픽쳐의 경계 바깥이면 후보군 구성 과정에서 제외되어 픽쳐 경계에서 코딩 효율이 감소하게 된다. 이를 해결하기 위해 360 비디오의 부/복호화를 위한 투영 방법의 특성을 이용하여 이미 복호화된 정보로부터 픽쳐의 경계에서 추가로 후보군을 구성하는 방법을 제안한다. 제안하는 방법의 성능 평가를 위하여 JVET-360 CTC의 임의 접근 환경에서 VTM6.0 및 360Lib9.1와 비교한다. 그 결과로써 제안하는 방법은 추가 계산 복잡도 없이 휘도 성분에서 평균 0.02%, 색차 성분에서 각각 평균 0.05%, 0.06%의 비트율 감소를 보이고, 픽쳐의 경계에서는 비트율이 휘도 성분에서 평균 0.29%, 색차 성분에서 각각 평균 0.45%, 0.43% 감소하였다. 그리고 DSCQS (Double Stimulus Continuous Quality-Scale) 방법을 통해 제안하는 방법의 주관적 화질 평가를 수행하여 MOS (Mean Opinion Score)값을 얻는다. MOS값은 평균 0.03 향상되었고, MOS값과 비트량을 이용하여 BD-MOS를 구한다. 그 결과, 제안하는 방법의 성능이 최대 8.78%, 평균 5.18% 향상하였다.

• 방송공학회논문지
• /
• 제22권1호
• /
• pp.136-139
• /
• 2017

최근 VR(virtual reality)의 관심이 급격하게 늘어감에 따라 HMD(Head Mounted Display), 360도 VR 카메라 등 많은 VR기기들이 출시되고 있다. 그럼에도 불구하고 현재 360도 VR 비디오의 경우 기존의 일반 2D 비디오의 코덱을 그대로 사용하고 있다. 기존의 코덱은 360도 VR 비디오의 특징을 고려하지 않고 비디오를 부/복호화하기 때문에 압축효율이 떨어지게 된다. 본 논문에서는 360도 VR 비디오의 특성 중 시점이 달라 생기는 왜곡을 보정한 참조프레임으로 사용함으로써 압축효율을 높이는 방법을 제안한다. 제안한 방법을 적용할 경우 시간적 예측 효율이 높아져 압축효율이 높아진다.

• Journal of Multimedia Information System
• /
• 제8권3호
• /
• pp.147-158
• /
• 2021

Versatile Video Coding (VVC) is the latest video coding standard developed by Joint Video Exploration Team (JVET). In VVC, the quadtree plus multi-type tree (QT+MTT) structure of coding unit (CU) partition is adopted, and its computational complexity is considerably high due to the brute-force search for recursive rate-distortion (RD) optimization. In this paper, we aim to reduce the time complexity of inter-picture prediction mode since the inter prediction accounts for a large portion of the total encoding time. The problem can be defined as classifying the split mode of each CU. To classify the split mode effectively, a novel convolutional neural network (CNN) called multi-level tree (MLT-CNN) architecture is introduced. For boosting classification performance, we utilize additional information including inter-picture information while training the CNN. The overall algorithm including the MLT-CNN inference process is implemented on VVC Test Model (VTM) 11.0. The CUs of size 128×128 can be the inputs of the CNN. The sequences are encoded at the random access (RA) configuration with five QP values {22, 27, 32, 37, 42}. The experimental results show that the proposed algorithm can reduce the computational complexity by 11.53% on average, and 26.14% for the maximum with an average 1.01% of the increase in Bjøntegaard delta bit rate (BDBR). Especially, the proposed method shows higher performance on the sequences of the A and B classes, reducing 9.81%~26.14% of encoding time with 0.95%~3.28% of the BDBR increase.

• 방송공학회논문지
• /
• 제25권1호
• /
• pp.109-112
• /
• 2020

VVC는 화면 내 예측에서 67가지의 모드를 사용한다. 이때 화면 내 예측 모드 표현을 위한 데이터를 감소시키기 위하여 MPM(Most Probable Mode)을 사용한다. 시그널링 되는 모드가 MPM 후보 내에 존재하는 경우 MPM 리스트의 해당 index를 송신하는 방법을 사용하고 MPM 후보 내에 존재하지 않는 경우에는 TBC 부호화를 적용한다. 화면 내 예측에서 TBC가 적용될 때 MPM 후보를 제외하고 낮은 번호의 모드 순서대로 3가지가 선택되어 5비트로 부호화되고 나머지 모드는 6비트로 부호화된다. 본 논문에서는 VVC의 화면 내 예측에서 사용하는 TBC 기술의 한계점을 알아보고 화면 내 예측에서 TBC를 사용할 때 기존의 방법보다 효율적으로 부호화 할 수 있는 적응적인 방법을 제안한다. 그 결과 기존의 부호화 방법과 비교해서 overall 부호화 성능이 AI와 RA에서 각각 0.01%, 0.04%의 부호화 효율이 증대되었다.

• 방송공학회논문지
• /
• 제22권3호
• /
• pp.397-400
• /
• 2017

최근 드론, 액션캠 등과 같은 촬영 장비의 활성화로 다양한 전역 움직임을 내포한 영상들이 많이 생성되고 있다. 이때 회전, 확대, 축소 등의 움직임이 발생한 경우, 2D motion vector를 활용하는 기존의 화면 간 예측 방법은 높은 부호화 효율을 기대하기 어렵다. 본 논문에서는 전역 움직임을 homography 참조 픽처를 통해 반영한 비디오 부호화 방법을 제안한다. 제안방법으로, 1) 현재 픽처와 참조 픽처간 전역 움직임 관계를 homography로 파악하여 새로운 참조 픽처를 생성하는 방법, 2) homography 참조 픽처를 화면 간 예측에 활용하는 방법이 있다. 실험은 HEVC 참조 소프트웨어인 HM 14.0에 적용하였고, 실험결과 RA 기준 6.6% 부호화 효율이 증가했다. 특히, 회전 전역 움직임을 지니는 영상을 이용한 실험 결과에서는 기존대비 최대 32.6%의 부호화 효율이 증가하는 결과를 나타내어, 드론과 같이 복잡한 전역 움직임이 자주 나타나는 비디오에서 높은 효율을 보일 수 있을 것으로 기대된다.

• 방송공학회논문지
• /
• 제24권1호
• /
• pp.41-47
• /
• 2019

HEVC(High Efficiency Video Coding) 보다 뛰어난 압축 성능을 갖는 차세대 비디오 압축 표준으로 진행중인 VVC(Versatile Video Coding)에서는 보다 향상된 움직임 병합(Merge) 모드를 위한 기법들이 다루어지고 있다. 기존의 병합 모드에서는 다수의 주변 블록에서 움직임 정보가 존재하지 않으면 현재 블록의 움직임 정보로 사용할 병합 후보 리스트에 제로(zero) 움직임 벡터가 후보에 삽입될 수 있으며 이는 부호화 효율을 저하시킬 수 있다. 본 논문에서는 병합 후보 리스트에 제로 움직임 후보가 삽입되는 경우를 줄이기 위해 대체 움직임 정보를 생성하여 병합 후보 리스트에 삽입하는 효율적인 병합 모드 후보 리스트 구성 기법을 제시한다. 실험결과 제안 기법은 VTM1.0 대비 3% 복호화 복잡도 증가와 함께 0.2%의 부호화 성능 향상을 보였다.