• 방송공학회논문지
• /
• 제27권7호
• /
• pp.1021-1033
• /
• 2022

After the Versatile Video Coding (VVC)/H.266 standard was completed, the Joint Video Exploration Team (JVET) began to investigate new technologies that could significantly increase coding gain for the next generation video coding standard. One direction is to investigate signal processing based tools, while the other is to investigate Neural Network based technology. Neural Network based Video Coding (NNVC) has not been studied previously, and this is the first trial of such an approach in the standard group. After two years of research, JVET produced the first common software called Neural Compression Software (NCS) with two NN-based in-loop filtering tools at the 27th meeting and began to maintain NN-based technologies for the common experiment. The coding performances of the two filters in NCS-1.0 are shown to be 8.71% and 9.44% on average in a random access scenario, respectively. All the material related to NCS can be found in the repository of the JVET. In this paper, we provide a brief overview and review of the NNVC activity studied in JVET in order to provide trend and insight for the new direction of video coding standard.

• 방송과미디어
• /
• 제28권1호
• /
• pp.29-37
• /
• 2023

국제표준화 단체 MPEG과 VCEG이 연합하여 만든 기구인 Joint Video Explorer Team (JVET)은 Versatile Video Coding (VVC)/H.266 완성 이후, 새로운 표준을 준비하기 위한 차세대 코딩 기술을 연구하기 시작하였다. 두 가지 큰 연구 방향이 설정되어 스터디가 진행 중인데, 하나의 방향은 기존 코덱에서 많이 활용되었던 신호 처리 기반 기술 연구이고, 다른 방향은 신경망을 활용하여 새로운 코딩 기술을 연구하는 것이다. 신경망 기반 비디오 코딩은 표준화에서 공식적으로 연구된 적이 없으며, 해당 시도는 차세대 표준을 준비하기 위해서 처음으로 하는 시도이다. 본 기고에서는 비디오 코딩 표준의 새로운 방향에 대한 통찰력을 제공하기 위해 JVET에서 새롭게 시작되고 있는 신경망 기반 비디오 코딩 연구에 대한 동향을 리뷰하고자 한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2018년도 추계학술대회
• /
• pp.141-142
• /
• 2018

360 비디오는 VR 미디어의 확산과 함께 몰입형 미디어로 주목 받고 있으며, JVET(Joint Video Experts Team)에서는 post-HEVC 로 진행중인 VVC(Versatile Video Coding) 표준화에 360 비디오 부호화도 함께 포함하고 있다. 현재 JVET 에서는 360 비디오를 부호화 하기 위한 다양한 구(sphere) 영상의 2D 투영기법이 고려되고 있다. 이러한 2D 투영에서는 구 영상의 화소 샘플이 2D 영상에 비 균일하게 매핑되는 변환 왜곡이 발생하며, 이는 360 비디오의 부호화 효율을 저하시키는 원인이 된다. 본 논문에서는 CMP 의 개선된 투영기법인 기존의 EAC(Equi-Angular Cubemap)와 HEC(Hybrid Equiangular Cubemap)를 소개하고, 이를 바탕으로 HEC 의 확장 변환 기법을 제시하여 객관적/주관적 부호화 성능을 확인한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2018년도 하계학술대회
• /
• pp.147-148
• /
• 2018

최근 JVET(Joint Video Experts Team)은 새로운 비디오 압축 표준인 VVC(Versatile Video Coding)의 표준화를 시작하였다. 기존의 HEVC 및 VVC의 참조 SW 코덱인 HM 및 VTM(Versatile Test Model)에서는 효율적인 화면간 예측 부호화를 위한 움직임 정보 병합(Merge) 모드를 사용하고 있다. 본 논문에서는 VTM 의 Merge 후보 리스트 구성에서 공간적 주변블록의 움직임 정보가 존재하지 않을 경우, 이를 대체할 수 있는 Merge 후보 리스트 생성 기법을 제시한다. JVET CTC(Common Test Condition)를 이용하여 제안한 기법의 실험을 진행하였고, 실험결과 Y, U, V 성분 각각 0.2%, 0.17%, 0.12%의 BD-rate 감소를 확인하였다.

• 방송공학회논문지
• /
• 제22권5호
• /
• pp.541-547
• /
• 2017

차세대 비디오 부호화 표준 기술 탐색을 진행하고 있는 JVET(Joint Video Exploration Team)의 참조 SW 코덱인 JEM(Joint Exploration Model)은 재귀적 QTBT(Quadtree plus Binary Tree) 분할 구조의 부호화단위(CU)를 제공한다. QTBT를 통하여 새로운 블록 형태를 추가하여 부호화 효율 이득을 얻을 수 있는 반면, 부호화 복잡도 또한 크게 증가하는 문제가 있다. 본 논문에서는 JEM 부호화기의 복잡도 감소를 위해 상위 분할 깊이(depth)와 현재 분할 깊이의 율-왜곡(Rate-Distortion: RD) 비용을 사용하는 고속 블록 분할 깊이 결정 기법을 제안한다. 실험결과 JEM 5.0 대비 AI(All Intra) 부호화 구조에서 0.7%의 BD-rate 증가에 21.6%의 부호화 시간 감소를 보였고, RA(Random Access)에서는 1.2%의 BD-rate 증가에 11.0%의 시간 감소 효과를 얻을 수 있었다.

• 방송공학회논문지
• /
• 제23권4호
• /
• pp.495-502
• /
• 2018

HEVC(High Efficiency Video Coding) 보다 뛰어난 압축 성능을 갖는 차세대 비디오 부호화 표준 후보 기술에 대한 탐색과 검증을 진행한 JVET(Joint Video Exploration Team)은 기술 검증을 위한 참조 SW 코덱인 JEM(Joint Exploration Model)을 공개하였다. JEM은 HEVC의 35개 보다 증가한 67개의 화면내 예측 모드를 사용하고 있으며, 이에 따른 예측 모드 부호화에 대한 부담으로 부호화 성능 개선에 제한이 따른다. 본 논문에서는 화면내 예측 모드의 선택 확률을 분석하고, 이를 바탕으로 보다 효율적인 화면내 예측 모드 부호화 기법과 그 기법의 효율적인 엔트로피 부호화를 위한 문맥 모델링 기법을 제안한다. 실험결과 제안 기법은 AI(All Intra) 부호화 구조에서 JEM 7.0 대비 0.02%의 BD-rate 이득을 보였으며, 향후 추가적인 성능 향상을 위한 문맥 모델링 최적화에 대한 연구가 필요하다.

• 방송공학회논문지
• /
• 제24권1호
• /
• pp.25-31
• /
• 2019

360 비디오는 VR 응용의 확산과 함께 몰입형 미디어로 주목받고 있으며, JVET(Joint Video Experts Team)에서 post-HEVC로 진행중인 VVC(Versatile Video Coding) 표준화에서 360 비디오 부호화도 함께 고려되고 있다. 360 비디오 부호화를 위하여 2D로 투영된 영상에는 투영 면(face) 경계의 불연속성과 비활성 영역이 존재할 수 있으며 이는 부호화 효율을 저하시키고 시각적 아티팩트(visual artifact)를 발생시킬 수 있다. 본 논문에서는 2D 투영 기법 중 SSP(Segmented Sphere Projection)에서의 이러한 불연속성과 비활성 영역을 줄이는 효율적인 기하학적 패딩(padding) 기법을 제시한다. 실험결과, 제안 기법은 복사에 의한 패딩을 사용하는 기존 SSP 대비 미미한 부호화 효율 저하는 있지만 주관적 화질이 향상된 것을 확인할 수 있었다.

• 방송과미디어
• /
• 제24권4호
• /
• pp.10-25
• /
• 2019

본 고는 ISO/IEC MPEG과 ITU-T VCEG이 참여하는 JVET(Joint Video Expert Team)에서 진행되고 있는 비디오 압축 표준 기술인 VVC(Versatile Video Coding)에 대하여 설명하고자 한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2017년도 추계학술대회
• /
• pp.6-7
• /
• 2017

360 비디오는 몰입감을 제공해주는 새로운 타입의 미디어로 최근 그 주목도가 더해져 가고 있다. 이에 따라 차세대 비디오 표준 기술 탐색을 진행하고 있는 JVET(Joint Video Exploration Team)에서는 360 비디오를 SDR 및 HDR 비디오와 함께 표준화 대상으로 논의되고 있다. 현재 JVET 에서는 360 비디오를 부호화 하기 위한 다양한 2D 투영기법이 제시되고 있다. 2D 로 변환된 영상은 투영 면(face) 간의 불연속성과 비활성 영역이 존재할 수 있으며 이는 부호화 효율을 저하시키는 원인이 된다. 본 논문에서는 ISP(Icosahedral Projection)에서의 이러한 불연속성과 비활성 영역을 줄이는 효과적인 프레임 패킹(packing) 기법을 제시한다. 제안 기법은 투영면들 간의 불연속 경계면을 효율적으로 배치하여 주관적 화질과 부호화 효율을 향상시킨다. 실험결과 기존 CISP(Compact ISP) 대비 1.0%, 1.0%, 1.27%, 0.63%의 BD-rate 감소를 확인 할 수 있었다. 또한 기존 CISP 대비 주관적 화질이 향상된 것을 확인 할 수 있었다.

• ETRI Journal
• /
• 제43권2호
• /
• pp.313-323
• /
• 2021

The Joint Video Exploration Team (JVET) has studied future video coding (FVC) technologies with a potential compression capacity that significantly exceeds that of the high-efficiency video coding (HEVC) standard. The joint exploration test model (JEM), a common platform for the exploration of FVC technologies in the JVET, employs quadtree plus binary tree block partitioning, which enhances the flexibility of coding unit partitioning. Despite significant improvement in coding efficiency for chrominance achieved by separating luminance and chrominance tree structures in I slices, this approach has intrinsic drawbacks that result in the redundancy of block partitioning data. In this paper, an adaptive tree structure correlating luminance and chrominance of single and dual trees is presented. Our proposed method resulted in an average reduction of -0.24% in the Y Bjontegaard Delta rate relative to the intracoding of JEM 6.0 common test conditions.