• 방송공학회논문지
• /
• 제19권5호
• /
• pp.713-725
• /
• 2014

차세대 영상 기술의 하나로 다양한 분야에서 주목받고 있는 고품질 다시점 및 3차원 콘텐츠들에 대한 비디오 부호화 기술의 연구 및 표준화가 활발히 진행되고 있다. 다시점 및 3차원 비디오 기술은 복수의 시점을 이용하여 사용자에게 실감나는 영상을 제공할 수 있다. 하지만, 많은 시점을 획득 및 전송하는 것은 한계가 있으므로, 소수의 시점을 이용하여 다양한 시점을 제공하는 연구가 주를 이룬다. 이러한 연구에는 전송 시점을 줄이는 대신 깊이 정보를 전송하여 전송된 시점으로부터 더욱 정확히 임의 시점을 생성하는 기술과 시점간 정보 중복성을 제거하기 위한 부호화 기술이 있다. 최근 국제 표준화 기구인 JCT-3V(Joint Collaborative Team on 3D Video Coding Extension Development)에서는 다시점 및 3차원 비디오 영상을 효율적으로 부호화할 수 있는 기술에 대하여 표준화가 진행되고 있다. 본 논문은 현재 JCT-3V에서 HEVC(High Efficiency Video Coding) 기반으로 표준화가 진행 중인 3D-HEVC 부호화 기술에 대해 살펴보고 그 부호화 및 복잡도 성능을 분석하였다. 이러한 성능 분석은 향후 부호화 성능 향상을 위한 알고리즘 개발 및 고속 부호화기 개발을 위한 부호화 툴의 선별 및 조정에 유용할 것으로 판단된다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2003년도 신호처리소사이어티 추계학술대회 논문집
• /
• pp.133-136
• /
• 2003

In this paper, we propose a low bit-rate embedded video coding scheme with 3-D block partition in the wavelet domain. The proposed video coding scheme includes multi-level three dimensional dyadic wavelet decomposition, raster scanning within each subband, partitioning of blocks, and adaptive arithmetic entropy coding. Although the proposed video coding scheme is quite simple, it produces bit-streams with good features, including SNR scalability from the embedded nature. Experimental results demonstrate that the proposed video coding scheme is quite competitive to other good wavelet-based video coders in the literature.

• 방송공학회논문지
• /
• 제18권2호
• /
• pp.261-270
• /
• 2013

스테레오스코픽(stereoscopic) 3D 비디오 서비스는 기존 2D와의 호환성을 유지하면서 새로운 3D 비디오 서비스를 제공할 수 있다. 전송 대역이 제한된 지상파 방송의 경우 높은 부호화 효율을 갖는 스테레오스코픽 비디오 코덱이 요구된다. 따라서 기준영상은 기존 2D 비디오 서비스와의 호환성을 위해 MPEG-2로 부호화하는 반면 3D를 위한 부가영상 부호화를 위해 부호화 효율이 높은 H.264/AVC, HEVC(High Efficiency Video Coding) 등을 고려하고 있으며, 또한 부가영상을 비실시간으로 전송하는 NRT(Non-Real Time) 3D 서비스도 고려되고 있다. 본 논문에서는 NRT 3D 서비스를 위한 스테레오스코픽 비디오 부호화에 있어서, HEVC에서 고려되었던 적응루프필터(ALF: Adaptive Loop Filter)를 전/후처리 필터로 적용하는 기법을 제시한다. 특히, 부가영상의 후처리에 ALF를 적용하기 위하여 부호화 과정에 결정되는 CU(Coding Unit) 구조를 이용하는 HEVC와 달리 MVC(Multiview Video Coding)로 부호화한 부가영상의 매크로블록(MB) 부호화 모드 및 참조영상 인덱스 등의 MB 부호화 정보를 이용한 ALF 적용 기법을 제안한다. 부가 영상 부호화에 있어서 제안한 기법으로 전처리 및 후처리 과정으로 ALF를 적용함으로써 최대 약 24.9%의 비트율 감소를 확인하였다.

• 한국통신학회논문지
• /
• 제34권10B호
• /
• pp.1093-1103
• /
• 2009

본 논문에서는 효율적인 보조 정보 생성을 통한 새로운 분산 다시점 비디오 코딩 기법을 제안한다. 분산 비디오 코딩은 원영상과 디코더에서 생성한 보조 정보 간의 오차를 채널 코딩 기법으로 정정한다. 따라서 보조 정보를 정확히 만들수록 분산 비디오 코딩의 성능은 좋아지게 된다. 제안한 기법에서는 깊이지도를 기반으로 하는 다시점 비디오 코딩에 분산 비디오 코딩 기법을 적용한다. 또한 깊이지도를 이용한 3차원 워핑을 통해 인접한 시점의 영상으로부터 보조 정보를 생성하고, 3차원 워핑과 시간 축 상의 인접한 영상을 이용하는 MCTI(motion compensated temporal interpolation)를 효율적으로 혼합하여 사용한다. 실험 결과 제안한 기법으로 생성한 보조 정보는 MCTI와 3차원 위핑을 따로 사용한 방법보다 평균 0.97dB의 PSNR이 향상되었음을 알 수 있었다. 또한 R-D 곡선 상에서 동일 PSNR 대비 평균 8.01%의 비트율이 감소되었다.

• 한국통신학회논문지
• /
• 제40권10호
• /
• pp.2080-2089
• /
• 2015

본 논문에서는 3차원 비디오 압축을 위한 표준으로서 3D-AVC와 3D-HEVC에 채택된 주위 블록의 변위 벡터정보를 이용한 블록 기반의 변위 벡터 추정 기법 (Neighboring block-based disparity vector, NBDV)을 설명하고 성능을 평가하여 분석한다. NBDV에서는 시간적 공간적으로 인접한 주위 블록에서 부호화를 완료한 변위 움직임 벡터 (disparity motion vector)를 이용하여 변위 벡터로 변환한다. 변위 벡터는 인접 시점에서 현재 블록에 대응하는 블록을 지시하는 벡터로 시점간 통계적 연관성을 이용함으로써 3차원 동영상의 부호화 효율을 증대하는데 중요한 기능을 제공한다. 제안 기술은 저 복잡도와 동일 화질에서 약 20%의 부호화 효율 증가, 그리고 네트워크 내 미디어 게이트웨이의 효율적인 동작을 제공하는 텍스쳐 비디오 우선 부호화 방식을 지원하여 3차원 비디오 압축 표준 기술로 최종 채택되었다.

• 방송공학회논문지
• /
• 제14권6호
• /
• pp.703-720
• /
• 2009

본 논문에서는 3D 컨텐츠 서비스에 대한 사용자의 욕구를 만족시킴과 동시에 미래 컴퓨팅 환경에 적합한 새로운 동영상 코딩 방법으로서 실감형 다시점 스케일러블 비디오 코딩 방법을 제안하였다. 미래의 비디오 코딩 방법은 스테레오 스코픽 또는 다시점 비디오를 통하여 삼차원 실감형 입체영상을 사용자로 하여금 느끼게 하는 실감형 서비스를 지원함과 동시에 다양한 통신환경 및 다양한 종류의 단말을 통합적으로 지원하기 위한 'One-source Multi-use'를 달성할 수 있어야 한다. 지금까지 2차원 디스플레이만을 지원하는 동영상 코딩 방법과는 다르게 본 논문에서 제안하는 실감형 다시점 스케일러블 비디오 코딩 방법은 그러한 실감 서비스를 지원할 수 있는 방법이다. 제안된 코딩 방법은 다시점 비디오 코딩 방법과 스케일러블 비디오 코딩 방법의 기능을 통합하는 방향으로 설계되고 구현된 후 성능 평가를 통해 실제 3D 서비스에서의 응용 가능성을 살펴보았다. 성능 평가를 통해 본 논문에서 제안하는 코딩 구조가 코딩 효율을 효율적으로 유지하면서 시점간의 랜덤 액세스 성능을 크게 높여 주는 것을 확인할 수 있었다.

• 방송공학회논문지
• /
• 제20권4호
• /
• pp.545-556
• /
• 2015

차세대 3차원 디스플레이 및 서비스를 지원하기 위한 HEVC 기반 3차원 비디오 코딩 표준(3D-HEVC)이 최근 완료되었다. 3D-HEVC는 소수의 텍스처 영상(Texture image)과 깊이 영상(Depth map image)으로 구성된 Multi-view plus depth (MVD) 포맷을 효율적으로 처리하기 위한 표준으로써 H.264/AVC와 HEVC에서 사용하는 단일 계층 부호화 방법과 더불어 텍스처 영상들간, 깊이 영상들간, 텍스처 영상과 깊이 영상들간의 예측을 수행하는 인터-컴포넌트 부호화 기술을 추가적으로 사용한다. 본 논문에서는 3D-HEVC 표준의 일반적인 코딩 구조, 3D-HEVC 기술의 기반이 되는 인터-컴포넌트 부호화 기술 및 인터-컴포넌트 부호화 효율에 중요한 영향을 미치는 시차 벡터(Disparity vector) 유도 기술에 대해 상세히 소개한다. 또한 본 논문에서는 3D-HEVC의 부호화 효율을 검증하기 위해 각 시점을 HEVC로 부호화한 방법과 단순 다시점 확장 표준인 MV-HEVC와의 성능평가를 수행한다.

• 한국멀티미디어학회논문지
• /
• 제18권2호
• /
• pp.149-157
• /
• 2015

The 3D-AVC standard aims at improving coding efficiency by applying new techniques for utilizing intra, inter and view predictions. 3D video scenes are rendered with existing texture video and additional depth map. The depth map comes at the expense of increased computational complexity of the encoding process. For real-time applications, reducing the complexity of 3D-AVC is very important. In this paper, we present a fast intra mode decision algorithm to reduce the complexity burden in the 3D video system. The proposed algorithm uses similarity between texture video and depth map. The best intra prediction mode of the depth map is similar to that of the corresponding texture video. The early decision algorithm can be made on the intra prediction of depth map coding by using the coded intra mode of texture video. Adaptive threshold for early termination is also proposed. Experimental results show that the proposed algorithm saves the encoding time on average 29.7% without any significant loss in terms of the bit rate or PSNR value.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제12권4호
• /
• pp.1730-1747
• /
• 2018

Multi-view video plus depth (MVD) is a mainstream format of 3D scene representation in free viewpoint video systems. The advanced 3D extension of the high efficiency video coding (3D-HEVC) standard introduces new prediction tools to improve the coding performance of depth video. However, the depth video in 3D-HEVC is time consuming. To reduce the complexity of the depth video inter coding, we propose a fast coding unit (CU) size and mode decision algorithm. First, an off-line trained Bayesian model is built which the feature vector contains the depth levels of the corresponding spatial, temporal, and inter-component (texture-depth) neighboring largest CUs (LCUs). Then, the model is used to predict the depth level of the current LCU, and terminate the CU recursive splitting process. Finally, the CU mode search process is early terminated by making use of the mode correlation of spatial, inter-component (texture-depth), and inter-view neighboring CUs. Compared to the 3D-HEVC reference software HTM-10.0, the proposed algorithm reduces the encoding time of depth video and the total encoding time by 65.03% and 41.04% on average, respectively, with negligible quality degradation of the synthesized virtual view.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 하계학술대회
• /
• pp.497-499
• /
• 2020

포인트 클라우드는 다수의 3D 포인터를 사용한 3D 데이터의 표현 방식 중 하나이며, 멀티미디어 획득 및 처리 기술의 발전에 따라 다양한 분야에서 주목하고 있는 기술이다. 특히 포인트 클라우드는 3D 데이터를 정밀하게 수집하고 표현할 수 있는 장점을 가진다. 하지만 포인트 클라우드는 방대한 양의 데이터를 가지고 있어 효율적인 압축이 필수적이다. 이에 따라 국제 표준화 단체인 Moving Picture Experts Group에서는 포인트 클라우드 데이터의 효율적인 압축을 위하여 Video based Point Cloud Compression(V-PCC)와 Geometry based Point Cloud Coding에 대한 표준을 제정하고 있다. 이 중 V-PCC는 기존 High Efficiency Video Coding(HEVC) 표준을 활용하여 포인트 클라우드를 압축하여 활용성이 높다는 장점이 있다. 본 논문에서는 V-PCC에 사용하는 HEVC 코덱을 2020년 7월 표준화 완료될 예정인 Versatile Video Coding으로 대체하여 V-PCC의 압축 성능을 더 개선할 수 있음을 보인다.