• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제8권7호
• /
• pp.2464-2479
• /
• 2014

Multi-view video coding is an international encoding standard that attains good performance by fully utilizing temporal and inter-view correlations. However, it suffers from high computational complexity. This paper presents a fast encoder design to reduce the level of complexity. First, when the temporal correlation of a group of pictures is sufficiently strong, macroblock-based inter-view prediction is not employed for the non-anchor pictures of B-views. Second, when the disparity between two adjacent views is above some threshold, frame-based inter-view prediction is disabled. Third, inter-view prediction is not performed on boundary macroblocks in the auxiliary views, because the references for these blocks may not exist in neighboring views. Fourth, finer partitions of inter-view prediction are cancelled for macroblocks in static image areas. Finally, when estimating the disparity of a macroblock, the search range is adjusted according to the mode size distribution of the neighboring view. Compared with reference software, these techniques produce an average time reduction of 83.65%, while the bit-rate increase and peak signal-to-noise ratio loss are less than 0.54% and 0.05dB, respectively.

• 방송공학회논문지
• /
• 제12권6호
• /
• pp.624-629
• /
• 2007

While single view video coding uses the temporal prediction scheme, multi-view video coding (MVC) applies both temporal and inter-view prediction schemes. Thus, the key problem of MVC is how to reduce the inter-view redundancy efficiently, because various existing video coding schemes have already provided solutions to reduce the temporal correlation. In this paper, we propose a global disparity compensation scheme which increases the inter-view correlation and a new inter-view prediction structure based on the global disparity compensation. By experiment, we demonstrate that the proposed global disparity compensation scheme is less sensitive to change of the search range. In addition, the new Inter-view prediction structure achieved about $0.1{\sim}0.3dB$ quality improvement compared to the reference software.

• 한국통신학회논문지
• /
• 제36권12C호
• /
• pp.721-726
• /
• 2011

차세대 비디오 압축 표준으로 현재 개발 중인 HEVC(high efficiency video coding)는 기존 비디오 압축 표준인 H.264/AVC에 비해 40% 정도의 성능 향상을 보인다. 기존의 양안식 영상을 부호화하기 위한 코텍은 H.264/AVC 기반으로 제작되었기 때문에, HEVC를 이용하여 양안식 영상을 부호화 하면 성능 향상을 기대할 수 있다. 또한 양안식 영상은 기존의 각 화면의 시간 상관도{temporal correlation)에 더해서 화면간의 상관도(interview correlation)가 존재하기 때문에, 좌우 영상을 함께 부호화하는 것이 성능 개선에 유리하다. 본 논문에서는 HEVC의 참조 소프트웨어인 HM 3.4를 이용하여 화면간의 상관도를 고려한 양안식 영상 부호화 방법을 제안한다. 화면간의 예측을 이용한 제안한 코텍을 이용해 부호화한 오른쪽 영상과 기존 HEVC로의 오른쪽 화면을 부호화했을 때의 성능을 비교한 결과 BDBR이 약 36.24% 감소했으며 BDPSNR은 1.19 dB가 증가했다.

• 한국정보디스플레이학회:학술대회논문집
• /
• 한국정보디스플레이학회 2007년도 7th International Meeting on Information Display 제7권2호
• /
• pp.1508-1511
• /
• 2007

This paper introduces a new texture prediction for MVC( Multi-view Video Coding) which is currently being developed as an extension of the ITU-T Recommendation H.264 | ISO/IEC International Standard ISO/IEC 14496-10 AVC (Advanced Video Coding) [1]. The MVC's prcimary target is 3D video compression for 3D display system, thus, key technology compared to 2D video compression is reducing inter-view correlation. It is noticed, however, that the current JMVM [2] does not effectively eliminate inter-view correlation so that there is still a room to improve coding efficiency. The proposed method utilizes similarity of interview residual signal and can provide an additional coding gain. It is claimed that up to 0.2dB PSNR gain with 1.4% bit-rate saving is obtained for three multi-view test sequences.

• 한국통신학회논문지
• /
• 제32권6C호
• /
• pp.579-584
• /
• 2007

최근 다시점 비디오를 효율적으로 부호화하기 위해 다양한 시공간 예측 구조들이 제안되었다. 이 논문에서는 다시점 비디오 부호화 예측 구조에서 각 GOP의 첫 화면들에 삽입되는 B$_{ANC}$ 화면을 위해 양자화 계수를 결정하는 방법을 제안한다. 각 시점의 영상 화질을 균일하게 유지하고 전체적인 부호화 효율을 높이기 위해 B$_{ANC}$ 화면의 양자화 계수를 적응적으로 조절하며, 인접한 두 참조화면의 비트-왜곡 비용값을 사용하여 상관도를 추정하고 이를 이용하여 B$_{ANC}$ 화면의 양자화 계수를 결정한다. 이 논문에서 제안한 방법을 다시점 비디오 참조 예측 구조에 적용하여 부호화한 결과, 0.09$\sim$0.16 dB 정도의 PSNR 개선을 얻었다.

• 한국멀티미디어학회논문지
• /
• 제15권7호
• /
• pp.859-869
• /
• 2012

다시점 영상 부호화는 시점 간에 변이 정보를 활용하여 부호화 효율을 향상시키기 위해 개발되었다. 하지만 다시점 영상 부호화는 변이 예측 때문에 높은 계산복잡도를 가진다. 본 논문은 다시점 영상 부호화의 계산 시간을 감소시키기 위한 비기준 화면의 빠른 모드결정 기법을 제안한다. 제안하는 기법은 2단계 과정을 수행한다. 계층적인 B 화면 구조의 기준 화면은 비기준 화면의 예측모드 선택과 높은 상관성을 가진다. 따라서 첫 번째 단계에서, 비기준 화면의 예측모드는 기준 화면의 매크로블록 영역을 이용함으로써 선택된다. 두 번째 단계에서, 우리는 7개 블록 크기의 Inter 예측모드의 참조 방향에서 높은 상관성을 이용하여 Inter 예측모드의 참조방향을 선택한다. 제안하는 기법으로 실험한 결과는 부호화 효율에 큰 손실 없이 부호화 시간에서 평균 약 44% 감소시킬 수 있었다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제12권4호
• /
• pp.1730-1747
• /
• 2018

Multi-view video plus depth (MVD) is a mainstream format of 3D scene representation in free viewpoint video systems. The advanced 3D extension of the high efficiency video coding (3D-HEVC) standard introduces new prediction tools to improve the coding performance of depth video. However, the depth video in 3D-HEVC is time consuming. To reduce the complexity of the depth video inter coding, we propose a fast coding unit (CU) size and mode decision algorithm. First, an off-line trained Bayesian model is built which the feature vector contains the depth levels of the corresponding spatial, temporal, and inter-component (texture-depth) neighboring largest CUs (LCUs). Then, the model is used to predict the depth level of the current LCU, and terminate the CU recursive splitting process. Finally, the CU mode search process is early terminated by making use of the mode correlation of spatial, inter-component (texture-depth), and inter-view neighboring CUs. Compared to the 3D-HEVC reference software HTM-10.0, the proposed algorithm reduces the encoding time of depth video and the total encoding time by 65.03% and 41.04% on average, respectively, with negligible quality degradation of the synthesized virtual view.

• 방송공학회논문지
• /
• 제15권6호
• /
• pp.768-782
• /
• 2010

다시점 비디오의 조명 불일치 현상은 서로 다른 카메라의 위치와 카메라간의 불완전한 보정(calibration)으로 인하여 발생한다. 이러한 인접 시점간의 색상 불일치는 획득된 영상을 참조 영상으로 이용하여 부호화하는 다시점 비디오 부호화(multi-view video coding)의 성능을 저하시키는 요인이 된다. 이러한 조명 불일치를 보상하기 위한 방법 중에서 히스토그램 매칭(histogram matching)을 이용한 전처리 기법이 있다. 히스토그램 매칭을 통해 모든 시점 영상의 히스토그램은 정해진 참조 시점 영상의 히스토그램으로 매칭되어지고 다시점 비디오 부호화의 성능을 개선할 수 있다. 그러나 다시점 비디오 시퀀스는 카메라와 등장인물의 이동으로 인하여 시점 간 영상뿐만 아니라, 한 시점 내에 시간의 흐름에 따른 영상간의 히스토그램 분포가 서로 다를 수 있다. 참조 시점 시퀀스에 속한 모든 영상을 참조하는 기존의 히스토그램 매칭 기법은 시공간적으로 상관성이 높지 않은 영상의 조명을 효과적으로 보상하기에 적합하지 않다. 본 논문에서는 시점 영상 간의 색상 분포의 차이를 보이는 다시점 비디오를 보상하여 공간적 상관성을 높이기 위해 두 조건식이 반영된 영상분리 기법을 적용한 레이어별 히스토그램 매칭 기법과 시간의 흐름에 따라 색상 분포의 차이를 보이는 다시점 비디오를 비디오 부호화의 단위인 화면 그룹(group of pictures : GOP)별로 보상하여 시간적 상관성을 높이는 개별적인 히스토그램 매칭 기법을 제안한다. 실험을 통해 제안하는 조명 보상 기법이 기존의 조명 보상 기법보다 향상된 다시점 비디오 부호화 효율을 보이는 것을 확인하였다.

• 방송공학회논문지
• /
• 제13권3호
• /
• pp.328-338
• /
• 2008

H.264/AVC기반의 다시점 영상 부호화 기술은 시점간 상관성을 이용한 새로운 예측 방법을 이용하여 여러 대의 카메라로부터 촬영된 영상을 효율적으로 부호화하는 기술이다. 그러나 다시점 부호화 기술은 시점의 증가와 시점간 예측의 사용으로 인해 부호화 시간이 크게 증가한다. 본 논문은 부호화 시간을 줄이기 위해 다시점 영상에서 시점간에 대응하는 마크로블록 (Macroblock) 기반 영역 분할 정보와 시점간의 전역 변이 벡터를 이용한 고속 모드 결정 방법을 제안한다. 제안하는 방법은 다시점 영상 부호화 표준의 참조 소프트웨어인 joint multi-view video model (JMVM) 4.0에 비해 약 0.04dB의 화질 열화를 보이지만 전체 부호화 시간을 평균적으로 40% 단축할 수 있었다.

• 한국콘텐츠학회논문지
• /
• 제14권4호
• /
• pp.9-18
• /
• 2014

최근에 무선 비디오 감사, 무선 비디오 센서 네트워크 그리고 무선 모바일 비디오와 같은 다시점 비디오 서비스에 대한 연구가 활발히 진행되고 있다. 다시점 비디오 신호처리에서 다수 개의 다른 카메라에서 획득되는 영상 사이에 존재하는 높은 상관성을 이용하는 것은 매우 핵심적인 기술이다. 본 논문에서는 카메라들 사이에 상호작용을 요구하지 않고, 다시점 분산 비디오 부호화에 효과적으로 사용할 수 있는 적응적인 다시점 보간 기법을 제안한다. 제안한 방법은 비선형적인 블록 예측, 시차 보상 시점 예측 그리고 비신뢰 블록에 대한 채우기 기법 등으로 구성된다. 모의실험을 통하여 제안한 방식은 기존의 방식에 비해 우수한 성능을 보인다.