• IEIE Transactions on Smart Processing and Computing
• /
• 제4권6호
• /
• pp.434-442
• /
• 2015

In this paper, we propose an integrated spatial and view scalable video codec based on high efficiency video coding (HEVC). The proposed video codec is developed based on similarity and uniqueness between the scalable extension and 3D multi-view extension of HEVC. To improve compression efficiency using the proposed scalable multi-view video codec, inter-layer and inter-view predictions are jointly employed by using high-level syntaxes that are defined to identify view and layer information. For the inter-view and inter-layer predictions, a decoded picture buffer (DPB) management algorithm is also proposed. The inter-view and inter-layer motion predictions are integrated into a consolidated prediction by harmonizing with the temporal motion prediction of HEVC. We found that the proposed scalable multi-view codec achieves bitrate reduction of 36.1%, 31.6% and 15.8% on the top of ${\times}2$, ${\times}1.5$ parallel scalable codec and parallel multi-view codec, respectively.

• 방송공학회논문지
• /
• 제9권3호
• /
• pp.214-224
• /
• 2004

본 논문에서는 차세대 실감형 3차원 영상 처리와 3차원 TV 3차원 화상회의 등과 같은 3차원 실감 미디어의 부호화에 적합한 H.264 기반의 적응적 시공간적 예측 부호화를 제안한다. 첫 번째로, 두 가지의 IPPP와 IBBP GOP(group of picture) 구조에서 기존의 동시방송(simulcast) 방식과 다르게 same-view와 inter-view 영상의 적응적 시공간적 예측 부호화를 제안한다. 두 번째로, GOP 구조가 IBBP에서 제안된 inter-view 방식의 예측 부호화시 B(hi-predictive) 화면이 MB(macroblock) 모드중 하나인 시간적 직접방식(temporal direct mode)을 수행하려고 할 때 참조 화면이 inter-view 영상을 참조하는 경우 현재의 시간적 직접 방식을 효율적으로 수행하기 위해서 2차원 inter-view 직접 방식을 제안한다. 제안된 방식은 실험결과에서 기존의 동시방송 방식과 비교되었으며 각각의 GOP 구조 모두 화질 면에서 우수한 결과를 확인할 수 있었다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제8권7호
• /
• pp.2464-2479
• /
• 2014

Multi-view video coding is an international encoding standard that attains good performance by fully utilizing temporal and inter-view correlations. However, it suffers from high computational complexity. This paper presents a fast encoder design to reduce the level of complexity. First, when the temporal correlation of a group of pictures is sufficiently strong, macroblock-based inter-view prediction is not employed for the non-anchor pictures of B-views. Second, when the disparity between two adjacent views is above some threshold, frame-based inter-view prediction is disabled. Third, inter-view prediction is not performed on boundary macroblocks in the auxiliary views, because the references for these blocks may not exist in neighboring views. Fourth, finer partitions of inter-view prediction are cancelled for macroblocks in static image areas. Finally, when estimating the disparity of a macroblock, the search range is adjusted according to the mode size distribution of the neighboring view. Compared with reference software, these techniques produce an average time reduction of 83.65%, while the bit-rate increase and peak signal-to-noise ratio loss are less than 0.54% and 0.05dB, respectively.

• 방송공학회논문지
• /
• 제12권6호
• /
• pp.624-629
• /
• 2007

While single view video coding uses the temporal prediction scheme, multi-view video coding (MVC) applies both temporal and inter-view prediction schemes. Thus, the key problem of MVC is how to reduce the inter-view redundancy efficiently, because various existing video coding schemes have already provided solutions to reduce the temporal correlation. In this paper, we propose a global disparity compensation scheme which increases the inter-view correlation and a new inter-view prediction structure based on the global disparity compensation. By experiment, we demonstrate that the proposed global disparity compensation scheme is less sensitive to change of the search range. In addition, the new Inter-view prediction structure achieved about $0.1{\sim}0.3dB$ quality improvement compared to the reference software.

• IEIE Transactions on Smart Processing and Computing
• /
• 제3권3호
• /
• pp.118-127
• /
• 2014

This paper presents an efficient motion and disparity prediction method for multi-view video coding based on the high efficient video coding (HEVC) standard. The proposed method exploits inter-view candidates for effective prediction of the motion or disparity vector to be coded. The inter-view candidates include not only the motion vectors of adjacent views, but also global disparities across views. The motion vectors coded earlier in an adjacent view were found to be helpful in predicting the current motion vector to reduce the number of bits used in the motion vector information. In addition, the proposed disparity prediction using the global disparity method was found to be effective for interview predictions. A multi-view version based on HEVC was used to evaluate the proposed algorithm, and the proposed correspondence prediction method was implemented on a multi-view platform based on HEVC. The proposed algorithm yielded a coding gain of approximately 2.9% in a high efficiency configuration random access mode.

• 한국콘텐츠학회논문지
• /
• 제8권7호
• /
• pp.1-8
• /
• 2008

본 논문에서는 다시점 비디오의 카메라 특성 불일치에 따른 시점간 비정합 문제를 해결하기 위한 보상 알고리즘을 제시한다. 시점간 비정합은 다시점 영상의 융합을 어렵게 할 뿐 아니라 압출 효율의 저하를 가져온다. 따라서 이를 보상하기 위한 전처리 기술은 다시점 부호화기의 성능 개선에 있어 필수적이다. 우선, 광-전 전달 특성의 불일치에 의한 다시점 카메라 출력신호의 비정합이 이득과 오프셋의 1차원 모형으로 근사화 될 수 있음을 보인다. 그리고 겹침 영역 검출에 기반한 새로운 시점간 비정합 파라미터 추정 및 보상 알고리즘을 제시한다. Rectify 된 다양한 스테레오 영상을 대상으로 한 모의실험을 통해 제안 알고리즘이 기존 방법에 비해 시점간 비정합을 더욱 정확하게 보상함을 보인다.

• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제14권8호
• /
• pp.788-792
• /
• 2008

본 논문은 다시점 비디오 부호화를 위한 제한적인 시점 간 예측 방법을 제안한다. 다시점 비디오에서는 카메라의 위치 및 각도에 따라 시점 간에 보이지 않는 부분이 발생한다. 이와 같은 특성은 시점 간 예측을 하는 화면에서 매크로블록(Macroblock)이 보이지 않는 부분에 대해서도 양쪽의 참조 화면을 이용함으로써 예측 시간이 증가하는 요인이 된다. 본 논문에서는 이와 같은 점을 해결하기 위해 보이지 않는 부분에 속한 매크로블록의 시점 간 예측을 제한하는 방법을 적용하였다. 실험 결과, 기존의 다시점 비디오 부호화와 비교하여 4% 정도 부호화 시간을 단축시켰고 화질의 저하는 거의 없었다.

• 한국통신학회논문지
• /
• 제32권8C호
• /
• pp.703-711
• /
• 2007

본 논문에서는 시점 계위성(view scalability)을 고려한 다시점 비디오 부호화 기법을 제안한다. 제안된 알고리즘은 시점 간 분해(inter-view decomposition)를 통하여 시점 간 중복성을 제거하여 부호화 효율을 높이고, 한 번의 압축된 비트스트림에서 서로 다른 시점을 갖는 영상을 적응적으로 복원할 수 있다. 기준 시점은 기존의 H.264/AVC와 호환가능하며, 시점 측면에서 필터링을 통해 시점 계위성을 제공하여 수신단에서 보유하고 있는 디스플레이 장치에 적응적으로 다시점 비디오 서비스를 가능케 한다. 실험결과 제안 기법은 H.264 개별부호화보다 나은 부호화효율과 시점 계위성을 제공할 수 있었다.

• 한국통신학회논문지
• /
• 제31권12C호
• /
• pp.1224-1231
• /
• 2006

본 논문에서는 H.264/AVC의 다시점 비디오 부호화의 고속화 방법을 제안한다. 다시점 비디오는 부호화해야 할 데이터의 양이 일반 비디오보다 더 많으며, 전형적인 비디오 부호화 방법에서 사용하는 인터-움직임 예측에 덧붙여 인터-부등 예측을 이용하기 때문에 예측해야할 정보가 막대하게 커진다. 실험을 통해 비디오 부호화에서 사용되는 각 예측의 효율이 인트라, 인터-부돈, 인터-움직임 그리고 인터-skip 순으로 점점 좋아진다는 점에 착안하여 각 GOP 단위로 적응적인 문턱값을 계산하여 인터-부등 및 인트라 예측을 조기 종료하는 고속화 알고리즘을 제안하였다. 실험 결과 제안하는 방법은 여러 실험 비디오에 대해서 기존의 방법에 비해 약 32%가량 개선된 연산 속도를 보였으며, 비트량 및 왜곡의 증가는 상대적으로 적었다.

• 방송공학회논문지
• /
• 제15권4호
• /
• pp.591-599
• /
• 2010

본 논문에서는 무안경식 다시점 입체 모니터에서 다시점 3차원 영상을 시청할 때 발생하는 시점 엘리어싱 (view aliasing) 및 시점간 엘리어싱(inter-perspective aliasing)을 제거하기 위해 변위 정보에 적응적인 필터를 제안한다. 일반적으로 다시점 영상의 해상도가 다시점 모니터의 해상도보다 크면 입력되는 다시점 영상의 부표본화(subsampling)로 인하여 시점 엘리어싱이 발생하게 된다. 또한 무안경식 다시점 모니터에서 관찰자가 영상을 시청할 때 시점 이동 시 불연속적인 구간으로 인해 발생하는 시점간 엘리어싱 때문에 눈의 피로를 느끼게 된다. 이러한 엘리어싱 현상은 입체 영상을 시청할 때에 변위 정보가 클수록 더욱 강하게 나타난다. 따라서 본 논문에서는 중간영상 생성 개수와 변위 정보의 강도에 따라 필터의 강도를 조절하는 저역통과 필터링 기법을 제안하였고, 제안한 필터링에 의해 엘리어싱의 영향이 줄어드는 효과를 DSCQS (double stimulus continuous quality scale method) 방식을 이용하여 실험을 통해 검증하였다.