• 방송공학회논문지
• /
• 제12권2호
• /
• pp.128-136
• /
• 2007

사용자에게 보다 실감나는 입체감을 제공하기 위해 개발되고 있는 다시점 비디오는 두 대 이상의 카메라를 이용하여 촬영한 영상들을 기하학적으로 교정하고 공간적으로 처리하여 여러 방향의 다양한 시점 영상을 사용자에게 제공하는 3차원 영상처리 기술의 새로운 분야이다. 다시점 비디오는 사용자에게 시청 시점을 자유롭게 선택할 수 있는 기회를 주고 넓은 화면을 통한 3차원 입체감을 느낄 수 있는 장점을 가진다. 그러나 다시점 비디오는 시점 수가 증가하는 만큼 데이터 양도 증가하므로 효율적인 데이터 처리 방법이 요구된다. 최근 인접한 시점의 영상을 이용하여 중간시점의 영상을 합성하고 이를 부호화에 적용하는 방법이 연구되고 있다. 다시점 비디오 부호화 효율을 높이기 위해 제안되었던 기존의 영상보간법은 최대변위 설정과 고정된 블록을 이용한 블록정합 방법을 이용한다. 이때, 변위 종류가 다양한 영상이거나 변위차가 큰 영역에 대해서 변위 오류가 많이 발생한다. 이 논문에서는 이러한 문제점을 보완하고 개선된 화질의 중간시점의 영상을 얻기 위한 방법과 이 영상을 이용하여 부호화에 적용하는 방법을 제안한다. 제안한 영상보간법은 변위의 검색 범위를 초기에 설정하지 않고 블록 단위부터 화소 단위까지 변위를 측정하여 중간영상을 합성한다. 또한 이렇게 합성한 영상을 부호화 과정에서 참조 영상으로 추가하여 부호화한다. 이 논문에서 제안한 방법을 이용한 결과, 기존의 영상 보간법보다 약 $1{\sim}4dB$ 정도 개선된 화질의 중간시점 영상을 얻었고, 이 영상들을 이용하여 제안한 부호화 방법으로 부호화한 결과 참조 모델에 비해 최대 0.5 dB의 부호화 효율이 개선됨을 확인했다.

• 방송공학회논문지
• /
• 제12권6호
• /
• pp.624-629
• /
• 2007

While single view video coding uses the temporal prediction scheme, multi-view video coding (MVC) applies both temporal and inter-view prediction schemes. Thus, the key problem of MVC is how to reduce the inter-view redundancy efficiently, because various existing video coding schemes have already provided solutions to reduce the temporal correlation. In this paper, we propose a global disparity compensation scheme which increases the inter-view correlation and a new inter-view prediction structure based on the global disparity compensation. By experiment, we demonstrate that the proposed global disparity compensation scheme is less sensitive to change of the search range. In addition, the new Inter-view prediction structure achieved about $0.1{\sim}0.3dB$ quality improvement compared to the reference software.

• 방송공학회논문지
• /
• 제12권6호
• /
• pp.565-573
• /
• 2007

본 논문에서는 JVT에서 표준화가 진행 중인 다시점 비디오 부호화의 부호화 효율을 높이기 위해 다시점 비디오의 예측구조의 특성을 고려하여 움직임벡터 예측값을 선택하는 방법을 제안한다. 다시점 비디오 부호화에서 시간 방향과 뷰 방향의 예측을 수행하면서 서로 다른 성향의 움직임벡터가 발생된다. 또한 주변 블록에서 시간 방향과 뷰 방향 참조의 움직임벡터가 혼재하는 상황에서 동일한 성향의 움직임벡터가 선택되지 않는 경우가 발생되어 움직임벡터의 예측 효율이 저하된다. 이에 다시점 비디오 부호화의 예측구조에 따라 움직임벡터 예측값을 선택할 수 있는 방법을 제안한다. 제안하는 움직임벡터 예측값 선택 방법을 통하여 다시점 비디오 부호화의 압축 효율을 높일 수 있었으며, JMVM 3.6에서 움직임벡터 예측값을 선택하는 방법을 사용하는 다시점 비디오 부호화와 비교하여 PSNR(Peak Signal-to-Noise Ratio)이 약$0.03{\sim}0.1$ dB 정도 향상되었다.

• 한국통신학회논문지
• /
• 제34권10B호
• /
• pp.1093-1103
• /
• 2009

본 논문에서는 효율적인 보조 정보 생성을 통한 새로운 분산 다시점 비디오 코딩 기법을 제안한다. 분산 비디오 코딩은 원영상과 디코더에서 생성한 보조 정보 간의 오차를 채널 코딩 기법으로 정정한다. 따라서 보조 정보를 정확히 만들수록 분산 비디오 코딩의 성능은 좋아지게 된다. 제안한 기법에서는 깊이지도를 기반으로 하는 다시점 비디오 코딩에 분산 비디오 코딩 기법을 적용한다. 또한 깊이지도를 이용한 3차원 워핑을 통해 인접한 시점의 영상으로부터 보조 정보를 생성하고, 3차원 워핑과 시간 축 상의 인접한 영상을 이용하는 MCTI(motion compensated temporal interpolation)를 효율적으로 혼합하여 사용한다. 실험 결과 제안한 기법으로 생성한 보조 정보는 MCTI와 3차원 위핑을 따로 사용한 방법보다 평균 0.97dB의 PSNR이 향상되었음을 알 수 있었다. 또한 R-D 곡선 상에서 동일 PSNR 대비 평균 8.01%의 비트율이 감소되었다.

• Journal of Electrical Engineering and Technology
• /
• 제9권5호
• /
• pp.1762-1773
• /
• 2014

In this paper, a distributed image coding scheme for multi-view video through an efficient generation of side information is proposed. A distributed video coding technique corrects the errors in the side information, which is generated with the original image, by using the channel coding technique at the decoder. Therefore, the more correct the generated side information is, the better the performance of distributed video coding. The proposed technique is to apply the distributed video coding schemes to the image coding for multi-view video. It generates side information by selectively and efficiently using both 3-dimensional warping based on the depth map with spatially adjacent frames and motion-compensated temporal interpolation with temporally adjacent frames. In this scheme the difference between the adjacent frames, the sizes of the motion vectors for the adjacent blocks, and the edge information are used as the selection criteria. From the experiments, it was observed that the quality of the side information generated by the proposed technique was improved by the average peak signal-to-noise ratio of 0.97dB than the one by motion-compensated temporal interpolation or 3-dimensional warping. The result from analyzing the rate-distortion curves revealed that the proposed scheme could reduce the bit-rate by 8.01% on average at the same peak signal-to-noise ratio value, compared to previous work.

• 방송공학회논문지
• /
• 제11권4호
• /
• pp.407-419
• /
• 2006

본 논문은 다시점 동영상 부호화를 위한 적응적인 조명변화 보상 방법을 제안한다. 다시점 비디오에서 카메라의 위치에 따라 조명의 차이가 발생할 수 있으며, 여러 대의 카메라가 물리적으로 완전히 동일한 특성을 가지도록 조정되지 못하여 각 카메라에서 촬영된 영상 간에 미세한 차이가 발생할 수 있다. 이러한 특성은 인접한 위치의 카메라로부터 획득된 영상을 참조하여 부호화하는 다시점 비디오 부호화의 성능을 저하시키는 요인이 된다. 제안하는 조명변화 보상 방법을 통하여 다시점 비디오 부호화의 압축 효율을 높일 수 있었으며, 조명변화 보상을 수행하지 않는 다시점 비디오 부호화와 비교하여 PSNR(Peak Signal-to-Noise Ratio)이 약 $0.1{\sim}0.6dB$ 정도 향상되었다.

• 한국멀티미디어학회논문지
• /
• 제15권9호
• /
• pp.1093-1101
• /
• 2012

다시점 비디오는 3차원 정보를 표현하기 위한 영상으로 하나의 3차원 장면을 여러 시점에서 다수의 카메라로 촬영한 동영상이다. 영상들 사이에 존재하는 시간적 상관성과 화면간 상관성을 이용하는 다시점 비디오 부호화는 카메라의 수에 비례하여 데이터의 양이 늘어나기 때문에 계산량을 줄일 수 있는 다시점 비디오 부호화 기술이 필요하다. 본 논문에서는 다시점 비디오의 부호화 성능을 향상시키기 위한 효율적인 예측구조를 제안한다. 제안한 예측 구조는 다시점 비디오의 부호화 효율을 높이기 위하여 부호화되는 현재 화면과 현재 화면이 참조하는 참조 화면들과의 평균 거리, B계층 최대 인덱스 그리고 각 Bi 계층의 화면 수를 고려하였다. 제안한 예측 구조의 성능을 참조 예측 구조의 성능과 비교하였을 때 영상 화질 면에 있어서 제안한 예측 구조가 Fraunhofer-HHI의 계층적 B화면 구조보다 약 0.07~0.13 (dB) 성능 향상을 보였다. 발생되는 평균 초당 비트량에 있어서 제안한 예측 구조가 Fraunhofer-HHI의 계층적 B화면 구조보다 최대 6.5(Kbps) 감소하였다.

• 방송공학회논문지
• /
• 제17권6호
• /
• pp.976-989
• /
• 2012

본 논문에서는 SVC와 MVC의 부호화 구조를 결합하여 구현된 스케일러블 다시점 비디오 부호화를 위한 효율적인 움직임 추정 기법과 DPB 설계 메카니즘에 대해 제안한다. 제안된 움직임 추정 기법에서는 부호화 과정에서 필요한 예측 부호화의 성능 향상을 위해서 서로 다른 시점 (view)의 픽처 정보를 참조픽처의 후보로서 활용한다. 제안된 움직임 예측 구조에 의해서 압축된 비디오 데이터의 크기를 감소시켜 압축 효율을 증대시킬 수 있다. 또한, 스케일러블 다시점 비디오 부호화를 수행할 때 SVC와 MVC의 DPB (Decoded Picture Buffer)를 통합한 통합형 DPB 설계 메카니즘에 대해 제안한다. 다양한 실험을 통해서 제안된 예측 구조를 적용함으로써 스케일러블 다시점 비디오 부호화에서의 압축 효율의 향상을 얻어낼 수 있음을 확인하였다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2006년도 하계종합학술대회
• /
• pp.435-436
• /
• 2006

When working with multi-view images, imbalances between multi-view images occur a serious problem in multi-view video coding because they decrease the performance of disparity estimation. To overcome this problem, we propose inter-view balanced disparity estimation for multi-view video coding. In general, the imbalance problem can be solved by a preprocessing step that transforms reference images linearly. However, there are some problems in pre-processing such as the transformation of the original images. In order to obtain a balancing effect among the views, we perform block-based disparity estimation, which includes several balancing parameters.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제8권7호
• /
• pp.2464-2479
• /
• 2014

Multi-view video coding is an international encoding standard that attains good performance by fully utilizing temporal and inter-view correlations. However, it suffers from high computational complexity. This paper presents a fast encoder design to reduce the level of complexity. First, when the temporal correlation of a group of pictures is sufficiently strong, macroblock-based inter-view prediction is not employed for the non-anchor pictures of B-views. Second, when the disparity between two adjacent views is above some threshold, frame-based inter-view prediction is disabled. Third, inter-view prediction is not performed on boundary macroblocks in the auxiliary views, because the references for these blocks may not exist in neighboring views. Fourth, finer partitions of inter-view prediction are cancelled for macroblocks in static image areas. Finally, when estimating the disparity of a macroblock, the search range is adjusted according to the mode size distribution of the neighboring view. Compared with reference software, these techniques produce an average time reduction of 83.65%, while the bit-rate increase and peak signal-to-noise ratio loss are less than 0.54% and 0.05dB, respectively.