• Journal of Korea Multimedia Society
• /
• v.16 no.5
• /
• pp.539-548
• /
• 2013

Although Motion estimation (ME) plays an important role in digital video compression, it requires a complicated search procedure to find an optimal motion vector. Multi-view video is obtained by capturing one three-dimensional scene with many cameras at different positions. The computational complexity of motion estimation for Multi-view video coding increases in proportion to the number of cameras. To reduce computational complexity and maintain the image quality, a low complexity motion estimation search method is proposed in this paper. The proposed search method consists of four-grid diamond search patten, two-gird diamond search pattern and TZ 2 Point search pattern. These search patterns exploit the characteristics of the distribution of motion vectors to place the search points. Experiment results show that the speedup improvement of the proposed method over TZ search method (JMVC) can be up to 1.8~4.5 times faster by reducing the computational complexity and the image quality degradation is about to 0.01~0.24 (dB).

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2009.11a
• /
• pp.119-122
• /
• 2009

멀티미디어 처리 분야의 급속한 발전으로 인해 3차원 TV (3DTV)는 차세대 방송 시스템 시장에서 가장 주목을 받는 제품이 되었다. 3DTV는 사용자가 원하는 시점을 자유롭게 선택할 수 있고, 입체감을 제공하여 사용자가 마치 그 곳에 있는 듯한 효과를 줄 수 있다. 지금까지 입체 영상은 스테레오 영상을 기반으로 하나의 시점에 대한 입체 영상을 제공했지만 최근에는 다시점 영상을 이용하여 다양한 위치에서의 입체 영상을 제공하는 기술이 연구되고 있다. 다시점 영상은 사용자에게 임의 시점의 영상에 대한 시청을 가능케 하여 입체감 있는 화면을 제공할 수 있다. 입체감 있는 영상을 만들기 위해서는 다시점 영상의 시점 간 가상 시점을 생성할 수 있도록 하고 깊이 정보를 포함하고 있는 깊이 영상 (Depth Image)을 획득하여야 한다. 획득된 깊이 영상 데이터와 다시점 비디오 데이터를 동시에 전송하는 다시점 비디오 시스템이 상용화되기 위해서는 방대한 양의 데이터를 효율적으로 압축하는 다시점 비디오 부호화 기술 개발이 필수적이다. 본 논문에서는 기존의 컬러 영상의 효율적인 압축 방법을 제안하던 다시점 비디오 부호화 기술에 국한되지 않고 3차원 영상 화질을 객관적으로 높일 수 있도록 깊이 영상의 효율적 압축 기법에 대한 새로운 방법을 제안한다.

• Journal of Broadcast Engineering
• /
• v.12 no.2
• /
• pp.128-136
• /
• 2007

Since the multi-view video is a set of video sequences captured by multiple array cameras for the same three-dimensional scene, it can provide multiple viewpoint images using geometrical manipulation and intermediate view generation. Although multi-view video allows us to experience more realistic feeling with a wide range of images, the amount of data to be processed increases in proportion to the number of cameras. Therefore, we need to develop efficient coding methods. One of the possible approaches to multi-view video coding is to generate an intermediate image using view interpolation method and to use the interpolated image as an additional reference frame. The previous view interpolation method for multi-view video coding employs fixed size block matching over the pre-determined disparity search range. However, if the disparity search range is not proper, disparity error may occur. In this paper, we propose an efficient view interpolation method using initial disparity estimation, variable block-based estimation, and pixel-level estimation using adjusted search ranges. In addition, we propose a multi-view video coding method based on H.264/AVC to exploit the intermediate image. Intermediate images have been improved about $1{\sim}4dB$ using the proposed method compared to the previous view interpolation method, and the coding efficiency have been improved about 0.5 dB compared to the reference model.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.71-73
• /
• 2022

다양한 미디어 서비스의 발전으로 비디오의 방대한 데이터를 효과적으로 압축할 수 있는 비디오 부호화 표준은 지속적인 발전을 하고 있다. 압축된 데이터를 다시 영상으로 복원하는 비디오 부복호화 과정에서 영상 데이터의 손실이 일어나고 그에 따른 다양한 형태의 열화가 나타나 영상의 화질을 저하한다. 이러한 열화들을 제거하여 원본 이미지에 가깝게 만들기 위해서 인루프 필터 과정을 비디오 부호화 표준에서 포함하고 있다. 이에 최근 영상처리 및 컴퓨터 비전 분야에서는 널리 사용되는 인공 신경망을 적용하여 효과적인 필터링을 하는 방법을 제시한다. 본 논문에서는 비디오 부호화 시 인루프 필터링에서 자기 참조를 통한 화질 개선 방법에 대해 연구하였다. 이를 위하여 트랜스포머 기반의 화질 개선 네트워크를 제안하고 기존 부호화 방법과 비교하였다. 인루프 필터링을 통해 화질을 향상하여 주관적 화질을 개선할 뿐만 아니라 객관적 부호화 효율을 증가시키는 방법을 개발하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2005.11a
• /
• pp.25-28
• /
• 2005

디지틸 멀티미디어 시대를 맞이하여 영상통신 기술이 급속히 발전함에 따라 보다 사실감과 몰입감을 줄 수 있는 3차원 입체 영상처리에 대한 관심이 커지고 있다. 최근 국내외 연구기관에서 다차원 멀티미디어 서비스 개발을 위한 연구가 활발히 진행되고 있으며, MPEG 표준화 그룹에서도 H.264/AVC 압축 방법을 이용한 다시점 비디오 부호화(multi-view video coding, MVC) 방법들이 제안되었다. 본 논문에서는 격자 피라미드 GOP 구조 기반의 다시점 비디오 부호화 방법에 대해 기술하였다. 이 방법은 현재 MPEG 표준화 그룹에서 권고된 ‘Anchor’ 방법에서 고려치 못한 인접 시점간의 공간적인 상관도를 효과적으로 활용하기 위해 격자 GOP구조를 제안했고, 각 시점에 대한 효율적인 부호화를 위해 계층적 피라미드 GOP 구조를 이용하였다. 또한, 공간적인 예측의 경우에 시점간의 전체 변이 (global disparity)를 고려하여 가변적인 탐색 범위를 이용하였다. 본 논문에서 제안한 방법은 현재 MPEG에서 성능 평가의 기준이 되는 ‘Anchor’ 방법에 비해 동일 비트율에서 0.5${\sim}$0.8 dB 정도의 성능 향상을 보였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2010.07a
• /
• pp.130-133
• /
• 2010

멀티미디어 신호 처리 분야의 급속한 발전으로 인해 3차원 TV(3DTV)는 차세대 방송 시스템 시장에서 가장 주목을 받는 제품이 되었다. 3DTV는 사용자에게 입체감을 제공하여 사용자가 마치 그곳에 있는 듯한 효과를 줄 수 있다. 이에 최근 다시점 컬러 영상과 그에 대응되는 깊이 영상을 이용하여 다양한 위치에서의 입체 영상을 제공하는 기술이 활발히 진행되고 있다. 본 논문에서는 주어지는 다시점 컬러 영상과 깊이 영상의 정보를 동시에 이용하여 다시점 영상 부호화의 효율을 높이는데 그 목적이 있다. 이를 위해 시점 생성 기법을 통해 다시점 영상의 부호화 시 참조하는 주변 시점의 영상들로부터 계산되는 변이 벡터 정보를 줄이는 방법을 제안한다. 실험 결과, 기존의 다시점 비디오 부호화에 비해서 약 0.5~1.5 dB정도의 화질 개선이 이뤄졌고, 평균 17.5%의 비트율 감소를 보였다.

• Journal of Broadcast Engineering
• /
• v.20 no.6
• /
• pp.921-927
• /
• 2015

In this paper, we propose a novel design scheme for the operation of Decoded Picture Buffer (DPB) including reference picture re-ordering, marking process, and reference picture list construction to perform an efficient scalable multi-view video coding. Extensive simulations show that the proposed method can provide improved compression efficiency and improved video quality measured in terms of BD-Rate and BD-PSNR for the scalable multi-view video coding.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2005.11a
• /
• pp.181-184
• /
• 2005

다양한 처리능력을 가진 단말기들은 복잡한 네트워크 환경의 호환성을 제공하기 위해서, 전송 네트워크 채널이 허용하는 범위내로 부호화된 비디오의 비트율을 적응적으로 맞춰 주어야 한다. 트랜스코더는 특정 비트율로 부호화 되어 있는 비디오를 원하는 비트율로 다시 변환하기 위해서 복호화한 후 다시 부호화의 과정을 거쳐야 하기 때문에 이에 따른 계산량의 증가와 더불어 전송시간에 문제가 발생한다. 이를 해결하기 위한 한 가지 방법으로 제안된 것이 프레임 건너뜀 기법, 즉 시간적 해상도 변환 트랜스코딩이다. 비디오를 부호화하는 과정에서 계산량을 가장 많이 차지하는 움직임 추정과정의 계산량을 줄임으로써 트랜스코딩을 수행하는데 소모되는 시간과 노력을 크게 줄이고, 건너뛰지 않고 남아있는 프레임에 더 많은 비트를 할당하여 요구되는 화질을 유지할 수 있다. 본 논문에서 움직임 벡터의 방향성을 고려하여 제안한 기법인 E-FDVS (Efficient-Forward Dominant Vector Selection)는 움직임 벡터의 방향성을 고려하여 매크로블록과 움직임 벡터의 차이를 보상하여 움직임 벡터를 재추정한다. 실험에서는 MPEG-2 영상에 대해서 제안한 방법을 적용하여 기존의 방법들에 비해서 성능이 우수함을 보인다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2004.11a
• /
• pp.233-236
• /
• 2004

다양한 처리능력을 가진 단말기들은 복잡한 네트워크, 환경의 호환성을 제공하기 위해서, 전송 네트워크 채널이 허용하는 범위내로 부호화 된 비디오의 비트 율을 적응적으로 맞춰 주어야 한다 트랜스코더는 특정 비트율로 부호화되어 있는 비디오를 원하는 비트율의 다시 변환하기 위해서 복호화 만 후 다시 부호와의 과정을 거쳐야 하기 때문에 이에 따른 계산량의 증가와 더불어 전송시간에 문제가 발생한다. 이를 해결하기 위한 한 가지 방법으로 제안된 것이 프레임 건너뜀 기법 즉 시간적 해상도 변환 트랜스코딩이다. 비디오를 부호화하는 과정에서 계산량을 가장 많이 차지하는 움직임 추정과정의 계산량을 줄임으로써 트랜스코딩을 수행하는데 소모되는 시간과 노력을 크게 줄이고, 건너뛰지 않고 남아있는 프레임에 더 많은 비트를 할당하여 요구되는 화질을 유지할 수 있다. 본 논문에서는 움직임 벡터의 방향성을 고려한 움직임 벡터 재추정 기법과 정제 기법을 제안한다 제안된 기법인 E-FDVS(Efficient-Forward Dominant Vector Selection)는 움직임 벡터의 방향성을 고려하여 매크로블록과 움직임 벡터의 차이를 이용하여 움직임 벡터를 재추정한다. 그리고 제안한 기법인 DOS(Direction Oriented Search)를 사용하여 재추정 된 움직임 벡터의 방향으로 강한 움직임 벡터 정제를 함으로써 기존의 기법에 비해 우수한 화질을 제공한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.07a
• /
• pp.296-298
• /
• 2011

본 논문에서는 향상된 중간 시점 합성 영상을 위한 깊이 영상 부호화 방식을 제안한다. 깊이 영상은 실제 영상과 다르게 날카로운 경계를 기준으로 완만한 변화를 가지는 픽셀 값을 가지는 특성이 있다. 따라서 깊이 영상의 부호화에서는 경계 영역을 효율적으로 부호화하는 것이 중요하다. 기존의 다시점 비디오 부호화기 (Multiview Video Coding)가 하나의 프레임 내에서 고정된 양자화 파라미터 값을 사용하는 것에 반해, 제안된 방식에서는 경계 영역을 효율적으로 부호화하기 위해 블록의 특성에 따라 적응적으로 양자화 파라미터를 할당한다. 2 차 미분 영상의 분포에 기반해 각 블록을 경계 블록, 평탄 블록, 일반 블록으로 구분하고 이에 따라 양자화 파라미터를 할당한다. 실험결과로서, 제안하는 방법의 성능이 다시점 비디오 부호화기 참조 소프트웨어 JMVC 8.3 에 비하여 BD-PSNR 이 평균 0.18dB 향상되고, BD-BR 은 평균 4.03% 감소되어 부호화 효율이 우수함을 확인할 수 있었다.