• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2019.06a
• /
• pp.231-233
• /
• 2019

본 논문에서는 다시점 영상과 스테레오 매칭을 수행하여 얻은 깊이 정보를 통해 가상시점을 합성할 때 적용되는 블렌딩 기법을 제안한다. 다시점 영상에서 스테레오 매칭으로 얻을 수 있는 깊이정보는 물체와 배경의 경계부분에서 큰 오차를 갖는다. 이러한 이유로 원본 시점들의 영상을 깊이정보를 통해 특정 가상시점으로 워핑할 때 물체의 경계 부분에 배경의 화소가 일부 포함되는 문제가 발생한다. 이 문제는 워핑된 영상들을 블렌딩하여 하나로 합성 시 영상의 품질에 영향을 주는 요인이 된다. 본 논문에서 제안하는 방법은 깊이정보와 함께 영상의 수퍼픽셀 분할에서 얻은 정보를 이용하여 블렌딩 대상이 되는 영상에 화소 단위로 가중치를 부여하여 해당 문제의 영향을 완화한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.695-696
• /
• 2020

CNN(CNN: Convolutional Neural Network)은 컴퓨터 비전의 많은 분야에서 뛰어난 성능을 보이고 있으며, 단일 영상으로부터 깊이(depth) 추정에서도 기존 기법보다 향상된 성능을 보이고 있다. 그러나, 단일 영상으로부터 신경망이 얻을 수 있는 정보는 제한적이기 때문에 스테레오 카메라로부터 얻은 좌/우 영상으로부터의 깊이 추정보다 성능 향상에 한계가 있다. 따라서 본 논문에서는 에지 맵(edge map)을 이용한 CNN 기반의 단일 영상에서의 깊이 추정의 개선 기법을 제안한다. 제안 방법은 먼저 단일 영상에 대한 전처리를 통해서 에지 맵과 양방향 필터링된(bilateral filtered) 영상을 생성하고, 이를 CNN 입력으로 하여 기존 단일 영상 깊이 추정 기법 대비 개선된 성능을 보임을 확인하였다.

• Journal of Korea Society of Industrial Information Systems
• /
• v.24 no.5
• /
• pp.1-8
• /
• 2019

In this paper, we propose a correcting method of depth pixels which are failed to measure since temporary camera error. A block is modeled to plane and sphere surfaces through measured depth pixels in the block. Depth values in the block are estimated through each modeled surface and a error for the modeled surface is calculated by comparing the original and estimated pixels, then the surface which has the least error is selected. The pixels which are failed to measure are corrected by estimating depth values through selected surface. Simulation results show that the proposed method increases the correction accuracy by an average of 20% compared with the correction method of $5{\times}5$ median method.

• The KIPS Transactions:PartB
• /
• v.8B no.5
• /
• pp.549-556
• /
• 2001

The general problems of recovering 3D for 2D imagery require the depth information for each picture element form focus. The manual creation of those 3D models is consuming time and cost expensive. The goal in this paper is to simplify the depth estimation algorithm that extracts the depth information of every region from monocular image sequence with camera translation to implement 3D video in realtime. The paper is based on the property that the motion of every point within image which taken from camera translation depends on the depth information. Full-search motion estimation based on block matching algorithm is exploited at first step and ten, motion vectors are compensated for the effect by camera rotation and zooming. We have introduced the algorithm that estimates motion of object by analysis of monocular motion picture and also calculates the averages of frame depth and relative depth of region to the average depth. Simulation results show that the depth of region belongs to a near object or a distant object is in accord with relative depth that human visual system recognizes.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.11a
• /
• pp.260-263
• /
• 2011

이 논문에서 제안한 방법은 간단하게 중간 시점 깊이 영상을 생성하는 방법이다. 왼쪽 시점과 오른쪽 시점 두 가지 깊이 영상을 가지고 깊이 값을 계산 한 후 깊이 값과 시점의 이동에 따라 물체의 위치가 변화하는 상관관계를 간단한 식으로 계산해 중간 시점을 만든다. 중간 시점을 생성 한 후, 픽셀 이동에 따른 노이즈 감소 방법을 사용하는 기존 알고리즘 (1)과 이를 수정한 노이즈 감소 방법과 Occlusion영역을 채운 후, 중간 시점을 생성하는 알고리즘 (2)를 사용한다. 우리가 생성한 중간 시점의 PSNR은 알고리즘 (1)는 30.38dB이고, 알고리즘 (2)는 30.52dB이다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2006.06b
• /
• pp.367-369
• /
• 2006

사람은 일반적으로 깊이를 지각하는데 두 눈으로 들어오는 영상의 시차(binocular disparity)를 이용하며 6-15m 정도의 범위 내에서는 매우 뛰어난 깊이 판별 능력을 보인다. 그러나 사람은 하나의 눈만으로도 깊이를 지각하는데 별 어려움을 느끼지 못한다. 이것은 공간의 깊이 지각 단서로 양안단서안이 아니라 다양한 단안단서(monocular Cue)들이 함께 사용되기 때문이다. 본 논문에서는 사람이 공간 깊이정보 파악에 사용하는 것으로 알려진 여러 단안 단서들 중 영상의 채도(saturation) 정보와 디포커스(defocus) 정보, 기하학적 깊이(geometric depth) 정보에 기반을 둔 단안 영상에서의 상대적 깊이지도의 생성방법을 제안한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2009.11a
• /
• pp.119-122
• /
• 2009

멀티미디어 처리 분야의 급속한 발전으로 인해 3차원 TV (3DTV)는 차세대 방송 시스템 시장에서 가장 주목을 받는 제품이 되었다. 3DTV는 사용자가 원하는 시점을 자유롭게 선택할 수 있고, 입체감을 제공하여 사용자가 마치 그 곳에 있는 듯한 효과를 줄 수 있다. 지금까지 입체 영상은 스테레오 영상을 기반으로 하나의 시점에 대한 입체 영상을 제공했지만 최근에는 다시점 영상을 이용하여 다양한 위치에서의 입체 영상을 제공하는 기술이 연구되고 있다. 다시점 영상은 사용자에게 임의 시점의 영상에 대한 시청을 가능케 하여 입체감 있는 화면을 제공할 수 있다. 입체감 있는 영상을 만들기 위해서는 다시점 영상의 시점 간 가상 시점을 생성할 수 있도록 하고 깊이 정보를 포함하고 있는 깊이 영상 (Depth Image)을 획득하여야 한다. 획득된 깊이 영상 데이터와 다시점 비디오 데이터를 동시에 전송하는 다시점 비디오 시스템이 상용화되기 위해서는 방대한 양의 데이터를 효율적으로 압축하는 다시점 비디오 부호화 기술 개발이 필수적이다. 본 논문에서는 기존의 컬러 영상의 효율적인 압축 방법을 제안하던 다시점 비디오 부호화 기술에 국한되지 않고 3차원 영상 화질을 객관적으로 높일 수 있도록 깊이 영상의 효율적 압축 기법에 대한 새로운 방법을 제안한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2012.07a
• /
• pp.275-278
• /
• 2012

본 논문에서 2D-3D 자동 영상 변환을 위하여 2D 상으로부터 깊이 지도(depth map)을 생성하는 방법을 제안한다. 제안하는 방법은 보다 정확한 깊이 지도 생성을 위해 영상의 전경 깊이 지도(foreground depth map)와 배경 깊이 지도(background depth map)를 각각 생성 한 후 결합함으로써 보다 정확한 깊이 지도를 생성한다. 먼저, 전경 깊이 지도를 생성하기 위해서 라플라시안 피라미드(laplacian pyramid)를 이용하여 포커스/디포커스 깊이 지도(focus/defocus depth map)를 생성한다. 그리고 블록정합(block matching)을 통해 획득한 움직임 시차(motion parallax)를 이용하여 움직임 시차 깊이 지도를 생성한다. 포커스/디포커스 깊이 지도는 평탄영역(homogeneous region)에서 깊이 정보를 추출하지 못하고, 움직임 시차 깊이 지도는 움직임 시차가 발생하지 않는 영상에서 깊이 정보를 추출하지 못한다. 이들 깊이 지도를 결합함으로써 각 깊이 지도가 가지는 문제점을 해결하였다. 선형 원근감(linear perspective)와 선 추적(line tracing) 방법을 적용하여 배경깊이 지도를 생성한다. 이렇게 생성된 전경 깊이 지도와 배경 깊이 지도를 결합하여 보다 정확한 깊이 지도를 생성한다. 실험 결과, 제안하는 방법은 기존의 방법들에 비해 더 정확한 깊이 지도를 생성하는 것을 확인할 수 있었다.

• Journal of Broadcast Engineering
• /
• v.14 no.2
• /
• pp.164-177
• /
• 2009

The DIBR(depth image-based rendering) method gives the sense of depth to viewers by using one color image and corresponding depth image. At this time, the qualities of the generated left- and right-image depend on the baseline distance of the virtual cameras corresponding to the view of the generated left- and right-image. In this paper, we present a novel method for enhancing the sense of depth by adjusting baseline distance of virtual cameras. Geometric analysis shows that the sense of depth is better in accordance with the increasing disparity due to the reduction of the image distortion. However, the entailed image degradation is not considered. Experimental results show that there is maximum bound in the disparity increasement due to image degradation and the visual field. Since the image degradation is reduced for increasing that bound, we add a depth map preprocessing. Since the interactive service where the disparity and view position are controlled by viewers can also be provided, the proposed method can be applied to the mobile broadcasting system such as DMB as well as 3DTV system.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2016.11a
• /
• pp.142-143
• /
• 2016

본 논문에서는 애니메이션, 드라마, 영화 등 영상으로 제작된 콘텐츠를 OpenGL를 사용하여 3D영상으로 재구성한다. 먼저 현재영상과 이전영상의 움직임의 차이로부터 운동 축적 데이터를 사용하여 모션 깊이맵을 생성한다. 그 깊이맵을 사용하여 OpenGL에서 사용하는 텍스쳐 맵핑으로 영상을 출력하고 3D 영상을 구현하기 위해 좌영상과 우영상을 생성하여 3D 입체영상을 만든다.