• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.481-486
• /
• 2007

본 논문에서는 깊이 영상을 개선하는 방법으로 깊이 영상 획득 시 손실된 영역을 복원하는 기법을 제안한다. 대상 객체의 동적인 3차원 정보는 적외선 깊이 센서가 장착된 깊이 비디오 카메라를 통하여 실시간으로 획득한다. 이때, 깊이 비디오뿐만 아니라 각 프레임마다 컬러영상이 동시에 획득된다. 그러나 대상 객체의 일부 또는 전체가 반짝이는 검은 재질로 되어있을 경우, 획득된 깊이 영상에 손실이 발생한다. 특히 방송용 콘텐츠로서 연기자의 3차원 정보를 획득할 때 머리카락 영역이 손실되는 심각한 문제가 발생한다. 이를 해결하기 위해 먼저 컬러 영상을 이용하여 손실된 영역의 위치 정보를 알아낸다. 손실된 영역 내 경계부분의 깊이 정보를 복원한 후 2차 베지어 커브로 보간하여 내부의 깊이 정보를 복원한다. 개선된 깊이 영상을 기반으로 일련의 모델링 과정을 수행하면 보다 자연스러운 3차원 모델을 생성할 수 있다. 생성된 3차원 모델은 실감방송용 콘텐츠로 사용될 수 있으며, 시청자에게 시각상호작용과 촉각상호작용 등 다차원 감각의 상호작용을 제공할 수 있다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2015.07a
• /
• pp.435-438
• /
• 2015

본 논문에서는 영상 보간의 결과 측면에서 깊이를 보정하는 방법 중 하나인 유도 영상 필터링 기법을 비교한다. 실험을 위해 초기 깊이 영상을 두 종류의 유도 영상 필터링 기법으로 개선을 하였다. 초기 깊이 영상과, 각각의 필터링 기법에 의해 개선된 변이 영상을 이용하여 영상 보간을 하였고, 그 결과를 비교하였다. 결과로서 한 시점 영상의 텍스처 정보만을 이용하여 변이를 개선하는 유도 영상 필터링 기법으로 변이 영상을 개선하게 되는 경우에 육안으로는 구분이 갈 정도로 변이가 개선이 되지만, 영상 보간의 측면에서 보았을 때는 크게 차이가 없거나 오히려 품질이 저하되는 경우를 확인할 수 있었다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.695-696
• /
• 2020

CNN(CNN: Convolutional Neural Network)은 컴퓨터 비전의 많은 분야에서 뛰어난 성능을 보이고 있으며, 단일 영상으로부터 깊이(depth) 추정에서도 기존 기법보다 향상된 성능을 보이고 있다. 그러나, 단일 영상으로부터 신경망이 얻을 수 있는 정보는 제한적이기 때문에 스테레오 카메라로부터 얻은 좌/우 영상으로부터의 깊이 추정보다 성능 향상에 한계가 있다. 따라서 본 논문에서는 에지 맵(edge map)을 이용한 CNN 기반의 단일 영상에서의 깊이 추정의 개선 기법을 제안한다. 제안 방법은 먼저 단일 영상에 대한 전처리를 통해서 에지 맵과 양방향 필터링된(bilateral filtered) 영상을 생성하고, 이를 CNN 입력으로 하여 기존 단일 영상 깊이 추정 기법 대비 개선된 성능을 보임을 확인하였다.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.17 no.12
• /
• pp.2927-2936
• /
• 2013

In this paper, we propose a noise reduction and hole removal algorithm in order to improve the quality of depth images when they are used for creating 3D contents. In the proposed algorithm, the depth image and the corresponding color image are both used. First, an intensity image is generated by converting the RGB color space into the HSI color space. By estimating the difference of distance and depth between reference and neighbor pixels from the depth image and difference of intensity values from the color image, they are used to remove noise in the proposed algorithm. Then, the proposed hole filling method fills the detected holes with the difference of euclidean distance and intensity values between reference and neighbor pixels from the color image. Finally, we apply a parallel structure of GPGPU to the proposed algorithm to speed-up its processing time for real-time applications. The experimental results show that the proposed algorithm performs better than other conventional algorithms. Especially, the proposed algorithm is more effective in reducing edge blurring effect and removing noise and holes.

• Journal of Korea Multimedia Society
• /
• v.15 no.4
• /
• pp.492-500
• /
• 2012

In this paper, improved contour region coding method is proposed to accomplish better depth map coding performance. First of all, in order to use correlation between color video and depth map, a structure in SVC is applied to 3DVC. This can reduce bit-rate of the depth map while supporting the video to be transferred via various collection of network. As the depth map is mainly used to synthesize videos from different views, corrupted contour region can damage the overall quality of video. We hereby adapt a new differential quantization method when separating the contour region. The experimental results show that the proposed method can improve video quality by 0.06~0.5dB which translate the bit rate saving by 0.1~1.15%, when compared to the reference software.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.223-225
• /
• 2021

실감 미디어에 대한 수요가 증가함에 따라 고품질의 실감 미디어에 대한 중요성이 증가하고 있다. 이러한 실감미디어를 제작하기 위해 사용되는 일반적인 기법 중 하나인 Multi View Stereo 는 깊이 영상 추정 및 해당 깊이 영상을 이용하여 3 차원에 point cloud 를 생성하는 fusion 과정을 거치게 된다. 본 논문에서는 다중 시점 영상의 깊이 영상을 정합하는 fusion 과정을 개선하기 위한 방법을 제안한다. 제안하는 방법에서는 깊이 영상, 색상정보를 이용하여 기준 시점의 depth map 을 이용한 fusion 과정을 거친다. 실험을 통하여 제안한 알고리즘을 이용한 결과가 기존보다 개선됨을 보인다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2012.06c
• /
• pp.430-432
• /
• 2012

본 논문은 깊이영상의 화면 내 예측 부호화 과정에서 속도를 개선하는 기법을 제안한다. 부호화 과정 중 최적 모드 결정에 중요한 역할을 하는 율-왜곡 비용은 부호화 모드와 밀접한 관련이 있다. 영상을 분석한 결과, 컬러 영상의 최적 모드의 블록 크기에 따라 울-왜곡 비용이 차이나는 특징이 있다. 따라서 깊이 영상의 화면 내 예측 시 먼저 부호화 된 컬러 영상의 율-왜곡 비용에 따라 $16{\times}16$ 블록 크기를 결정한다. 제안한 기법을 참조 소프트웨어에 적용하여 실험한 결과 PSNR 차이는 거의 없었고, 부호화 시간은 평균 60% 이상의 속도를 개선하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2010.07a
• /
• pp.80-82
• /
• 2010

본 논문에서는 깊이 정보를 이용하여 영상을 색상 분포가 각각 다른 객체 영상으로 분리하고 개별적으로 히스토그램 매칭 기법을 적용하는 조명 보상 기법을 제안한다. 서로 위치가 다른 다시점 카메라의 경우, 다시점 비디오 부호화(multi-view video coding)의 성능을 저하시키는 인접 시점 영상 간 조명 불일치 현상이 발생한다. 이러한 조명 불일치를 보상하기 위한 히스토그램 매칭(histogram matching)을 이용한 전처리 기법이 제안되었다. 모든 시점의 다시점 영상 히스토그램은 정해진 참조 시점 영상의 히스토그램으로 매칭되어 조명 불일치와 다시점 비디오 부호화의 성능을 개선할 수 있다. 하지만 일반적인 영상은 색상 분포와 깊이 정보가 상호 독립적인 객체들로 구성되어 있다. 또한 다시점 비디오는 시점에 따라 획득된 영상 간에 동일 객체의 위치와 깊이가 서로 달라 정해진 참조 시점의 히스토그램으로 매칭하는 기존의 방법은 적합하지 않다. 본 논문에서는 주어진 영상 내에서 깊이 정보를 이용하여 객체를 먼저 분리하고, 객체 영상별로 히스토그램 매칭 기법을 적용하여 색상 보상을 수행하는 새로운 기법을 제안한다. 실험을 통해 제안하는 객체 단위의 조명 보상 기법이 향상된 다시점 비디오 부호화 효율을 보이는 것을 확인하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.205-207
• /
• 2020

This paper proposes a novel deep learning-based method to upsample a depth map. Most conventional methods estimate high-resolution depth map by modifying pixel value of given depth map using high-resolution color image and low-resolution depth map. However, these methods cause under- or over-shooting problems that restrict performance improvement. To overcome these problems, the proposed method iteratively performs grid warping scheme which shifts pixel values to restore blurred image for estimating high-resolution depth map. Experimental results show that the proposed method improves both quantitative and visual quality compared to the existing method.

• Journal of Broadcast Engineering
• /
• v.9 no.3
• /
• pp.185-195
• /
• 2004

This paper presents a multi-depth map fusion method for the 3D scene reconstruction. It fuses depth maps obtained from the stereo matching technique and the depth camera. Traditional stereo matching techniques that estimate disparities between two images often produce inaccurate depth map because of occlusion and homogeneous area. Depth map obtained from the depth camera is globally accurate but noisy and provide a limited depth range. In order to get better depth estimates than these two conventional techniques, we propose a depth map fusion method that fuses the multi-depth maps from stereo matching and the depth camera. We first obtain two depth maps generated from the stereo matching of 3-view images. Moreover, a depth map is obtained from the depth camera for the center-view image. After preprocessing each depth map, we select a depth value for each pixel among them. Simulation results showed a few improvements in some background legions by proposed fusion technique.