• Journal of Broadcast Engineering
• /
• v.20 no.2
• /
• pp.204-214
• /
• 2015

Depth map upsampling is an approach to increase the spatial resolution of depth maps obtained from a depth camera. Depth map quality is closely related to 3D perception of stereoscopic image, multi-view image and holography. In general, the performance of upsampled depth map is evaluated by PSNR (Peak Signal to Noise Ratio). On the other hand, time-consuming 3D subjective tests requiring human subjects are carried out for examining the 3D perception as well as visual fatigue for 3D contents. Therefore, if an objective metric is closely correlated with a subjective test, the latter can be replaced by the objective metric. For this, this paper proposes a best metric by investigating the relationship between diverse objective metrics and 3D subjective tests. Diverse reference and no-reference metrics are adopted to evaluate the performance of upsampled depth maps. The subjective test is performed based on DSCQS test. From the utilization and analysis of three kinds of correlations, we validated that SSIM and Edge-PSNR can replace the subjective test.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.205-207
• /
• 2020

This paper proposes a novel deep learning-based method to upsample a depth map. Most conventional methods estimate high-resolution depth map by modifying pixel value of given depth map using high-resolution color image and low-resolution depth map. However, these methods cause under- or over-shooting problems that restrict performance improvement. To overcome these problems, the proposed method iteratively performs grid warping scheme which shifts pixel values to restore blurred image for estimating high-resolution depth map. Experimental results show that the proposed method improves both quantitative and visual quality compared to the existing method.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• v.17 no.8
• /
• pp.2068-2082
• /
• 2023

With the rapid development of deep learning, Depth Map Super-Resolution (DMSR) method has achieved more advanced performances. However, when the upsampling rate is very large, it is difficult to capture the structural consistency between color features and depth features by these DMSR methods. Therefore, we propose a color-image guided DMSR method based on iterative depth feature enhancement. Considering the feature difference between high-quality color features and low-quality depth features, we propose to decompose the depth features into High-Frequency (HF) and Low-Frequency (LF) components. Due to structural homogeneity of depth HF components and HF color features, only HF color features are used to enhance the depth HF features without using the LF color features. Before the HF and LF depth feature decomposition, the LF component of the previous depth decomposition and the updated HF component are combined together. After decomposing and reorganizing recursively-updated features, we combine all the depth LF features with the final updated depth HF features to obtain the enhanced-depth features. Next, the enhanced-depth features are input into the multistage depth map fusion reconstruction block, in which the cross enhancement module is introduced into the reconstruction block to fully mine the spatial correlation of depth map by interleaving various features between different convolution groups. Experimental results can show that the two objective assessments of root mean square error and mean absolute deviation of the proposed method are superior to those of many latest DMSR methods.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.11a
• /
• pp.8-10
• /
• 2011

3D 콘텐츠를 획득하는 여러 가지 방법 중 2D-plus-Depth 구조는 다시점 영상을 얻을 수 있는 장점 때문에 최근 이에 관한 연구가 활발히 진행되고 있다. 이 구조를 통해서 고품질의 3D영상을 얻기 위해서는 무엇보다 고품질의 깊이 영상을 구현하는 것이 중요하다. 깊이 영상을 얻기 위해서 Time-of-Flight(ToF)방식의 깊이 센서가 활용되고 있는데 이 깊이 센서는 실시간으로 깊이 정보를 획득할 수 있지만 낮은 해상도와 노이즈가 발생한다는 단점이 있다. 따라서 깊이 영상의 특성을 보존하는 상환 변환을 하여야지만 고품질의 3D 콘텐츠를 제작할 수 있다. 주로 깊이 영상의 해상도를 높이기 위해서 Joint Bilateral Upsampling(JBU) 방식이 사용되고 있다. 하지만 이 방식은 4배 이상의 고 해상도 깊이 영상을 획득하는 데에는 적합하지 않다. 따라서 고해상도의 깊이 영상을 얻기 위해서 보간법을 수행하여 가이드 영상을 만든 후 Bilateral Filtering(BF)을 처리함으로써 영상의 품질을 향상시킨다. 본 논문에서는 2D-plus-Depth 구조에서 얻은 컬러 영상과 깊이 영상을 결합한 보간법을 통해서 깊이 영상의 특성을 살린 가이드 영상을 구현하는 방법을 제안한다. 실험 결과는 제안 방법이 기존 보간법보다 경계 영역 및 평활한 영역에서 깊이 영상의 특성을 잘 보존하는 것을 보여준다.

• Journal of Broadcast Engineering
• /
• v.20 no.3
• /
• pp.414-420
• /
• 2015

The quality of depth images is important in the 3D video system to represent complete 3D contents. However, the original depth image from a depth camera has a low resolution and a flickering problem which shows vibrating depth values in terms of temporal meaning. This problem causes an uncomfortable feeling when we look 3D contents. In order to solve a low resolution problem, we employ 3D warping and a depth weighted joint bilateral filter. A temporal mean filter can be applied to solve the flickering problem while we encounter a residual spectrum problem in the depth image. Thus, after classifying foreground andbackground regions, we use an upsampled depth image for a foreground region and temporal mean image for background region.Test results shows that the proposed method generates a time consistent depth video with a high resolution.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2014.06a
• /
• pp.101-104
• /
• 2014

3차원 영상 제작을 위해서는 장면의 색상 영상과 함께 깊이 정보가 필요하다. 일반적으로 깊이를 측정하는 TOF 카메라에 의해 획득된 깊이 영상은 컬러 영상에 비해 매우 작은 해상도의 영상을 갖게 되는 문제가 있다. 따라서 색상 영상과 함께 3차원 영상 제작에 깊이 영상을 사용하기 위해서는 저해상도 깊이 영상의 업샘플링 방법이 필요하다. 특히 컬러 영상에서 사물 간의 경계에 해당하는 부분에서 색상 차이를 인지하지 못하여 깊이 맵을 부적절하게 처리하게 되는 경우가 발생한다. 본 논문에서는 색상 영상에서 경계부분에 해당하는 영역을 이용하여 저해상도 깊이 영상을 업샘플링 하는 방법을 제안한다. 깊이 영상을 업샘플링 할 때 중요하게 다루어야 할 경계 부분을, 고해상도 색상 영상과 저해상도 깊이 영상을 이용하여 찾아낸다. 색상 경계 부분을 고려하여 깊이 영상 업샘플링을 위한 에너지 함수를 MRF를 이용하여 모델링하고, 신뢰 확산(belief propagation)방법을 이용하여 에너지 함수 최적화를 수행한다. 제안한 방법은 기존의 다른 에너지 함수나 필터 기반 업샘플링 방법보다 우수한 성능을 나타내었다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.07a
• /
• pp.373-375
• /
• 2011

최근 들어, Time-of-Flight (TOF) 방식의 깊이 센서가 컴퓨터 비전이나 영상처리분야 등의 연구에서 다양하게 활용되고 있다. TOF 방식의 깊이 센서는 실시간으로 정확한 깊이 정보를 획득할 수 있는 장점이 있는 반면, 해상도가 낮고 센서의 광학적 특성으로 인해 노이즈가 발생한다는 단점이 있다. 본 논문에서는 이러한 깊이 센서의 단점을 극복하고 고품질의 다시점 영상 합성을 위해 기존 깊이 센서에 여러 대의 Charge-coupled Device (CCD) 카메라를 결합하여 시점 간 일관성 있는 고해상도의 깊이 영상을 획득하는 기술을 제안한다. 한정되어 있는 시점의 영상을 이용하여 다시점 영상을 합성할 때, 각 시점에 해당하는 깊이 영상의 정확도에 따라 합성되는 영상의 품질이 결정된다. 따라서 보유 시점에 해당하는 깊이 영상 간의 일관성이 유지되고 객체의 경계가 정확히 보존되어야만 생성되는 임의 시점 영상의 품질이 보장될 수 있다. 이에, 본 논문에서는 Joint Bilateral Upsampling (JBU)을 기반으로 시점 간 일관성을 고려한 깊이 영상의 해상도 개선 기술을 제안하고 이를 통해 다시점 영상 합성 결과의 품질을 향상시킨다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.07a
• /
• pp.39-41
• /
• 2011

본 논문에서는 깊이 영상의 해상도와 품질을 향상시키는 방법을 제안한다. 일반적으로 2D-plus-Depth 구조의 3D 콘텐츠에서는 깊이 영상의 품질이 매우 중요하다. 최근 들어 Time-of-Flight (TOF) 방식의 깊이 센서가 깊이 영상 획득에 많이 사용되고 있는데 TOF 깊이 센서가 제공하는 깊이 영상은 저해상도이기 때문에 고해상도 3D 콘텐츠를 제작하기 위해서는 깊이 영상의 해상도를 상향 변환하는 것이 필수적이다. 또한 고품질의 깊이 영상을 얻기 위해서는 물체 간의 경계를 정교하게 보존하는 것이 중요하다. 최근에는 깊이 영상의 해상도 상향 변환을 위해서 Joint Bilateral Upsampling(JBU) 방식이 많이 사용되고 있다. 본 논문은 깊이 영상의 해상도를 높임에 있어서 우선 보간법을 수행하여 영상의 상향 변환 시에 생긴 빈 홀들의 값을 채워준 후 Bilateral Filtering을 수행함으로써 성능을 높인다. 일반적으로 영상을 상향 변환을 할 때 다양한 방법들이 있는데 본 논문에서는 Nearest Neighborhood(NN), Gaussian과 경계 보존 보간법, 경계 보존 보간법과 Fast Curvature Based Interpolation(FCBI)를 결합한 보간법을 사용하였다. 실험 결과 제안 방법이 기존 방법보다 우수한 성능을 가짐을 보여준다. 또한 경계 보존 보간법과 FCBI를 결합한 보간법을 이용해서 상향 변환을 수행한 결과가 다른 보간법들에 의한 결과보다 우수하다는 점을 알 수 있다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2012.07a
• /
• pp.40-43
• /
• 2012

3차원 영상 기술은 방송, 영화, 게임, 의료, 국방 등 다양한 기존 산업들과 융합하며 새로운 패러다임을 형성하고 있으며, 고품질 및 고해상도의 3차원 영상 획득에 대한 필요성이 강조되고 있다. 이에 따라, 최근에는 3차원 입체 영상을 제작 하는 방법 중 하나인 2D-plus-Depth 구조에 대한 연구가 활발히 진행되고 있다. 2D-plus-Depth 구조는 Charge-Coupled Device(CCD) 센서 등을 이용한 일반 카메라와 깊이 카메라를 결합한 형태로써 이 구조로부터 얻은 깊이 영상의 해상도를 상향 변환하기 위해서 Joint Bilateral Upsampling(JBU)[1], 컬러 영상의 정보를 활용한 보간법[2] 등의 방법들이 사용된다. 하지만 이 방법들은 깊이 영상을 높은 배율로 상향 변환할 경우 텍스처가 복사되거나 흐림 및 블록화 현상이 발생하는 문제점이 있다. 본 논문에서는 2D-plus-Depth 구조에서 얻은 고해상도 컬러 영상에서 보간 정보를 구하고 이 정보를 저해상도의 깊이 영상에 적용하여 상향 변환된 가이드 깊이 영상을 제작한다. 이 가이드 깊이 영상을 Bilateral Filtering[8]을 이용함으로써 고품질의 고해상도 깊이 영상을 획득한다. 실험 결과 제안하는 방법으로 해상도를 상향 변환을 할 경우에 기존의 보간법들에 비해 깊이 영상의 특성을 잘 보존함을 확인할 수 있고, 가이드 깊이 영상에 필터링을 처리한 결과가 JBU의 결과보다 향상됨을 확인할 수 있다.