• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2016.11a
• /
• pp.96-97
• /
• 2016

스테레오 정합은 컴퓨터 비전 분야에서 활발하게 연구되고 있는 연구 주제로 서로 다른 위치에서 획득된 두 영상을 정합하여 거리 정보를 얻는 방법이다. 이 방법은 초음파나 레이저를 광원으로 거리를 측정하는 것보다 실제 응용 환경의 제약을 적게 받아 다양한 분야에서 응용되고 있다. 하지만, 텍스쳐가 반복되거나 텍스쳐가 없는 영역 혹은 객체의 경계 부근에서 정확한 깊이 정보를 획득하지 못한다는 단점이 있다. 본 논문은 일반적 총 변이와 가이드 깊이맵을 사용하여 정합 비용을 정제 방법을 사용하여 정확한 깊이 정보 획득 방법을 제안한다. 실험 결과를 통해 제안한 방법이 기존의 색상 영상의 텍스쳐 복사 문제를 해결하였으며, 기존의 방법에 비해 bad pixel rates 측면에서 월등한 성능을 보이는 것을 확인하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.07a
• /
• pp.345-347
• /
• 2011

최근 3D 콘텐츠의 관심 증가는 Display 장치, 모바일 기기 등의 하드웨어적인 발전을 가져왔고, 이에 따른 입체 콘텐츠의 필요성이 대두되고 있다. 본 논문에서는 자동으로 2D영상을 3D입체영상으로 변환하는 기법을 제안한다. 영상에서 에지맵과 채도 영상을 추출하고 합성하여 깊이맵을 생성하고 필터를 통해 노이즈 제거 등 보정 작업하여 최종 깊이맵을 생성한다. 이 깊이맵을 이용해 2D영상의 시프트된 영상을 만들어 입체영상을 생성한다.

• Journal of the Institute of Electronics Engineers of Korea SP
• /
• v.45 no.3
• /
• pp.1-10
• /
• 2008

An occupancy map is a representation methodology describing the region occupied by objects in 3D space, which can be utilized for autonomous navigation and object recognition. In this paper, we describe a technique for building an occupancy map using depth data extracted from stereo images. In addition, some techniques are proposed for utilizing the occupancy map for the segmentation of object regions. After the geometric information on the ground plane is extracted from a disparity image, the occupancy map is constructed by projecting each matched point to the ground plane-based 3D space. We explain techniques for extracting moving object regions using the occupancy map and present experimental results using real stereo images.

• Journal of Broadcast Engineering
• /
• v.11 no.4 s.33
• /
• pp.471-482
• /
• 2006

In this paper, we propose a new scheme to generate multi-view images utilizing depth map decomposition and adaptive edge smoothing. After carrying out smooth filtering based on an adaptive window size to regions of edges in the depth map, we decompose the smoothed depth map into four types of images: regular mesh, object boundary, feature point, and number-of-layer images. Then, we generate 3-D scenes from the decomposed images using a 3-D mesh triangulation technique. Finally, we extract multi-view images from the reconstructed 3-D scenes by changing the position of a virtual camera in the 3-D space. Experimental results show that our scheme generates multi-view images successfully by minimizing a rubber-sheet problem using edge smoothing, and renders consecutive 3-D scenes in real time through information decomposition of depth maps. In addition, the proposed scheme can be used for 3-D applications that need the depth information, such as depth keying, since we can preserve the depth data unlike the previous unsymmetric filtering method.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.34 no.10B
• /
• pp.1070-1075
• /
• 2009

In this paper, we propose new depth estimation and intermediate view synthesis algorithms for three-dimensional video generation. In order to improve temporal consistency of the depth map sequence, we add a temporal weighting function to the conventional matching function when we compute the matching cost for estimating the depth information. In addition, we propose a boundary noise removal method in the view synthesis operation. after finding boundary noise areas using the depth map, we replace them with corresponding texture information from the other reference image. Experimental results showed that the proposed algorithm improved temporal consistency of the depth sequence and reduced flickering artifacts in the virtual view. It also improved visual quality of the synthesized virtual views by removing the boundary noise.

• Journal of Broadcast Engineering
• /
• v.20 no.2
• /
• pp.204-214
• /
• 2015

Depth map upsampling is an approach to increase the spatial resolution of depth maps obtained from a depth camera. Depth map quality is closely related to 3D perception of stereoscopic image, multi-view image and holography. In general, the performance of upsampled depth map is evaluated by PSNR (Peak Signal to Noise Ratio). On the other hand, time-consuming 3D subjective tests requiring human subjects are carried out for examining the 3D perception as well as visual fatigue for 3D contents. Therefore, if an objective metric is closely correlated with a subjective test, the latter can be replaced by the objective metric. For this, this paper proposes a best metric by investigating the relationship between diverse objective metrics and 3D subjective tests. Diverse reference and no-reference metrics are adopted to evaluate the performance of upsampled depth maps. The subjective test is performed based on DSCQS test. From the utilization and analysis of three kinds of correlations, we validated that SSIM and Edge-PSNR can replace the subjective test.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2009.11a
• /
• pp.213-215
• /
• 2009

본 논문에서는 비트평면 부호화를 이용한 적응적 깊이정보 맵 부호화에서 블록 단위 비트율 조절 방법을 제안한다. 기존 방법에서는 깊이정보 맵에 대한 비트율 조절을 위해 양자화 변수를 이용하여 분리된 비트평면의 이진 영상들 중 특정 비트평면의 이진 영상만 부호화하는 방법을 통해 비트율을 조절할 수 있었다. 본 논문에서는 비트율-왜곡 최적화 방법을 이용하여 블록 단위로 부호화할 비트평면의 이진영상을 결정하는 방법을 제안한다. 실험 결과 제안하는 방법이 기존 방법보다 BD-PSNR이 0.2 dB 향상되었고 BD-rate가 2.97% 감소되어 제안하는 방법의 우수함을 확인할 수 있었다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2014.11a
• /
• pp.156-157
• /
• 2014

본 논문에서는 깊이맵 업샘플링을 이용하여 객관적 메트릭과 3D 주관적 평가 사이의 관계를 조사한다. 전자의 경우, 다양한 참조(full-reference) 및 무참조(no-reference) 평가도구가 깊이맵의 품질을 측정하기위해 적용되고, 3D평가는 주관적 평가로 얻는다. 이 두 개의 결과는 세 가지의 상관계수를 이용하여 상호 관련성을 찾은 후에, 최적으로 주관평가에 근접한 객관적 메트릭을 얻는다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.695-696
• /
• 2020

CNN(CNN: Convolutional Neural Network)은 컴퓨터 비전의 많은 분야에서 뛰어난 성능을 보이고 있으며, 단일 영상으로부터 깊이(depth) 추정에서도 기존 기법보다 향상된 성능을 보이고 있다. 그러나, 단일 영상으로부터 신경망이 얻을 수 있는 정보는 제한적이기 때문에 스테레오 카메라로부터 얻은 좌/우 영상으로부터의 깊이 추정보다 성능 향상에 한계가 있다. 따라서 본 논문에서는 에지 맵(edge map)을 이용한 CNN 기반의 단일 영상에서의 깊이 추정의 개선 기법을 제안한다. 제안 방법은 먼저 단일 영상에 대한 전처리를 통해서 에지 맵과 양방향 필터링된(bilateral filtered) 영상을 생성하고, 이를 CNN 입력으로 하여 기존 단일 영상 깊이 추정 기법 대비 개선된 성능을 보임을 확인하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2008.11a
• /
• pp.109-112
• /
• 2008

최근 MPEG(moving picture experts group)에서 표준화를 진행하고 있는 3차원 비디오 시스템은 다시점 영상과 깊이영상을 동시에 이용하여 사용자가 임의의 시점을 선택하거나 스테레오스코픽 장치와 같은 3차원 영상 재생장 치를 동해 3차원 영상을 제공하는 차세대 방송 시스템이다 제한된 시점수를 이용하여 보다 많은 시점의 영상을 제공하려면 중간시점의 영상을 보간하는 장치가 필수적이다. 이 시스템의 입력정보인 깊이값을 이용하면 시점이동을 쉽게 할 수 있는데, 보간한 영상의 화질은 이 깊이값의 정확도에 따라 결정된다. 깊이맵은 대개 컴퓨터 비전을 기반으로 한 스테레오 정합기술을 이용 획득하는데, 객체의 경계와 같은 깊이값 불연속 영역에서 주로 깊이값 오류가 발생하게 된다. 이런 오류는 생성한 중간영상의 배경에 원치 않는 잡음을 발생시킨다. 기존의 방법에서는 측정한 깊이법의 객체 경계와 영상의 객체 경계가 일치한다는 가정으로 중간영상을 합성했다. 그러나 실제로는 깊이값 측정 과정에서 두 가지 경계가 일치하지 않아 전경의 일부분이 배경으로 합성되어 잡음을 발생하는 것이다. 본 논문에서는 깊이맵을 기반으로 중간시점의 영상을 보간할 때 발생하는 경계 잡음을 처리하는 방법을 제안한다. 중간영상을 합성할 때 비폐색 영역을 합성한 후 경계 잡음이 발생할 수 있는 영역을 비폐색 영역을 따라 구별한 다음, 잡음이 없는 참조 영상을 이용함으로써 경계 잡음을 처리할 수 있다. 실험 결과를 통해 배경 잡음이 사라진 자연스러운 합성영상을 생성했다.