• 한국융합학회논문지
• /
• 제3권1호
• /
• pp.13-17
• /
• 2012

본 논문에서는 기하학적 단서인 소실선과 텍스처를 이용하여 깊이 지도를 생성하는 방법을 제안한다. 소실선은 영상 내 존재하는 평행한 직선들에 의해 생성되는 것으로 영상에서 Gabor Filter를 통해 특정 각도의 경계를 추출하고 이를 허프 변환을 통해 직선을 추출하여 소실선을 검출해낸다. 검출된 소실선에 따라 초기 깊이 지도를 생성하고 텍스처 단서인 슈퍼 픽셀을 이용한 상대적 깊이 지도를 결합하여 최종 깊이 지도를 생성한다. 소실선을 이용한 초기 깊이지도와 슈퍼 픽셀을 이용한 상대적 깊이 지도를 결합함으로써 보다 신뢰성 있는 깊이 지도가 생성되었다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2009년도 정보 및 제어 심포지움 논문집
• /
• pp.28-30
• /
• 2009

This paper describes a 3-DTIP(3-D Tour Into Picture) using depth map for a Korean classical painting being composed of persons and landscape. Unlike conventional TIP methods providing 2-D image or video, our proposed TIP can provide users with 3-D stereoscopic contents. Navigating inside a picture provides more realistic and immersive perception. The method firstly makes depth map. Input data consists of foreground object, background image, depth map, foreground mask. Firstly we separate foreground object and background, make each of their depth map. Background is decomposed into polygons and assigned depth value to each vertexes. Then a polygon is decomposed into many triangles. Gouraud shading is used to make a final depth map. Navigating into a picture uses OpenGL library. Our proposed method was tested on "Danopungjun" and "Muyigido" that are famous paintings made in Chosun Dynasty. The stereoscopic video was proved to deliver new 3-D perception better than 2-D video.

• 한국멀티미디어학회논문지
• /
• 제19권9호
• /
• pp.1647-1658
• /
• 2016

RGB+D database has been widely used in object recognition, object tracking, robot control, to name a few. While rapid advance of active depth sensing technologies allows for the widespread of indoor RGB+D databases, there are only few outdoor RGB+D databases largely due to an inherent limitation of active depth cameras. In this paper, we propose a novel method used to build outdoor RGB+D databases. Instead of using active depth cameras such as Kinect or LIDAR, we acquire a pair of stereo image using high-resolution stereo camera and then obtain a depth map by applying stereo matching algorithm. To deal with estimation errors that inevitably exist in the depth map obtained from stereo matching methods, we develop an approach that estimates confidence of depth maps based on unsupervised learning. Unlike existing confidence estimation approaches, we explicitly consider a spatial correlation that may exist in the confidence map. Specifically, we focus on refining confidence feature with the assumption that the confidence feature and resultant confidence map are smoothly-varying in spatial domain and are highly correlated to each other. Experimental result shows that the proposed method outperforms existing confidence measure based approaches in various benchmark dataset.

• 한국정보통신학회:학술대회논문집
• /
• 한국해양정보통신학회 2010년도 추계학술대회
• /
• pp.343-344
• /
• 2010

마커리스 시스템의 경우 2차원 영상에서 깊이 값을 추정하기 위해서는 스테레오 비젼과 같이 고가의 장비를 통해 깊이 값을 추정하였다. 이에 단안 영상에서 깊이 값을 추정하여 객체를 증강하기 위해 소실점을 추출하고 상대적 깊이 값을 추정한다. 객체 증강에 있어 향상된 몰입감을 얻기 위해서는 가상의 객체들이 거리에 따라 서로 다른 크기로 그려져야 한다. 본 논문에서는 획득한 영상에서 소실점을 생성하고 깊이정보를 이용하여 증강된 객체를 서로 다른 크기로 증강하여 객체간 상호 몰입감을 향상시켰다.

• 반도체디스플레이기술학회지
• /
• 제21권3호
• /
• pp.87-91
• /
• 2022

Bokeh effect is a stylistic technique that can produce blurring the background of photos. This paper implements to produce a bokeh effect with a single image by post processing. Generating depth map is a key process of bokeh effect, and depth map is an image that contains information relating to the distance of the surfaces of scene objects from a viewpoint. First, this work presents algorithms to determine the depth map from a single input image. Then, we obtain a sparse defocus map with gradient ratio from input image and blurred image. Defocus map is obtained by propagating threshold values from edges using matting Laplacian. Finally, we obtain the blurred image on foreground and background segmentation with bokeh effect achieved. With the experimental results, an efficient image processing method with bokeh effect applied using a single image is presented.

• 한국통신학회논문지
• /
• 제36권12C호
• /
• pp.738-743
• /
• 2011

고해상도 3차원 깊이 영상은 고품질의 3차원 방송을 위해 필요한 중요한 정보이다. 깊이 카메라는 정확한 깊이 정보를 실시간으로 얻을 수 있지만, 카메라 물리적 한계로 인해 저해상도의 깊이 영상만 이용한다. 본 논문에서는 저해상도의 깊이 영상과 색상 영상을 이용하여 색상 영상을 보간 하는 방법을 제안한다. 제안하는 방법은 랜덤워크 확률 모델을 이용하여 각 화소들이 초기 깊이값과 같을 확률값을 정의하여 가장 높은 확률을 가지는 초기 깊이값을 나머지 화소들에 복사한다. 제안한 방법은 인접한 화소들만을 이용하는 것이 아니라 경로를 따라 비용을 계산함으로써, 여러 화소에 걸친 색상의 변화율이 고려되어 물체의 경계 주변에서 색상 영역과 깊이 영상간의 경계가 일치하는 향상된 깊이 영상을 얻을 수 있다.

• 방송공학회논문지
• /
• 제16권2호
• /
• pp.274-292
• /
• 2011

본 논문에서는 실제 영상과는 다른 특성을 지니는 깊이정보 맵의 효율적인 부호화 방법을 제안한다. 깊이정보 맵은 객체 내부 혹은 배경 부분에서 상당히 완만한 특성을 지니지만, 객체 경계 부분에서는 아주 날카로운 에지 성분이 존재한다는 특징이 있다. 그리고 깊이정보 맵을 비트평면 단위로 분리하였을 때, 비트평면 간 완전일치/반전일치되는 특성이 객체 경계 부분에서 자주 발생한다는 특징이 있다. 그래서 본 논문에서는 객체 경계 부분에서 비트평면의 이진 영상간 일치여부를 적절하게 이용하기 위하여 깊이정보 맵을 비트평면 단위로 분리하여 비트평면 간 적응적 XOR 연산을 이용한 블록 기반 비트평면 부호화 방법을 제안한다. 또한 비트평면 단위 영상 부호화 방법과 DCT 기반 동영상 압축 방법(H.264/AVC)의 장점을 적절하게 이용하기 위하여 블록 단위 비트평면 부호화 방법과 기존의 블록 단위 동영상 부호화 방법을 적응적으로 선택하여 부호화하였다. 실험 결과 제안하는 방법이 H.264/AVC보다 BD-PSNR이 0.9 dB ~ 1.5 dB 향상되었고 BD-rate가 11.8 % ~ 20.8 % 감소되었다. 또한 제안하는 방법이 블록 기반 적응적 깊이정보 맵 부호화 방법보다 BD-PSNR이 0.5 dB ~ 0.8 dB 향상되었고 BD-rate가 7.7 % ~ 12.2 % 감소되어 제안하는 방법의 우수함을 확인할 수 있었다. 또한 복원된 깊이정보 맵을 이용하여 생성된 가상 영상 간의 비교에서 제안하는 방법이 DCT 기반 동영상 압축 방법보다 주관적 화질이 향상된 것을 확인할 수 있었으며, 블록 기반 적응적 깊이정보 맵 부호화 방법과 비교하여 주관적 화질이 비슷하다는 것을 확인 할 수 있었다.

• 한국산학기술학회논문지
• /
• 제12권4호
• /
• pp.1897-1903
• /
• 2011

본 논문은 2D/3D 변환을 위한 객체 추출과 깊이정보(Depth-map) 생성기법에 관한 연구이다. 2D영상을 3D로 변환하기 위해서는 영상 객체 추출, 영상 거리 인식, 영상 생성, 재보정 단계를 거치게 되는데 본 논문에서는 영상 객체 추출과 영상 거리 인식에 해당하는 깊이정보를 생성하는 방법을 제안한다. 3D 영상으로의 변환은 2D 영상에서의 객체 추출과, 추출된 객체와 주변 배경을 구별하기 위한 거리감을 할당하는 깊이정보 생성이 중요하다. 보다 정확한 객체 추출과 깊이정보를 생성하기 위해 기존의 Optical flow에서 잡음을 제거한 방법을 제안하였다. 제안한 방법으로 2D 영상을 깊이정보가 포함된 영상으로 변환하여 영상의 깊이 정보가 추정됨을 알 수 있다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제17권8호
• /
• pp.2068-2082
• /
• 2023

With the rapid development of deep learning, Depth Map Super-Resolution (DMSR) method has achieved more advanced performances. However, when the upsampling rate is very large, it is difficult to capture the structural consistency between color features and depth features by these DMSR methods. Therefore, we propose a color-image guided DMSR method based on iterative depth feature enhancement. Considering the feature difference between high-quality color features and low-quality depth features, we propose to decompose the depth features into High-Frequency (HF) and Low-Frequency (LF) components. Due to structural homogeneity of depth HF components and HF color features, only HF color features are used to enhance the depth HF features without using the LF color features. Before the HF and LF depth feature decomposition, the LF component of the previous depth decomposition and the updated HF component are combined together. After decomposing and reorganizing recursively-updated features, we combine all the depth LF features with the final updated depth HF features to obtain the enhanced-depth features. Next, the enhanced-depth features are input into the multistage depth map fusion reconstruction block, in which the cross enhancement module is introduced into the reconstruction block to fully mine the spatial correlation of depth map by interleaving various features between different convolution groups. Experimental results can show that the two objective assessments of root mean square error and mean absolute deviation of the proposed method are superior to those of many latest DMSR methods.

• 스마트미디어저널
• /
• 제1권3호
• /
• pp.29-35
• /
• 2012

깊이영상기반 렌더링(depth image-based rendering, DIBR)이란 색상 영상과 각 화소에 대응하는 거리 정보로 이루어진 깊이 영상(depth map)을 이용하여 가상 시점에서의 영상을 합성하는 기술을 말한다. DIBR을 이용하면 3차원 TV에 적합한 컨텐츠를 생성할 수 있지만, 가상 시점에서의 영상을 합성하는 과정에서 원영상에 존재하지 않는 영역, 즉, 비폐색(disocclusion) 영역이 드러나는 등 여러 가지 문제가 발생한다. 본 논문에서는 구조광으로 깊이 정보를 획득하는 Kinect 깊이 카메라를 이용한 가상시점 영상생성 기술을 제안한다. 깊이 카메라로부터 색상 영상과 그에 대응하는 깊이 영상을 획득한 다음, 깊이 영상에 대한 전처리 기술을 수행한다. 전처리가 끝난 깊이 영상은 중간 시점으로 워핑되고, 워핑 과정에서 발생하는 절삭 오차를 제거하기 위해 Median 필터링을 적용한다. 그런 다음, 색상 영상은 워핑된 깊이 영상의 깊이 값을 사용해서 중간 시점으로 워핑된다. 비폐색(disocclusion) 영역을 채우기 위해 배경 기반의 인페인팅 기술을 적용한다. 실험 결과를 통해, 본 논문에서 제안한 방법이 자연스러운 스테레오 영상을 생성한 것을 확인할 수 있었다.