• International Journal of Contents
• /
• 제10권3호
• /
• pp.9-16
• /
• 2014

Depth-image-based rendering is generally used in real-time 2D-to-3D conversion for 3DTV. However, inaccurate depth maps cause flickering issues between image frames in a video sequence, resulting in eye fatigue while viewing 3DTV. To resolve this flickering issue, we propose a new 2D-to-3D conversion scheme based on fast and robust depth-map generation from a 2D video sequence. The proposed depth-map generation algorithm divides an input video sequence into several cuts using a color histogram. The initial depth of each cut is assigned based on a hypothesized depth-gradient model. The initial depth map of the current frame is refined using color and motion information. Thereafter, the depth map of the next frame is updated using the difference image to reduce depth flickering. The experimental results confirm that the proposed scheme performs real-time 2D-to-3D conversions effectively and reduces human eye fatigue.

• 방송공학회논문지
• /
• 제23권1호
• /
• pp.3-10
• /
• 2018

깊이맵은 현재 다양한 분야에서 활용되고 있다. 이러한 깊이맵을 인공 신경망으로 생성하는 연구가 최근 관심을 받고 있다. 본 논문에서는 기존의 기 제작된 깊이맵 생성 알고리즘을 합성곱 신경망으로 구현할 수 있는지에 대한 타당성을 검증한다. 먼저 깊이맵은 관심맵과 운동 히스토리 영상의 가중치 합으로 얻는다. 실험영상과 깊이맵을 합성곱 신경망의 입력과 출력으로 하여, 신경망을 학습시킨다. 정성적, 정량적 실험 결과는 제안한 합성곱 신경망이 깊이맵 생성 방법을 대체할 수 있다는 것을 보여준다.

• 한국멀티미디어학회논문지
• /
• 제13권12호
• /
• pp.1855-1862
• /
• 2010

In virtual reality, there are increasing qualitative development in service technologies for realtime interaction system development, 3- dimensional contents, 3D TV and augment reality services. These services experience difficulties to generate depth value that is essential to recover 3D space to form solidity on existing contents. Hence, research for the generation of effective depth-map using 2D is necessary. This thesis will describe a shortcoming of an existing depth-map generation for the recovery of 3D space using 2D image and will propose an enhanced depth-map generation algorithm that complements a shortcoming of existing algorithms and utilizes the definition of depth direction based on the vanishing point within image.

• 한국멀티미디어학회논문지
• /
• 제14권2호
• /
• pp.329-338
• /
• 2011

증강현실에서 다양한 미디어의 결합으로 보다 향상된 현실감 있는 멀티미디어 데이터가 요구되고 있다. 기존의 미디어 정보에 텍스트 및 음성과 비디오 등 다양한 미디어를 결합한 멀티미디어 정보에 대한 첨단 기술이 미디어 산업 전반에 주도적인 위치를 점하고 있다. 특히 인터넷에서의 다양한 의사전달 수단 및 시각화에 대한 관심과 가상공간에서의 의사 표현을 위한 실시간 상호작용 시스템 구축 및 3차원 콘텐츠, 증강현실 기술에 대한 서비스 요구가 증가되고 있다. 이러한 서비스들은 기존 콘텐츠에서 입체감 형성을 위한 3차원 공간구조의 복원에 필요한 깊이 값 생성에 어려움이 있다. 그러므로 2차원 영상을 이용하여 효율적인 Depth-map 생성에 관한 연구가 필요하다. 본 논문에서는 2차원 영상을 이용하여 3차원 공간구조 복원에 필요한 Depth-map 생성기법의 단점을 보완하여, 기존 알고리즘에서 정의 되지 않은 영상 내 소실점 위치에 따른 갚아 방향의 정의를 통한 개선된 Depth-map 생성 기법을 제안하였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제5권11호
• /
• pp.2175-2190
• /
• 2011

This paper presents the effects of depth map quantization for multiview intermediate image generation using depth image-based rendering (DIBR). DIBR synthesizes multiple virtual views of a 3D scene from a 2D image and its associated depth map. However, it needs precise depth information in order to generate reliable and accurate intermediate view images for use in multiview 3D display systems. Previous work has extensively studied the pre-processing of the depth map, but little is known about depth map quantization. In this paper, we conduct an experiment to estimate the depth map quantization that affords acceptable image quality to generate DIBR-based multiview intermediate images. The experiment uses computer-generated 3D scenes, in which the multiview images captured directly from the scene are compared to the multiview intermediate images constructed by DIBR with a number of quantized depth maps. The results showed that there was no significant effect on depth map quantization from 16-bit to 7-bit (and more specifically 96-scale) on DIBR. Hence, a depth map above 7-bit is needed to maintain sufficient image quality for a DIBR-based multiview 3D system.

• 디지털산업정보학회논문지
• /
• 제12권1호
• /
• pp.27-33
• /
• 2016

In this study we propose a method for 3D landform reconstruction and object modeling method by generating contour lines on the map using a depth sensor which abstracts characteristics of geological layers from the depth map. Unlike the common visual camera, the depth-sensor is not affected by the intensity of illumination, and therefore a more robust contour and object can be extracted. The algorithm suggested in this paper first abstracts the characteristics of each geological layer from the depth map image and rearranges it into the proper order, then creates contour lines using the Bezier curve. Using the created contour lines, 3D images are reconstructed through rendering by mapping RGB images of the visual camera. Experimental results show that the proposed method using depth sensor can reconstruct contour map and 3D modeling in real-time. The generation of the contours with depth data is more efficient and economical in terms of the quality and accuracy.

• 한국통신학회논문지
• /
• 제37C권9호
• /
• pp.751-756
• /
• 2012

본 논문에서는 색상 카메라와 Time-of-Flight (TOF) 깊이 카메라를 이용해 촬영된 장면에서 전경 영역을 분리하고 영상의 고해상도 깊이 정보를 구하는 방법에 대해 제안한다. 깊이 카메라는 장면의 깊이 정보를 실시간으로 측정할 수 있는 장점이 있지만 잡음과 왜곡이 발생하고 색상 영상과의 상관도도 떨어진다. 따라서 이를 색상 영상과 함께 사용하기 위한 색상 영상의 영역화 및 깊이 카메라 영상의 3차원 투영(warping) 작업, 깊이 경계 영역 탐색 등을 진행한 후, 전경의 객체를 분리하고, 객체와 배경에 대하여 깊이 값 계산한다. 깊이 카메라로부터 얻은 초기 깊이 정보를 이용하여 색상 영상에서 구해진 깊이 맵은 기존의 방법인 스테레오 정합 등의 방법보다 우수한 성능을 나타내었고, 무늬가 없는 영역이나 객체 경계 영역에서도 정확한 깊이 정보를 구할 수 있었다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제8권7호
• /
• pp.2434-2448
• /
• 2014

This research proposed the domain division depth map quantization for multiview intermediate image generation using Depth Image-Based Rendering (DIBR). This technique used per-pixel depth quantization according to the percentage of depth bits assigned in domains of depth range. A comparative experiment was conducted to investigate the potential benefits of the proposed method against the linear depth quantization on DIBR multiview intermediate image generation. The experiment evaluated three quantization methods with computer-generated 3D scenes, which consisted of various scene complexities and backgrounds, under varying the depth resolution. The results showed that the proposed domain division depth quantization method outperformed the linear method on the 7- bit or lower depth map, especially in the scene with the large object.

• 방송공학회논문지
• /
• 제13권5호
• /
• pp.596-601
• /
• 2008

본 논문은 저해상도의 깊이 카메라와 고해상도의 양안식 카메라를 결합한 복합형 카메라 시스템에서 관심영역(region of interest, ROI)이 향상된 깊이맵을 생성하는 새로운 방법을 제안한다. 제안하는 방법은 깊이 카메라로 획득한 깊이 정보를 3차원 워핑(warping)하여 좌영상의 ROI 깊이맵을 생성한다. 그런 다음, 양안식 카메라로 획득한 좌우영상의 배경 영역을 스테레오 정합하여 좌영상의 배경 깊이맵을 생성한다. 최종적으로, ROI 깊이맵과 배경 깊이맵을 결합하여 최종 깊이맵을 생성한다. 제안하는 방법으로 생성한 고해상도 깊이맵은 기존의 스테레오 정합 방법보다 ROI에 정확한 깊이 정보를 제공한다.

• IEIE Transactions on Smart Processing and Computing
• /
• 제6권3호
• /
• pp.175-182
• /
• 2017

In this paper, we present a multi-depth generation method using a time-of-flight (ToF) fusion camera system. Multi-view color cameras in the parallel type and ToF depth sensors are used for 3D scene capturing. Although each ToF depth sensor can measure the depth information of the scene in real-time, it has several problems to overcome. Therefore, after we capture low-resolution depth images by ToF depth sensors, we perform a post-processing to solve the problems. Then, the depth information of the depth sensor is warped to color image positions and used as initial disparity values. In addition, the warped depth data is used to generate a depth-discontinuity map for efficient stereo matching. By applying the stereo matching using belief propagation with the depth-discontinuity map and the initial disparity information, we have obtained more accurate and stable multi-view disparity maps in reduced time.