• 한국소음진동공학회:학술대회논문집
• /
• 한국소음진동공학회 2013년도 추계학술대회 논문집
• /
• pp.763-764
• /
• 2013

A three-dimensional image capturing device and its signal processing algorithm and apparatus are presented. Three dimensional information is one of emerging differentiators that provides consumers with more realistic and immersive experiences in user interface, game, 3D-virtual reality, and 3D display. It has the depth information of a scene together with conventional color image so that full-information of real life that human eyes experience can be captured, recorded and reproduced. 20 Mega-Hertz-switching high speed image shutter device for 3D image capturing and its application to system prototype are presented[1,2]. For 3D image capturing, the system utilizes Time-of-Flight (TOF) principle by means of 20MHz high-speed micro-optical image modulator, so called 'optical resonator'. The high speed image modulation is obtained using the electro-optic operation of the multi-layer stacked structure having diffractive mirrors and optical resonance cavity which maximizes the magnitude of optical modulation[3,4]. The optical resonator is specially designed and fabricated realizing low resistance-capacitance cell structures having small RC-time constant. The optical shutter is positioned in front of a standard high resolution CMOS image sensor and modulates the IR image reflected from the object to capture a depth image (Figure 1). Suggested novel optical resonator enables capturing of a full HD depth image with depth accuracy of mm-scale, which is the largest depth image resolution among the-state-of-the-arts, which have been limited up to VGA. The 3D camera prototype realizes color/depth concurrent sensing optical architecture to capture 14Mp color and full HD depth images, simultaneously (Figure 2,3). The resulting high definition color/depth image and its capturing device have crucial impact on 3D business eco-system in IT industry especially as 3D image sensing means in the fields of 3D camera, gesture recognition, user interface, and 3D display. This paper presents MEMS-based optical resonator design, fabrication, 3D camera system prototype and signal processing algorithms.

• 디지털콘텐츠학회 논문지
• /
• 제6권3호
• /
• pp.157-162
• /
• 2005

본 논문에서는 2차원 정지 영상 및 동영상에서 블록 정합을 이용한 움직임 검출과 영역 분할을 통하여 생성한 깊이 지도를 이용하여 입체 영상으로 실시간 변환하는 방법을 제안하였다. 성능 평가는 움직임 객체의 깊이 지도와 절대 시차 차이 영상을 생성하여 기존의 변환 방법과 비교를 통해 제안한 방식의 우수성을 입증하였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제6권4호
• /
• pp.1171-1187
• /
• 2012

A depth adjustment method for visual fatigue reduction for depth-image-based rendering (DIBR) system is proposed. One important aspect of the method is that no calibration parameters are needed for adjustment. By analyzing 3D image warping, the perceived depth is expressed as a function of three adjustable parameters: virtual view number, scale factor and depth value of zero parallax setting (ZPS) plane. Adjusting these three parameters according to the proposed parameter modification algorithm when performing 3D image warping can effectively change the perceived depth of stereo pairs generated in DIBR system. As the depth adjustment is performed in simple 3D image warping equations, the proposed method is facilitative for hardware implementation. Experimental results show that the proposed depth adjustment method provides an improvement in visual comfort of stereo pairs as well as generating comfortable stereoscopic images with different perceived depths that people desire.

• 한국통신학회논문지
• /
• 제40권12호
• /
• pp.2530-2538
• /
• 2015

깊이맵은 색채 영상과 달리 색상 정보가 아닌 깊이 정보가 픽셀 값을 이루고 있어서 색차가 크더라도 비슷한 거리에 있으면 유사한 픽셀 값으로 나타난다. 또한 색채 영상은 미세한 영역에서 단계적으로 값이 변하면서 대상의 윤곽을 나타내지만 깊이맵은 픽셀 값이 계단식으로 변하여 픽셀 값이 변하는 지점에서 급변하는 경향이 있다. 이러한 깊이맵의 특성상 경계 영역과 그 외의 영역으로 크게 영상의 영역을 구분 할 수 있고, 전송 시 나타나는 오류에 대해 각 영역에 효과적으로 적용 될 수 있는 오류 은닉 방법이 필요하다. 본 연구에서는 깊이맵의 경계 방향에 따라 영역을 구분하고 각 영역의 값이 변화하는 방향성에 맞추어 적응적으로 오류가 은닉 될 수 있는 방법을 적용하여 깊이맵을 복구한다. 복구된 깊이맵은 다시점 영상과 함께 합성하여 새로운 중간 시점 영상을 만들고 이를 객관적 화질평가 방법을 통해 평가한다.

• 스마트미디어저널
• /
• 제1권3호
• /
• pp.29-35
• /
• 2012

깊이영상기반 렌더링(depth image-based rendering, DIBR)이란 색상 영상과 각 화소에 대응하는 거리 정보로 이루어진 깊이 영상(depth map)을 이용하여 가상 시점에서의 영상을 합성하는 기술을 말한다. DIBR을 이용하면 3차원 TV에 적합한 컨텐츠를 생성할 수 있지만, 가상 시점에서의 영상을 합성하는 과정에서 원영상에 존재하지 않는 영역, 즉, 비폐색(disocclusion) 영역이 드러나는 등 여러 가지 문제가 발생한다. 본 논문에서는 구조광으로 깊이 정보를 획득하는 Kinect 깊이 카메라를 이용한 가상시점 영상생성 기술을 제안한다. 깊이 카메라로부터 색상 영상과 그에 대응하는 깊이 영상을 획득한 다음, 깊이 영상에 대한 전처리 기술을 수행한다. 전처리가 끝난 깊이 영상은 중간 시점으로 워핑되고, 워핑 과정에서 발생하는 절삭 오차를 제거하기 위해 Median 필터링을 적용한다. 그런 다음, 색상 영상은 워핑된 깊이 영상의 깊이 값을 사용해서 중간 시점으로 워핑된다. 비폐색(disocclusion) 영역을 채우기 위해 배경 기반의 인페인팅 기술을 적용한다. 실험 결과를 통해, 본 논문에서 제안한 방법이 자연스러운 스테레오 영상을 생성한 것을 확인할 수 있었다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제9권3호
• /
• pp.1140-1154
• /
• 2015

Multiple Description (MD) coding is a promising alternative for the robust transmission of information over error-prone channels. Lattice vector quantization (LVQ) is a significant version of MD techniques to design an MD image coder. However, different from the traditional 2D texture image, the 3D depth image has its own special characteristics, which should be taken into account for efficient compression. In this paper, an optimized MDLVQ scheme is proposed in view of the characteristics of 3D depth image. First, due to the sparsity of depth image, the image blocks can be classified into edge blocks and smooth blocks, which are encoded by different modes. Furthermore, according to the boundary contents in edge blocks, the step size of LVQ can be regulated adaptively for each block. Experimental results validate the effectiveness of the proposed scheme, which show better rate distortion performance compared with the conventional MDLVQ.

• 한국인터넷방송통신학회논문지
• /
• 제14권2호
• /
• pp.43-51
• /
• 2014

깊이 영상을 고려한 다시점 비디오는 매우 많은 양의 데이터 때문에 저장과 전송을 위해서 새로운 부호화 압축 기술 개발이 요구된다. 계층적 깊이 영상은 다시점 비디오의 효과적인 표현방법이 된다. 이 방법은 다시점 칼라와 깊이 영상을 합성하는 데이터 구조를 만들어 준다. 이 새로운 콘텐츠를 효과적으로 압축하는 방법으로 3차원 워핑을 이용한 계층적 깊이 영상 표현과 비디오 압축 부호화를 적용하는 방법을 제안하였다. 이 논문은 계층적 영상 표현을 사용한 H.264/AVC 비디오 부호화 기술의 개선된 압축 방법을 제시하여 준다. 컴퓨터 모의시험으로 좋은 압축율과 좋은 성능의 회복 영상을 얻을 수 있음을 제시하였다.

• 한국컴퓨터정보학회논문지
• /
• 제17권7호
• /
• pp.53-65
• /
• 2012

기존의 Stereoscopy영상의 생성 방법은 2개의 촬영용 렌즈를 일정한 간격으로 띄워놓고 같은 피사체를 촬영하여 좌우 시점의 영상을 생성하는 방법을 이용하게 된다. 하지만 Stereoscopy 카메라를 이용한 3차원 TV 수신의 경우에 좌시점과 우시점에 대한 2개의 영상을 모두 동시에 전송해야 하기 때문에 대역폭의 부담이 크다. 이에 보다 효율적인 여러 방법들에 대한 논의가 이루어지고 있다. 그중 DIBR(Depth Image Based Rendering)은 한장의 영상과 이에 대한 Depth정보를 이용하여 좌시점과 우시점의 영상을 생성하기 때문에 전송 대역폭을 줄일 수 있으며, 이러한 점으로 인하여 기존의 Static Scene에서 DIBR Image 생성에 대한 다양한 Algorithm이 연구되어 왔다. 본 논문에서는 반전된 Depth 영상을 이용하여 자연스럽게 Hole을 채움과 동시에 주변 배경의 왜곡 또한 최소화하는 Gaussian Hole-Filling 방법을 제안하려 한다. 또한 각 Algorithm들의 성능을 비교, 계산하여 각 Algorithm들의 효용성을 분석하였다.

• 디지털융복합연구
• /
• 제10권4호
• /
• pp.191-197
• /
• 2012

본 논문에서는 단일 프레임 영상에서 초점을 이용하여 초기 깊이정보를 추출한 후 입체 영상을 생성하는 방법을 제안하였다. 단일 프레임 영상에서 깊이를 추정하기 위해 원본 영상과 가우시안 필터를 중첩 적용하여 생성된 영상의 비교를 통해 영상의 초점 값을 추출하고 추출된 값을 기반으로 초기 깊이정보를 생성하도록 하였다. 생성된 초기 깊이정보를 Normalized cut을 이용한 객체 분할 결과에 할당하고 각 객체의 깊이를 객체 내 깊이 정보의 평균값으로 보정하여 동일 객체가 같은 깊이 값을 갖도록 하였다. 객체를 제외한 배경 영역은 객체를 제외한 배경 영역의 에지 정보를 이용하여 깊이를 생성하였다. 생성된 깊이를 DIBR(Depth Image Based Rendering)을 이용하여 입체 영상으로 변환하였고 기존 알고리즘을 통해 생성된 영상과 비교 분석하였다.

• 한국멀티미디어학회논문지
• /
• 제21권2호
• /
• pp.138-146
• /
• 2018

In this paper, we describe an algorithm for extracting depth information from a single image based on CNN. When acquiring three-dimensional information from a single two-dimensional image using a deep-learning technique, it is difficult to accurately predict the edge portion of the depth image because it is a part where the depth changes abruptly. in this paper, we introduce the concept of pixel-wise confidence to take advantage of these characteristics. We propose an algorithm that estimates depth information from a highly reliable flat part and propagates it to the edge part to improve the accuracy of depth estimation.