• Journal of Broadcast Engineering
• /
• v.11 no.4 s.33
• /
• pp.507-520
• /
• 2006

In this paper, we propose an application of OpenGL functions for novel view synthesis from multi-view images and depth maps. While image based rendering has been meant to generate synthetic images by processing the camera view with a graphic engine, little has been known about how to apply the given images and depth information to the graphic engine and render the scene. This paper presents an efficient way of constructing a 3D space with camera parameters, reconstructing the 3D scene with color and depth images, and synthesizing virtual views in real-time as well as their depth images.

• Journal of Digital Convergence
• /
• v.10 no.4
• /
• pp.191-197
• /
• 2012

In this paper we present creating 3D image from 2D image by extract initial depth values calculated from focal values. The initial depth values are created by using the extracted focal information, which is calculated by the comparison of original image and Gaussian filtered image. This initial depth information is allocated to the object segments obtained from normalized cut technique. Then the depth of the objects are corrected to the average of depth values in the objects so that the single object can have the same depth. The generated depth is used to convert to 3D image using DIBR(Depth Image Based Rendering) and the generated 3D image is compared to the images generated by other techniques.

• Smart Media Journal
• /
• v.1 no.3
• /
• pp.29-35
• /
• 2012

A depth image-based rendering (DIBR) technique is one of the rendering processes of virtual views with a color image and the corresponding depth map. The most important issue of DIBR is that the virtual view has no information at newly exposed areas, so called dis-occlusion. In this paper, we propose an intermediate view generation algorithm using the Kinect depth camera that utilizes the infrared structured light. After we capture a color image and its corresponding depth map, we pre-process the depth map. The pre-processed depth map is warped to the virtual viewpoint and filtered by median filtering to reduce the truncation error. Then, the color image is back-projected to the virtual viewpoint using the warped depth map. In order to fill out the remaining holes caused by dis-occlusion, we perform a background-based image in-painting operation. Finally, we obtain the synthesized image without any dis-occlusion. From experimental results, we have shown that the proposed algorithm generated very natural images in real-time.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2009.11a
• /
• pp.87-90
• /
• 2009

영상의 깊이 정보를 추출하는 것은 매우 어려운 연구이다. 다양한 유형의 영상 구조의 분석이 필요하지만 많은 경우에 주관적인 판단의 도움이 필요하다. 본 논문에서는 로스 텍스처 필터를 기반으로 정지 영상의 깊이를 자동으로 생성하는 방법을 제안한다. 로스 텍스처 필터는 단안 비전에서 3D 깊이를 얻기 위한 방법으로 활용되었는데, 실제 2D 영상에서 깊이를 예측하기 위해 텍스처 편차, 텍스처 기울기, 색상 등을 활용한다. 로스 필터는 $1{\times}5$ 벡터로부터 콘볼루션을 이용하여, 20여개의 $5{\times}5$ 콘볼루션 필터가 구해지는데, 영상에 필터를 적용하여 로스 에너지를 계산한다. 구해진 에너지를 깊이 맵으로 변환하고, 깊이 맵에서 특징 점을 구하고, 특징 점들로부터 델러노이 삼각화를 이용하여 삼각형 깊이 메쉬를 얻는다. 구해진 깊이 맵의 성능을 측정하기 위해 카메라 시점을 변경하면서 영상의 3D 구조를 분석하였으며, 입체영상을 생성하여 3D 입체 시청 결과를 분석하였다. 실험에서는 로스 텍스처 필터를 이용하는 깊이 생성 방법이 좋은 효과를 얻는 것을 확인하였다.

• 한국HCI학회:학술대회논문집
• /
• 2006.02a
• /
• pp.1188-1193
• /
• 2006

본 논문에서는 동적 객체의 3 차원 정보를 표현하는 깊이 영상의 노이즈 필터링 방법을 제안한다. 실제 객체의 동적인 3 차원 정보는 적외선 깊이 센서가 장착된 깊이 비디오 카메라를 이용하여 실시간으로 획득되며, 일련의 깊이 영상, 즉 깊이 비디오(depth video)로 표현될 수 있다. 하지만 측정환경의 조명조건, 객체의 반사속성, 카메라의 시스템 오차 등으로 인해 깊이 영상에는 고주파 성분의 노이즈가 발생하게 된다. 이를 효과적으로 제거하기 위해 깊이 영상기반의 모델링 기법(depth image-based modeling)을 이용한 3 차원 메쉬 모델링을 수행한다. 생성된 3 차원 메쉬 모델은 깊이 영상의 노이즈로 인해 경계 영역과 형상 내부 영역에 심각한 형상 오차를 가진다. 경계 영역의 오차를 제거하기 위해 깊이 영상으로부터 경계 영역을 추출하고, 가까운 순서로 정렬한 후 angular deviation 을 이용하여 불필요하게 중복된 점들을 제거한다. 그리고 나서 2 차원 가우시안 스무딩 기법을 적용하여 부드러운 경계영역을 생성한다. 형상 내부에 대해서는 경계영역에 제약조건을 주고 3 차원 가우시안 스무딩 기법을 적용하여 전체적으로 부드러운 형상을 생성한다. 최종적으로 스무딩된 3 차원 메쉬모델을 렌더링할 때, 깊이 버퍼에 있는 정규화된 깊이 값들을 추출하여 원래 깊이 영상과 동일한 깊이 영역을 가지도록 저장함으로서 전역적으로 연속적이면서 부드러운 깊이 영상을 생성할 수 있다. 제안된 방법에 의해 노이즈가 제거된 깊이 영상을 이용하여 고품질의 영상기반 렌더링이나 깊이 비디오 기반의 햅틱 렌더링에 적용할 수 있다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.11a
• /
• pp.260-263
• /
• 2011

이 논문에서 제안한 방법은 간단하게 중간 시점 깊이 영상을 생성하는 방법이다. 왼쪽 시점과 오른쪽 시점 두 가지 깊이 영상을 가지고 깊이 값을 계산 한 후 깊이 값과 시점의 이동에 따라 물체의 위치가 변화하는 상관관계를 간단한 식으로 계산해 중간 시점을 만든다. 중간 시점을 생성 한 후, 픽셀 이동에 따른 노이즈 감소 방법을 사용하는 기존 알고리즘 (1)과 이를 수정한 노이즈 감소 방법과 Occlusion영역을 채운 후, 중간 시점을 생성하는 알고리즘 (2)를 사용한다. 우리가 생성한 중간 시점의 PSNR은 알고리즘 (1)는 30.38dB이고, 알고리즘 (2)는 30.52dB이다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2000.10b
• /
• pp.532-534
• /
• 2000

영상기반 렌더링(image-based rendering)은 적은 비용으로 실시간 영상을 생성할 수 있다는 장점이 있지만, 원시 영상(source image)만으로 가상환경을 생성하기에는 부족하다. 원시 영상과 함께 카메라 정보, 깊이정보, 사용자 입력 등을 이용하는데, 적은 수의 원시 영상과 추가 정보를 이용하여 원하는 장면을 생성하기 위해 다양한 방법이 연구되고 있다. 본 논문에서는 영상 기반의 가상환경에서 네비게이션을 위해 필요한 영상을 영상 참조기법을 통해 생성한다. 깊이가 깊지 않은 가상환경에서는 하나의 영상만으로도 이동 표현이 가능하지만 깊이가 깊을 경우 추가적인 영상을 필요로 하게 된다. 이 두 영상간의 새로운 영상을 모핑(morphing)을 통해 생성할 수도 있지만 사용자 입력이 많고 시간이 오래 걸린다는 단점이 있다. 영상 참조 기법은 가상환경에서 적은 사용자 입력으로 빠르게 네비게이션을 위한 영상을 생성할 수 있다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2012.11a
• /
• pp.46-49
• /
• 2012

본 논문에서는 3차원 입체 비디오처리 기술의 최종목표인 디지털 홀로그램을 생성하는데 필요한 객체의 좌표와 색상정보가 들어있는 같은 시점과 해상도인 RGB 영상과 깊이 영상을 획득하여 가상 시점의 디지털 홀로그램을 생성하는 시스템을 제안한다. 먼저, 가시광선과 적외선의 파장을 이용하여 파장에 따라 투과율이 달라지는 콜드 미러를 사용하여 각각의 시점이 같은 다시점 RGB와 깊이 영상을 얻는다. 카메라 시스템이 갖는 다양한 렌즈 왜곡을 없애기 위한 보정 과정을 거친 후에 해상도가 서로 틀린 RGB 영상과 깊이 영상의 해상도를 같게 조절한다. 그 다음, DIBR(Depth Image Based Rendering) 알고리즘을 이용하여 원하는 가상 시점의 깊이 정보와 RGB 영상을 생성한다. 그리고 깊이 정보를 이용하여 디지털 홀로그램으로 구현할 객체만을 추출한다. 마지막으로 컴퓨터 생성 홀로그램 (computer-generated hologram, CGH) 알고리즘을 이용하여 추출한 가상 시점의 객체를 디지털 홀로그램으로 변환한다.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.481-486
• /
• 2007

본 논문에서는 깊이 영상을 개선하는 방법으로 깊이 영상 획득 시 손실된 영역을 복원하는 기법을 제안한다. 대상 객체의 동적인 3차원 정보는 적외선 깊이 센서가 장착된 깊이 비디오 카메라를 통하여 실시간으로 획득한다. 이때, 깊이 비디오뿐만 아니라 각 프레임마다 컬러영상이 동시에 획득된다. 그러나 대상 객체의 일부 또는 전체가 반짝이는 검은 재질로 되어있을 경우, 획득된 깊이 영상에 손실이 발생한다. 특히 방송용 콘텐츠로서 연기자의 3차원 정보를 획득할 때 머리카락 영역이 손실되는 심각한 문제가 발생한다. 이를 해결하기 위해 먼저 컬러 영상을 이용하여 손실된 영역의 위치 정보를 알아낸다. 손실된 영역 내 경계부분의 깊이 정보를 복원한 후 2차 베지어 커브로 보간하여 내부의 깊이 정보를 복원한다. 개선된 깊이 영상을 기반으로 일련의 모델링 과정을 수행하면 보다 자연스러운 3차원 모델을 생성할 수 있다. 생성된 3차원 모델은 실감방송용 콘텐츠로 사용될 수 있으며, 시청자에게 시각상호작용과 촉각상호작용 등 다차원 감각의 상호작용을 제공할 수 있다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2005.11b
• /
• pp.892-894
• /
• 2005

본 논문에서는 스테레오 영상에서 깊이 정보를 추출하여 사람의 자세를 학습된 2차원 깊이 영상들의 선형 결함으로 표현하여 3차원 인체 모델을 재구성하는 방법을 제안한다. 한 장의 2차원 깊이 영상으로 최소 제곱법을 이용하여 프로토타입 깊이 영상의 선형 결합으로 표현되는 최적의 계수를 찾을 수 있다. 입력된 깊이 영상의 3차원 인체 모델은 프로토타입 깊이 영상에서 예측된 계수를 적용하여 생성한다. 학습 단계에서는 데이터를 계층적으로 나누어 모델을 생성한다. 또한, 재구성 단계에서는 실루엣 영상과 깊이 영상으로부터 계층적으로 나누어진 학습 데이터를 이용하여 3차원 인체 자세를 재구성한다. 학습 및 재구성의 마지막 단계에서는 실루엣 영상 대신 깊이 영상을 이용하여 3차원 인체 모델을 재구성한다. 한 장의 실루엣 영상을 이용하면 영상의 노이즈에 민감하기 때문에 재구성 단계의 상위 레벨에서는 실루엣 영상의 누적 영상을 이용한다. 실험 결과는 제안된 방법이 효율적으로 3차원 인체 자세를 재구성함을 보여준다.