• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2016.06a
• /
• pp.309-312
• /
• 2016

최근 실세계에 존재하는 물체의 3차원 형상과 색상을 디지털화하는 3차원 객체 복원에 대한 관심이 날로 증가하고 있다. 3차원 객체 복원은 영상 획득, 영상 보정, 점군 획득, 반복적 점군 정합, 무리 조정, 3차원 모델 표현과 같은 단계를 거처 통합된 3차원 모델을 생성한다. 그 중 반복적 점군 정합 방법은 카메라 궤적의 초기 값을 획득하는 방법으로서 무리 조정 단계에서 전역 최적 값으로의 수렴을 보장하기 위해 중요한 단계이다. 기존의 반복적 점군 정합 (iterative closest points) 방법에서는 시간이 지남에 따라 누적된 궤적 오차 때문에 발생하는 객체 표류 문제가 발생한다. 본 논문에서는 이 문제를 해결하기 위해 색상 영상에서 SIFT 특징점을 획득하고 3차원 점군을 얻은 뒤 가중치를 부여함으로써 점 군 간의 더 정확한 정합을 수행한다. 실험결과에서 기존의 방법과 비교하여 제안하는 방법이 절대 궤적 오차 (absolute trajectory error)가 감소하는 것을 확인 했고 복원된 3차원 모델에서 객체 표류 현상이 줄어드는 것을 확인했다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2016.11a
• /
• pp.6-9
• /
• 2016

본 논문에서는 3 차원 실사 객체를 사용자의 상호작용을 통해 변형시키는 프레임워크를 제안한다. RGB-Depth 카메라로 다각도에서 객체를 촬영하여 3 차원 좌표 및 색상정보를 획득하고 각 영상에서의 3 차원 좌표들을 이용하여 카메라 포즈를 계산한다. 계산한 카메라 포즈와 획득한 3 차원 좌표 및 색상정보를 이용하여 객체의 3 차원 정보를 복원한 후 복원된 객체에 대해 메쉬(Mesh)를 생성한다. 이렇게 실사 객체의 3 차원 정보를 메쉬로 표현한 뒤, 사용자의 상호작용을 통해 객체의 변형을 가하게 되면 메쉬를 변형하여 렌더링 함으로써 사용자가 원하는 모습으로 실사 객체를 변형시킬 수 있다.

• Journal of the Institute of Electronics and Information Engineers
• /
• v.50 no.10
• /
• pp.150-161
• /
• 2013

This paper presents a new system which produces high resolution 3D contents by capturing multiview images of an object using multiple cameras, and estimating geometric and texture information of the object from the captured images. Even though a variety of multiview image-based 3D reconstruction systems have been proposed, it was difficult to generate high resolution 3D contents because multiview image-based 3D reconstruction requires a large amount of memory and computation. In order to reduce computational complexity and memory size for 3D reconstruction, the proposed system predetermines the regions in input images where an object can exist to extract object boundaries fast. And for fast computation of a visual hull, the system represents silhouettes and 3D-2D projection/back-projection relations by chain codes and 1D homographies, respectively. The geometric data of the reconstructed object is compactly represented by a 3D segment-based data format which is called DoCube, and the 3D object is finally reconstructed after 3D mesh generation and texture mapping are performed. Experimental results show that the proposed system produces 3D object contents of $800{\times}800{\times}800$ resolution with a rate of 2.2 seconds per frame.

• The KIPS Transactions:PartB
• /
• v.10B no.2
• /
• pp.135-142
• /
• 2003

Robust extraction of 3D object's features, shape and global motion information from 2D image sequence is described. The object's 21 feature points on the pyramid type synthetic object are extracted automatically using color transform technique. The extracted features are used to recover the 3D shape and global motion of the object using stereo paraperspective camera model and sequential SVD(Singuiar Value Decomposition) factorization method. An inherent error of depth recovery due to the paraperspective camera model was removed by using the stereo image analysis. A 30 synthetic object with 21 features reflecting various position was designed and tested to show the performance of proposed algorithm by comparing the recovered shape and motion data with the measured values.

• Smart Media Journal
• /
• v.3 no.4
• /
• pp.22-27
• /
• 2014

Three-dimensional image reconstruction allows us to represent real objects in the virtual space and observe the objects at arbitrary view points. This technique can be used in various application areas such as education, culture, and art. In this paper, we propose an implementation method of the high-quality three-dimensional object using multiple Kinect cameras released from Microsoft. First, We acquire color and depth images from triple Kinect cameras; Kinect cameras are placed in front of the object as a convergence form. Because original depth image includes some areas where have no depth values, we employ joint bilateral filter to refine these areas. In addition to the depth image problem, there is an color mismatch problem in color images of multiview system. In order to solve it, we exploit an color correction method using three-dimensional geometry. Through the experimental results, we found that three-dimensional object which is used the proposed method is more naturally represented than the original three-dimensional object in terms of the color and shape.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.481-486
• /
• 2007

본 논문에서는 깊이 영상을 개선하는 방법으로 깊이 영상 획득 시 손실된 영역을 복원하는 기법을 제안한다. 대상 객체의 동적인 3차원 정보는 적외선 깊이 센서가 장착된 깊이 비디오 카메라를 통하여 실시간으로 획득한다. 이때, 깊이 비디오뿐만 아니라 각 프레임마다 컬러영상이 동시에 획득된다. 그러나 대상 객체의 일부 또는 전체가 반짝이는 검은 재질로 되어있을 경우, 획득된 깊이 영상에 손실이 발생한다. 특히 방송용 콘텐츠로서 연기자의 3차원 정보를 획득할 때 머리카락 영역이 손실되는 심각한 문제가 발생한다. 이를 해결하기 위해 먼저 컬러 영상을 이용하여 손실된 영역의 위치 정보를 알아낸다. 손실된 영역 내 경계부분의 깊이 정보를 복원한 후 2차 베지어 커브로 보간하여 내부의 깊이 정보를 복원한다. 개선된 깊이 영상을 기반으로 일련의 모델링 과정을 수행하면 보다 자연스러운 3차원 모델을 생성할 수 있다. 생성된 3차원 모델은 실감방송용 콘텐츠로 사용될 수 있으며, 시청자에게 시각상호작용과 촉각상호작용 등 다차원 감각의 상호작용을 제공할 수 있다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2014.06a
• /
• pp.135-138
• /
• 2014

본 논문에서는 2대의 Kinect 카메라를 이용하여 실세계의 3차원 객체에 대한 복원을 수행하는 방법을 제안한다. 먼저 깊이 가중치가 추가된 계층적 결합형 양방향 필터를 이용하여 Kinect로부터 얻은 원본 깊이 영상을 보정한다. 그리고 카메라 캘리브레이션을 이용하여 카메라의 내부 파라미터와 외부 파라미터를 획득한다. 이를 이용해 3차원 워핑을 수행하여 각 시점의 데이터를 3차원 공간에 점군 모델로 복원하고 표면 모델링 방법을 이용하여 3차원 객체의 매끄러운 표면 모델을 생성한다. 실시간에 가까운 속도를 내기 위해서 계층적 결합형 양방향 필터와 3차원 워핑을 병렬 처리 프레임워크인 CUDA로 구현하여 고속화하였다. 실험을 통해 분리된 각 시점에서의 깊이 정보를 하나의 통합된 3차원 공간에 복원할 수 있었고 초당 5 fps의 속도로 동작하는 것을 확인하였다.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.21 no.5
• /
• pp.537-542
• /
• 2011

A mirror neuron is a neuron fires both when an animal acts and when the animal observes the same action performed by another. We propose a method of 3D reconstruction for occluded object motion tracking like Mirror Neuron System to fire in hidden condition. For modeling system that intention recognition through fire effect like Mirror Neuron System, we calculate depth information using stereo image from a stereo camera and reconstruct three dimension data. Movement direction of object is estimated by optical flow with three-dimensional image data created by three dimension reconstruction. For three dimension reconstruction that enables tracing occluded part, first, picture data was get by stereo camera. Result of optical flow is made be robust to noise by the kalman filter estimation algorithm. Image data is saved as history from reconstructed three dimension image through motion tracking of object. When whole or some part of object is disappeared form stereo camera by other objects, it is restored to bring image date form history of saved past image and track motion of object.

• Journal of Korea Multimedia Society
• /
• v.9 no.4
• /
• pp.421-433
• /
• 2006

This paper proposes a method to insert virtual objects into a real video stream based on feature tracking and camera pose estimation from a set of single-camera video frames. To insert or modify 3D shapes to target video frames, the transformation from the 3D objects to the projection of the objects onto the video frames should be revealed. It is shown that, without a camera calibration process, the 3D reconstruction is possible using multiple images from a single camera under the fixed internal camera parameters. The proposed approach is based on the simplification of the camera matrix of intrinsic parameters and the use of projective geometry. The method is particularly useful for augmented reality applications to insert or modify models to a real video stream. The proposed method is based on a linear parameter estimation approach for the auto-calibration step and it enhances the stability and reduces the execution time. Several experimental results are presented on real-world video streams, demonstrating the usefulness of our method for the augmented reality applications.

• Journal of the HCI Society of Korea
• /
• v.2 no.2
• /
• pp.1-9
• /
• 2007

In this paper, we propose a reconstruction technique of the lost hair region for 3D human actor modeling. An active depth sensor system can simultaneously capture both color and geometry information of any objects in real-time. However, it cannot acquire some regions whose surfaces are shiny and dark. Therefore, to get a natural 3D human model, the lost region in depth image should be recovered, especially human hair region. The recovery is performed using both color and depth images. We find out the hair region using color image first. After the boundary of hair region is estimated, the inside of hair region is estimated using an interpolation technique and closing operation. A 3D mesh model is generated after performing a series of operations including adaptive sampling, triangulation, mesh smoothing, and texture mapping. The proposed method can generate recovered 3D mesh stream automatically. The final 3D human model allows the user view interaction or haptic interaction in realistic broadcasting system.