• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 2008.04a
• /
• pp.435-438
• /
• 2008

본 논문에서는 애니메이션을 위해서 얼굴의 특징표현(Action Units)의 조합하는 방법으로 얼굴 모델링을 하기 위한 3D대응점(3D dense correspondence)을 찾는 방법을 제시한다. AUs는 표정, 감정, 발음을 나타내는 얼굴의 특징표현으로 통계적 방법인 PCA (Principle Component Analysis)를 이용하여 만들 수 있다. 이를 위해서는 우선 3D 모델상의 대응점을 찾는 것이 필수이다. 2D에서 얼굴의 주요 특징 점은 다양한 알고리즘을 이용하여 찾을 수 있지만 그것만으로 3D상의 얼굴 모델을 표현하기에는 적합하지 않다. 본 논문에서는 3D 얼굴 모델의 대응점을 찾기 위해 원기둥 좌표계 (Cylinderical Coordinates System)을 이용하여 3D 모델을 2D로 투사(Projection)시켜서 만든 2D 이미지간의 워핑(Warping) 을 통한 대응점을 찾아 역으로 3D 모델간의 대응점을 찾는다. 이것은 3D 모델 자체를 변환하는 것보다 적은 연산량으로 계산할 수 있고 본래 형상의 변형이 없다는 장점을 가지고 있다.

• 한국HCI학회:학술대회논문집
• /
• 2006.02a
• /
• pp.24-32
• /
• 2006

본 논문에서는 다시점 카메라부터 획득된 부분적인 3D 점군을 사용하여 실내환경의 3D 복원을 위한 새로운 방법을 제안한다. 지금까지 다양한 양안차 추정 알고리즘이 제안되었으며, 이는 활용 가능한 깊이 영상이 다양함을 의미한다. 따라서, 본 논문에서는 일반화된 다시점 카메라를 이용하여 실내환경을 복원하는 방법을 다룬다. 첫 번째, 3D 점군들의 시간적 특성을 기반으로 변화량이 큰 3D 점들을 제거하고, 공간적 특성을 기반으로 주변의 3D 점을 참조하여 빈 영역을 채움으로써 깊이 영상 정제 과정을 수행한다. 두 번째, 연속된 두 시점에서의 3D 점군을 동일한 영상 평면으로 투영하고, 수정된 KLT (Kanade-Lucas-Tomasi) 특징 추적기를 사용하여 대응점을 찾는다. 그리고 대응점 간의 거리 오차를 최소화함으로써 정밀한 정합을 수행한다. 마지막으로, 여러 시점에서 획득된 3D 점군과 한 쌍의 2D 영상을 동시에 이용하여 3D 점들의 위치를 세밀하게 조절함으로써 최종적인 3D 모델을 생성한다. 제안된 방법은 대응점을 2D 영상 평면에서 찾음으로써 계산의 복잡도를 줄였으며, 3D 데이터의 정밀도가 낮은 경우에도 효과적으로 동작한다. 또한, 다시점 카메라를 이용함으로써 수 시점에서의 깊이 영상과 컬러 영상만으로도 실내환경 3D 복원이 가능하다. 제안된 방법은 네비게이션 뿐만 아니라 상호작용을 위한 3D 모델 생성에 활용될 수 있다.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.30 no.8C
• /
• pp.775-782
• /
• 2005

In case of 3D reconstruction from dense data in uncalibrated sequence images, we encounter with the problem for searching many correspondences and the computational costs. In this paper, we propose a key frame selection method from uncalibrated images and the effective 3D reconstruction method using the key frames. Namely, it can be performed on smaller number of views in the image sequence. We extract correspondences from selected key frames in image sequences. From the extracted correspondences, camera calibration process will be done. We use the edge image to fed dense correspondences between selected key frames. The method we propose to find dense correspondences can be used for recovering the 3D structure of the scene more efficiently.

• Journal of the HCI Society of Korea
• /
• v.1 no.1
• /
• pp.53-61
• /
• 2006

In this paper, we propose a novel method for 3D reconstruction of an indoor scene using a multi-view camera. Until now, numerous disparity estimation algorithms have been developed with their own pros and cons. Thus, we may be given various sorts of depth images. In this paper, we deal with the generation of a 3D surface using several 3D point clouds acquired from a generic multi-view camera. Firstly, a 3D point cloud is estimated based on spatio-temporal property of several 3D point clouds. Secondly, the evaluated 3D point clouds, acquired from two viewpoints, are projected onto the same image plane to find correspondences, and registration is conducted through minimizing errors. Finally, a surface is created by fine-tuning 3D coordinates of point clouds, acquired from several viewpoints. The proposed method reduces the computational complexity by searching for corresponding points in 2D image plane, and is carried out effectively even if the precision of 3D point cloud is relatively low by exploiting the correlation with the neighborhood. Furthermore, it is possible to reconstruct an indoor environment by depth and color images on several position by using the multi-view camera. The reconstructed model can be adopted for interaction with as well as navigation in a virtual environment, and Mediated Reality (MR) applications.

• Proceedings of the Korean Information Science Society Conference
• /
• 1999.10b
• /
• pp.619-621
• /
• 1999

여러 대의 카메라를 통해 캡춰된 2차원 데이터를 사용하여 3차원의 좌표를 추출하기 위해서는 각 카메라의 2차원 영상 데이터들의 대응점(correpondence point)을 구해야 한다. 이를 위해 에피폴라 제약조건(epipolar constraints)을 이용하여 에피포라 라인(epipolar line)에 근접한 점을 추출할 수 있다. 에피폴라 제약조건을 사용하면, 실제 원하는 점 이외에 많은 수의 고스트(ghost)가 발생할 수 있다. 또한 카메라로부터 은닉(occlusion)된 점들로 인해 모든 카메라에서 대응되는 점이 존재하는지의 여부를 보장할 수 없다. 본 논문에서는 가 카메라의 대응관계를 k-partite graph로 모델링하고, 전역 탐색을 위해 가중치를 적용하여 클릭(clique)을 추출함으로서, 고스트가 제거된 대응점을 구한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2012.01a
• /
• pp.193-195
• /
• 2012

본 논문에서는 구조광 3차원 시스템을 위하여 영상처리를 하여 3차원 정밀도를 높이는 방법을 제안한다. 구조광 기반의 3차원 시스템은 투사된 패턴을 특징점으로 하기 때문에 프로젝터와 카메라 사이에 정확한 대응점을 획득해야만 3차원 복원 신뢰성을 높일 수 있다. 그러나 환경에 따라 정확한 대응점 획득이 어려운 점이 많다. 실제 환경에서 물체들은 물체의 재질과 물체 표면의 색상 등의 이유로 서로 다른 반사율을 가지고 있어 여러 물체들이 혼재 되어 있는 환경에서 각각 물체에 투사된 패턴을 정확히 구별하는 일은 어려운 일이다. 따라서 패턴을 획득한 2차원 영상을 개선하여 패턴을 정확히 구별하여 프로젝터와 카메라 간의 화소 대응점의 정확도를 높여야만 3차원 복원 데이터의 신뢰도를 높일 수 있다. 따라서 본 논문에서는 노이즈 제거 및 다양한 영상처리를 통하여 2차원 영상들에서 패턴을 정확히 구분하도록 하여 화소 대응점의 정확도를 높임으로써 최종적으로 3차원 정밀도를 개선할 수 있는 방법을 제공한다.

• Journal of Broadcast Engineering
• /
• v.17 no.2
• /
• pp.305-315
• /
• 2012

Color correction between two or multiple images is very crucial for the development of subsequent algorithms and stereoscopic 3D camera system. Even though various color correction methods are proposed recently, there are few methods for measuring the performance of these methods. In addition, when two images have view variation by camera positions, previous methods for the performance measurement may not be appropriate. In this paper, we propose a method of measuring color difference between corresponding images for color correction. This method finds matching points that have the same colors between two scenes to consider the view variation by correspondence searches. Then, we calculate statistics from neighbor regions of these matching points to measure color difference. From this approach, we can consider misalignment of corresponding points contrary to conventional geometric transformation by a single homography. To handle the case that matching points cannot cover the whole regions, we calculate statistics of color difference from the whole image regions. Finally, the color difference is computed by the weighted summation between correspondence based and the whole region based approaches. This weight is determined by calculating the ratio of occupying regions by correspondence based color comparison.

• The KIPS Transactions:PartB
• /
• v.14B no.7
• /
• pp.493-502
• /
• 2007

An on-line registration technique is presented to register multi-view range images for the 3D reconstruction of real objects. Using a range camera, we first acquire range images and photometric images continuously. In the range images, we divide object and background regions using a predefined threshold value. For the coarse registration of the range images, the centroid of the images are used. After refining the registration of range images using a projection-based technique, we use a modified KLT(Kanade-Lucas-Tomasi) tracker to match photometric features in the object images. Using the modified KLT tracker, we can track image features fast and accurately. If a range image fails to register, we acquire new range images and try to register them continuously until the registration process resumes. After enough range images are registered, they are integrated into a 3D model in offline step. Experimental results and error analysis show that the proposed method can be used to reconstruct 3D model very fast and accurately.

• Journal of the Institute of Electronics Engineers of Korea CI
• /
• v.42 no.3 s.303
• /
• pp.39-52
• /
• 2005

In this paper, a registration method is presented to register partial 3D point clouds, acquired from a multi-view camera, for 3D reconstruction of an indoor environment. In general, conventional registration methods require a high computational complexity and much time for registration. Moreover, these methods are not robust for 3D point cloud which has comparatively low precision. To overcome these drawbacks, a projection-based registration method is proposed. First, depth images are refined based on temporal property by excluding 3D points with a large variation, and spatial property by filling up holes referring neighboring 3D points. Second, 3D point clouds acquired from two views are projected onto the same image plane, and two-step integer mapping is applied to enable modified KLT (Kanade-Lucas-Tomasi) to find correspondences. Then, fine registration is carried out through minimizing distance errors based on adaptive search range. Finally, we calculate a final color referring colors of corresponding points and reconstruct an indoor environment by applying the above procedure to consecutive scenes. The proposed method not only reduces computational complexity by searching for correspondences on a 2D image plane, but also enables effective registration even for 3D points which have low precision. Furthermore, only a few color and depth images are needed to reconstruct an indoor environment.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.31 no.1C
• /
• pp.36-45
• /
• 2006

In this paper, multiview calibration system for an effective 3D display is proposed. This system can be obtain 4-view image from multiview camera system. Also it can be rectify lens and camera distortion, error of bright and color, and it can be calibrate distortion of geometry. In this paper, we proposed the signal processing skill to calibrate the camera distortions which are able to take place from the acquisited multiview images. The discordance of the brightness and the colors are calibrated the color transform by extracting the feature point, correspondence point. And the difference of brightness is calibrated by using the differential map of brightness from each camera image. A spherical lens distortion is corrected by extracting the pattern of the multiview camera images. Finally the camera error and size among the multiview cameras is calibrated by removing the distortion. Accordingly, this proposed rectification & calibration system enable to effective 3D display and acquire natural multiview 3D image.