• 한국정보통신학회논문지
• /
• 제16권7호
• /
• pp.1477-1486
• /
• 2012

본 논문에서는 가상시점 깊이영상 생성 기법을 이용한 다양한 시점의 CGH(computer generated hologram) 생성 시스템을 제안한다. 제안한 시스템에서는 먼저 TOF(time of flight) 깊이 카메라를 이용하여 신뢰도 높은 기준시점 깊이영상을 획득하고 카메라 보정 과정을 통해 기준시점 카메라들의 카메라 파라미터를 추출한다. 가상시점 카메라의 위치가 정의되면 기준시점 카메라와의 거리와 위치를 고려하여 최적의 기준시점 카메라들을 선택한다. 가상시점 카메라와 가장 가까운 기준시점 카메라를 주 기준시점으로 결정하고 가상시점 깊이영상을 생성한다. 주 기준시점 카메라와 위치가 반대인 기준시점 카메라를 보조 기준시점으로 선택하여 가상시점 깊이영상을 생성한다. 주 기준시점을 통해 생성된 가상시점 깊이영상에 나타나는 가려짐 영역을 보조 기준시점으로 생성된 가상시점 깊이영상으로부터 찾아 보상한다. 보상이 되지 않고 남은 홀영역은 주변값 중 가장 작은 값으로 채워 최종 가상시점 깊이영상을 생성한다. 최종 가상시점 깊이 영상을 이용하여 CGH를 생성한다. 실험을 통해 기존의 기법보다 제안하는 가상시점 깊이영상 합성 시스템의 성능이 우수함을 확인하였다.

• Journal of the Optical Society of Korea
• /
• 제19권3호
• /
• pp.248-254
• /
• 2015

In this paper we propose an improved version of the computational integral imaging reconstruction (CIIR) for visualizing a partially occluded object by utilizing an image inpainting technique. In the proposed method the elemental images for a partially occluded three-dimensional (3D) object are recorded through the integral imaging pickup process. Next, the depth of occlusion within the elemental images is estimated using two different CIIR methods, and the weight mask pattern for occlusion is generated. After that, we apply our image inpainting technique to the recorded elemental images to fill in the occluding area with reliable data, using information from neighboring pixels. Finally, the inpainted elemental images for the occluded region are reconstructed using the CIIR process. To verify the validity of the proposed system, we carry out preliminary experiments in which faces are the objects. The experimental results reveal that the proposed system can dramatically improve the quality of a reconstructed CIIR image.

• 한국정보통신학회논문지
• /
• 제16권8호
• /
• pp.1642-1652
• /
• 2012

일반적인 화상회의 시스템에서는 카메라의 위치가 모니터 중앙에 위치하여 있지 않기 때문에 화자간의 시점 불일치 현상이 발생하게 되며 따라서 대화 시 현장감이 떨어지는 문제가 발생한다. 본 논문에서는 컬러 카메라와 깊이 카메라(depth camera)를 이용하여 획득한 컬러 영상과 깊이 정보를 가지고 DIBR(Depth image based rendering) 기반의 시점 일치(eye-contacted) 영상을 생성하는 기법을 제안한다. 제안하는 기법에서는 생성된 시점 일치 영상에서 발생하는 홀(hole)을 인접 화소 값의 산술평균을 이용하여 효율적으로 채울 수 있는 홀 채움 기법과 객체 경계에서 발생하는 잡음을 효율적으로 제거하기 위해 깊이 정보에서 획득된 객체의 경계를 확장하여 보정하는 기법이 포함되어 있다. 제안하는 기법으로 생성된 시점 일치 영상은 매우 좋은 화질을 갖는다는 것을 실험을 통하여 보였다.

• 한국통신학회논문지
• /
• 제34권10B호
• /
• pp.1111-1116
• /
• 2009

본 논문에서는 집적 영상의 획득과 복원을 이용하여 왜곡에 강인한 물체를 인식하는 방법을 연구한다. 해당 화소들의 확률적 특성인 평균과 표준편차를 이용하여 3차원 공간에서 물체를 복원하고 거리를 추정한다. 표적인식은 Fisher 선형판별법(linear discriminant analysis, LDA)과 주성분 분석법(principal component analysis, PCA) 기술을 결합한 통계적 분류기(statistical classifier)로 수행한다. Fisher 선형판별법은 클래스 간의 판별력을 최대로 하고 주성분 분석법은 Fisher 선형판별법을 수행하기 위한 차원축소를 실행한다. 주성분 분석법은 차원축소 후 복원된 벡터와 원 벡터의 오차를 최소화하는 기술로 알려져 있다. 실험 및 시뮬레이션을 통하여 면외(out-of-plane) 회전된 표적을 본 논문에서 제안한 방법으로 분류한다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제9권7호
• /
• pp.2585-2598
• /
• 2015

Hand posture recognition has played a very important role in Human Computer Interaction (HCI) and Computer Vision (CV) for many years. The challenge arises mainly due to self-occlusions caused by the limited view of the camera. In this paper, a robust hand posture recognition approach based on 3D point cloud from two RGB-D sensors (Kinect) is proposed to make maximum use of 3D information from depth map. Through noise reduction and registering two point sets obtained satisfactory from two views as we designed, a multi-viewed hand posture point cloud with most 3D information can be acquired. Moreover, we utilize the accurate reconstruction and classify each point cloud by directly matching the normalized point set with the templates of different classes from dataset, which can reduce the training time and calculation. Experimental results based on posture dataset captured by Kinect sensors (from digit 1 to 10) demonstrate the effectiveness of the proposed method.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2009년도 IWAIT
• /
• pp.418-422
• /
• 2009

Generally, algorithms for generating disparity maps can be clssified into two categories: region-based method and feature-based method. The main focus of this research is to generate a disparity map with an accuracy depth information for 3-dimensional reconstructing. Basically, the region-based method and the feature-based method are simultaneously included in the proposed algorithm, so that the existing problems including false matching and occlusion can be effectively solved. As a region-based method, regions of false matching are extracted by the proposed MMAD(Modified Mean of Absolute Differences) algorithm which is a modification of the existing MAD(Mean of Absolute Differences) algorithm. As a feature-based method, the proposed method eliminates false matching errors by calculating the vector with SIFT and compensates the occluded regions by using a pair of adjacent SIFT matching points, so that the errors are reduced and the disparity map becomes more accurate.

• IEIE Transactions on Smart Processing and Computing
• /
• 제4권4호
• /
• pp.224-230
• /
• 2015

This manuscript presents a real-time solution for 3D human body reconstruction with multiple RGB-D cameras. The proposed system uses four consumer RGB/Depth (RGB-D) cameras, each located at approximately $90^{\circ}$ from the next camera around a freely moving human body. A single mesh is constructed from the captured point clouds by iteratively removing the estimated overlapping regions from the boundary. A cell-based mesh construction algorithm is developed, recovering the 3D shape from various conditions, considering the direction of the camera and the mesh boundary. The proposed algorithm also allows problematic holes and/or occluded regions to be recovered from another view. Finally, calibrated RGB data is merged with the constructed mesh so it can be viewed from an arbitrary direction. The proposed algorithm is implemented with general-purpose computation on graphics processing unit (GPGPU) for real-time processing owing to its suitability for parallel processing.

• Journal of the Optical Society of Korea
• /
• 제19권4호
• /
• pp.390-396
• /
• 2015

We propose a partial occlusion removal method for computational integral imaging reconstruction (CIIR) based on the usage of the exemplar based inpainting technique. The proposed method is an improved version of the original linear inpainting based CIIR (LI-CIIR), which uses the inpainting technique to fill in the data missing region. The LI-CIIR shows good results for images which contain objects with smooth surfaces. However, if the object has a textured surface, the result of the LI-CIIR deteriorates, since the linear inpainting cannot recover the textured data in the data missing region well. In this work, we utilize the exemplar based inpainting to fill in the textured data in the data missing region. We call the proposed method the neighboring elemental image exemplar based inpainting (NEI-exemplar inpainting) method, since it uses sources from neighboring elemental images to fill in the data missing region. Furthermore, we also propose an automatic occluding region extraction method based on the use of the mutual constraint using depth estimation (MC-DE) and the level set based bimodal segmentation. Experimental results show the validity of the proposed system.

• 한국정보통신학회논문지
• /
• 제20권7호
• /
• pp.1369-1375
• /
• 2016

본 논문에서는 요소 영상간의 상관관계를 위상필터를 이용하여 구하고 집적 영상 기술에서 이를 활용하여 깊이정보를 추출하는 시스템을 제안한다. 집적 영상 기술은 수동 광원을 사용하여 렌즈 배열을 통해 3차원 물체의 광선정보를 2차원 영상 획득 장치로 기록하고 이를 동일한 렌즈 배열을 통해 3차원 영상을 디스플레이 하는 3차원 영상 시스템 기술이다. 렌즈 배열을 통해 획득된 2차원 영상들은 서로 다른 원근감을 가지는 요소 영상이다. 이 영상들과 물체와의 상관관계를 구하여 깊이정보를 추출할 수 있다. 그리고 요소 영상으로 컴퓨터 재생을 하여 다시 필터를 이용한 상관관계를 구하게 되면 더욱 정확한 깊이정보를 얻을 수 있다. 본 논문에서는 제안된 기술을 검증하기 위해 광학적 실험을 수행하고 상관관계의 지표로써 Peak Side lobe Ratio (PSR)을 구하였다.

• 한국컴퓨터정보학회논문지
• /
• 제28권8호
• /
• pp.95-101
• /
• 2023

Colmap은 혁신적인 인공지능 기술 중 하나로, 3D 재구성 작업에 있어 매우 유용한 도구로 사용된다. 또한, 이미지와 해당 메타데이터를 활용하여 세밀한 3D 모델을 구축하는 데 탁월하다. 2D 이미지, 카메라의 위치 정보, 깊이 정보 등을 결합하여 Colmap은 3D 모델을 생성한다. 이를 통해 실제 세계의 객체들을 포함한 상세하고 정확한 3D 재구성을 이뤄낼 수 있다. 또한, Colmap은 대규모 데이터 세트에서 효율적으로 작동할 수 있도록 GPU를 활용하여 빠른 처리를 제공한다. 본 논문에서는, 우리나라 전통탑의 2D 이미지를 수집하고, Colmap을 사용하여 3D 모델로 재구성하는 방법을 제시했다. 본 연구는 우리나라의 전통적인 석탑 복원 과정에 이 기술을 적용했다. 이로써, 문화재 복원 분야에서의 Colmap의 응용 가능성을 확인했다.