• 로봇학회논문지
• /
• 제4권4호
• /
• pp.298-304
• /
• 2009

This paper describes an algorithm that improves 3D reconstruction result using a multi-sensor fusion disparity map. We can project LRF (Laser Range Finder) 3D points onto image pixel coordinatesusing extrinsic calibration matrixes of a camera-LRF (${\Phi}$, ${\Delta}$) and a camera calibration matrix (K). The LRF disparity map can be generated by interpolating projected LRF points. In the stereo reconstruction, we can compensate invalid points caused by repeated pattern and textureless region using the LRF disparity map. The result disparity map of compensation process is the multi-sensor fusion disparity map. We can refine the multi-sensor 3D reconstruction based on stereo vision and LRF using the multi-sensor fusion disparity map. The refinement algorithm of multi-sensor based 3D reconstruction is specified in four subsections dealing with virtual LRF stereo image generation, LRF disparity map generation, multi-sensor fusion disparity map generation, and 3D reconstruction process. It has been tested by synchronized stereo image pair and LRF 3D scan data.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2015년도 추계학술대회
• /
• pp.93-96
• /
• 2015

Disparity Map 예측의 목적은 유사한 두개 또는 그 이상의 이미지들에서 서로 대응하는 픽셀을 찾는 데 있다. 하지만 실제 환경에서 정확하고 일정한 Disparity를 획득하는 것은 어려운 문제이다. 즉, 스테레오 이미지의 Intensity 정보는 조명 방향, 조명 색상, 카메라 노출과 같은 Radiometric 특성에 쉽게 영향을 받을 수 있다. 따라서 기존의 일반적인 Disparity Map 예측 방법은 Radiometric 조건에서 좋은 결과를 얻기 힘들다. 본 논문에서는 실제 환경에 근접한 Radiometric 변화에서 신뢰성을 가지는 Disparity Map 예측 방법을 제안한다. 스테레오 이미지에서 하나의 이미지가 다른 Radiometric 특성을 가지더라도 객체의 일정 블록 구간 내 픽셀의 Intensity가 일정성(Constancy)를 가진다는 것에 착안한다. 실험결과, 제안하는 방법이 Radiometric 조건에서 검증적인 대조군보다 정확한 Disparity Map을 보여준다. 결과적으로, 본 기술은 Radiometric 조건의 변화에서 안정적으로 Disparity Map을 예측한다.

• 한국통신학회논문지
• /
• 제34권3C호
• /
• pp.279-287
• /
• 2009

본 논문에서는 컬러 정보를 이용한 계층적 스테레오 정합 기법을 제안한다. 특징기반의 스테레오 정합 방법을 이용하여 초기 변이지도를 생성하고, 계층적 스테레오 정합 기법으로 최종 변이지도를 획득한다. 영상을 R, G, B, white 4개의 색상 성분으로 분할하여 영상의 경계(edge)를 추출하고, 추출된 경계에서 정합 창을 이용하여 변이(disparity)를 추정한다. 추정된 변이는 각 색상 성분에서 자기상관도(autocorrelation)에 따라 주변 영역으로 확산되어 초기 변이지도(disparity map)를 생성한다. 초기 변이지도는 최종 변이지도를 생성하기 위한 변이 탐색의 초기값으로 사용되고, 각 색상 성분에서 정합 창과 탐색 범위(search range)의 변화를 이용하여 최종 변이 지도를 생성시킨다. 본 논문에서는 Middlebury stereo vision의 4개의 실험 영상을 가지고 객관적 성능 평가를 하였다. 실험 결과 제안한 기법이 기존의 Graph-cuts와 Dynamic Programming 기법보다 우수한 성능을 보였다. 최종 변이지도의 부정확한 변이는 전체 영상에서 평균11% 존재했고, 변이지도에서 불연속점의 경계가 뚜렷한 것을 확인하였다.

• 전자공학회논문지
• /
• 제53권5호
• /
• pp.132-140
• /
• 2016

본 논문에서는 신뢰 영역을 검출하고 이를 이용하여 미스 매치된 영역에 대한 홀을 채우고 적응적으로 시차 지도를 조정하여 경계를 보존하는 스테레오 정합 방법을 제안한다. 초기 시차 지도 추정을 위해 비용 계산은 색상(CIE Lab)과 경사도(Gradient)를 결합하여 이용하였고, 두 번의 비용 결합 함수를 적용 하여 시차 지도를 추정 하였다. 화소 불일치 영역을 검출하기 위해 왼쪽/오른쪽 교차 검사를 수행 하였다. 두 픽셀 위치에서의 차이가 1보다 크면 폐색 영역이거나 잘못된 매칭으로 판단하고 왼쪽 시차 지도에 표시 하였다. 초기 시차 지도에서 깊이 불연속성으로 인한 에러값을 구별하기 위해 Mean-shift segmentation을 사용하여 신뢰 지도를 구하고 초기 시차 지도 영상에서의 에러값을 줄이기 위해 신뢰 지도 결과를 이용하여 시차 지도 조정을 수행한다. 실험 결과 제안하는 방법이 기존의 다른 방법들과 비교하여 비교적 높은 정확도를 보이는 시차 지도를 생성 하는 것을 보였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2007년도 가을 학술발표논문집 Vol.34 No.2 (C)
• /
• pp.510-515
• /
• 2007

2차원 영상으로부터 3차원 정보를 획득하기 위해서는 disparity map의 정확한 계산이 요구된다. Disparity map을 구하기 위한 기존의 알고리즘은 크게 상관도 기반 방법과 특징 기반 방법으로 분류되는데, 본 논문에서는 이들 각 방법에 대한 분석을 통해서 좀 더 정확한 disparity map을 구하는 방법을 모색한다. 이를 위해 스테레오 카메라로부터 획득된 2차원 영상에서 건물에 대한 깊이 정보 추출을 위해 SIFT 기법을 이용한 disparity map 생성 알고리즘을 제안한다. 제안된 기법은 수정된 MAD인 MMAD(Modified Mean of Absolute Differences) 알고리즘을 새로 제안하여 영역 기반의 유사도 측정을 기반으로 하면서 특징 기반 방법의 하나인 SIFT를 적용하여 거짓 정합(false matching)에 의한 에러를 줄이고 폐색(occlusion) 영역에 대한 오류를 보정한 disparity map을 생성하는데 초점을 둔다.

• 대한원격탐사학회:학술대회논문집
• /
• 대한원격탐사학회 1999년도 Proceedings of International Symposium on Remote Sensing
• /
• pp.304-309
• /
• 1999

In this paper, we presents a new disparity map refinement algorithm using statistical characteristics of disparity map and edge information. The proposed algorithm generate a refined disparity map using disparity maps which are obtained from area and feature-based Stereo Matching by selecting a disparity value of edge point based on the statistics of both disparity maps. Experimental results on aerial stereo image show the better results than conventional fusion algorithms in the disparity error. This algorithm can be applied to the reconstruction of building image from the high resolution remote sensing data.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2001년도 하계종합학술대회 논문집(4)
• /
• pp.65-68
• /
• 2001

In this paper, we propose a method to interpolate two images obtained from two parallel cameras. The proposed method uses BDM(Bidirectional Disparity Map) to prevent hole generation due to occlusion. Furthermore, we use the block-based DM(Disparity Map) to decrease the amount of computation, and also use the adaptive block size to minimize the error of the block-based DM.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2009년도 IWAIT
• /
• pp.99-102
• /
• 2009

In this paper a hierarchical stereo matching algorithm based on feature extraction is proposed. The boundary (edge) as feature point in an image is first obtained by segmenting an image into red, green, blue and white regions. With the obtained boundary information, disparities are extracted by matching window on the image boundary, and the initial disparity map is generated when assigned the same disparity to neighbor pixels. The final disparity map is created with the initial disparity. The regions with the same initial disparity are classified into the regions with the same color and we search the disparity again in each region with the same color by changing block size and search range. The experiment results are evaluated on the Middlebury data set and it show that the proposed algorithm performed better than a phase based algorithm in the sense that only about 14% of the disparities for the entire image are inaccurate in the final disparity map. Furthermore, it was verified that the boundary of each region with the same disparity was clearly distinguished.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 2005년도 ICCAS
• /
• pp.735-739
• /
• 2005

This paper presents a new system to estimate the head pose of human in interactive indoor environment that has dynamic illumination change and large working space. The main idea of this system is to suggest a new morphological feature for estimating head angle from stereo disparity map. When a disparity map is obtained from stereo camera, the matching confidence value can be derived by measurements of correlation of the stereo images. Applying a threshold to the confidence value, we also obtain the specific morphology of the disparity map. Therefore, we can obtain the morphological shape of disparity map. Through the analysis of this morphological property, the head pose can be estimated. It is simple and fast algorithm in comparison with other algorithm which apply facial template, 2D, 3D models and optical flow method. Our system can automatically segment and estimate head pose in a wide range of head motion without manual initialization like other optical flow system. As the result of experiments, we obtained the reliable head orientation data under the real-time performance.

• Journal of Electrical Engineering and Technology
• /
• 제10권5호
• /
• pp.2189-2196
• /
• 2015

Stereo matching algorithm is usually used to obtain a disparity map from a pair of images. However, the disparity map obtained by using stereo matching contains lots of noise and error regions. In this paper, we propose a virtual-view synthesis algorithm using disparity refinement in order to improve the quality of the synthesized image. First, the error region is detected by examining the consistency of the disparity maps. Then, motion information is acquired by applying optical flow to texture component of the image in order to improve the performance. Then, the occlusion region is found using optical flow on the texture component of the image in order to improve the performance of the optical flow. The refined disparity map is finally used for the synthesis of the virtual view image. The experimental results show that the proposed algorithm improves the quality of the generated virtual-view.