Temporal Stereo Matching Using Occlusion Handling

Generally, stereo matching methods are used to estimate depth information based on color and spatial similarity. However, most depth estimation methods suffer from the occlusion region because occlusion regions cause inaccurate depth information. Moreover, they do not consider the temporal dimension when estimating the disparity. In this paper, we propose a temporal stereo matching method, considering occlusion and disregarding inaccurate temporal depth information. First, we apply a global stereo matching algorithm to estimate the depth information, we segment the image to occlusion and non-occlusion regions. After occlusion detection, we fill the occluded region with a reasonable disparity value that are obtained from neighboring pixels of the current pixel. Then, we apply a temporal disparity estimation method using the reliable information. Experimental results show that our method detects more accurate occlusion regions, compared to a conventional method. The proposed method increases the temporal consistency of estimated disparity maps and outperforms per-frame methods in noisy images.

폐색 영역을 고려한 시간 축 스테레오 매칭

스테레오 정합은 두 영상의 색상과 공간 유사성이 최대가 되는 지점을 찾아 깊이 정보를 예측한다. 그런데, 두 시점 사이에 발생하는 폐색 영역으로 잘못된 깊이 정보를 얻게 되고, 폐색 영역을 보완하지 않은 깊이 정보는 시간 축 스테레오 매칭에서 잡음을 전파하는 문제를 일으킨다. 본 논문은 폐색 영역을 보완하여 시간 축 상에서 발생하는 잡음의 전파를 줄이고, 정확한 깊이 정보를 공유하여 스테레오 매칭의 정확성을 높이는 방법을 제안한다. 제안한 알고리즘을 수행하기 위해 색상과 공간의 유사성을 계산하는 함수를 정의하여 초기 깊이 정보를 예측하고, 세 가지 제약사항을 고려한 에너지 함수를 세워 (EM: expectation maximization) 으로 폐색 영역을 구한 뒤, 동적 프로그래밍 방법으로 예측된 폐색 영역을 보정한다. 끝으로, 이전시점에 구해진 정확한 깊이 정보를 사용하여 시간 축 스테레오 매칭을 수행한다. 실험을 통해 제안한 알고리즘이 기존의 폐색영역 예측 방법보다 우수한 성능을 가지는 것을 알 수 있었으며, 시간 축 정보를 고려하지 않은 스테레오 매칭 방법보다 정확한 결과를 얻는 것을 확인할 수 있었다.