실재하는 물체나 장소를 디지털 카메라나 휴대폰 카메라로 여러 장 촬영하여 얻은 2차원 이미지 데이터셋으로부터 3차원 영상을 얻기 위해서 이미지를 이루는 각 pixel의 depth 정보를 얻는 것은 필수적인 과정이다. 주어진 이미지에서 depth 정보를 얻기 위해 Shuhan Shen은 PatchMatch 알고리즘을 활용하는 것을 제안하였다. 그 이후 PatchMatch 기반의 알고리즘은 널리 사용되며 우수한 성능을 보이고 있다. PatchMatch 기반의 알고리즘을 사용해 depth를 추정하는 과정에서 depth와 법선 벡터를 Zero-mean Normalized Cross Correlation(ZNCC)를 사용해 평가한다. 하지만, ZNCC는 depth를 평가하려는 pixel의 주변 pixel들의 밝기 값 혹은 색상 값의 분포를 사용하기 때문에 밝기 값이나 색상 값의 변화가 적은 texture-less region에서는 신뢰성이 떨어진다. 본 논문에서는 이 문제를 epipolar geometry를 활용한 기하학적 정보를 이용하여 개선하고자 한다.
This work was partially supported by the National Research Foundation of Korea (NRF) under Grant 2022R1F1A1071513 and partially by the Institute for Information & Communications Technology Promotion (IITP) under Grant 2017-0-00486 funded by the Korea government through the Ministry of Science and ICT (MSIT).