Efficient Hole Filling Method for Producing Virtual View Images

가상시점 영상 생성을 위한 효율적인 홀 채움 방법

본 논문에서는 가상시점 영상을 생성할 때 발생하는 홀 영역을 효율적으로 채우는 방법을 제안한다. 가상시점 영상을 생성하려면 우선 깊이 영상에 대해 3차원 워핑을 수행한 뒤, 이때 발생하는 작은 홀을 미디언 필터를 이용하여 적절히 채워야 한다. 홀이 채워진 깊이 영상을 기반으로 하여 입력받은 참조 컬러 영상에 대해 3차원 워핑을 수행하여 가상 위치에 새로운 시점 영상을 생성하게 된다. 이때 또한 마찬가지로 3차원 워핑을 수행하기 때문에 홀 영역이 발생하게 된다. 텍스쳐 영상을 워핑하여 새로운 좌표계로 옮긴 영상은 주변 컬러 화소들과의 관계들을 가지고 있다. 텍스쳐 영상을 워핑한 결과 영상에서 발생하는 홀 영역을 채우기 위해 방향성을 고려한 홀 채움 방법을 사용한다. 홀 주변 화소 영역의 값들을 홀을 채우게 될 후보 화소 값으로 설정한 뒤, 각각의 화소값에 대해 비용값을 계산한다. 이때 가장 적은 비용값을 갖게 하는 주변 화소 값을 해당 영역의 홀 채움 값으로 사용하게 된다. 좌영상과 우영상을 워핑할 때 발생하는 홀 영역의 위치가 각각 다르게 나타난다. 홀 영역은 배경화소 값을 이용해 채울 경우 자연스러운 결과를 보인다. 배경화소 값을 이용하기 위해 좌영상과 우영상에 따른 새로운 홀 스캔 방향 또한 제안한다. 능동적으로 홀 스캔 방향을 선택하여 홀 주변 화소값들을 스캔해가며 워핑 결과 발생하는 홀 영역을 효율적으로 채우게 된다. 결과적으로 제안한 방법을 통하여 생성된 가상시점 영상의 화질이 좋아지는 결과를 확인할 수 있었다.