Design and implementation of interpolated view video

중간 시점 영상 생성 기술 설계 및 구현

최근 미디어의 생성 및 소비 기술의 발전으로 몰입도 있는 콘텐츠에 대한 수요가 증가하고 있다. View Interpolation 기술은 두 개의 좌/우 영상을 기반으로 하여 두 영상의 중간 시점에 해당하는 영상을 생성해내는 기술이다. 먼저 Depth Hole Filling Module을 이용하여 좌/우 영상 및 그에 대응하는 깊이 지도를 입력으로 받아 깊이 지도에 존재하는 오류를 검출하고, 보정한다. 깊이 지도의 오류 보정이 완료되면, 해당 데이터를 각각 Feature Matching Module 및 Layer Dividing Module로 전달한다. Feature Matching Module은 실사 영상 내의 특징점들을 검출하고, 두 영상 내 특징점을 매칭하는 역할을 수행하며, Layer Dividing Module은 깊이 값을 기반으로 영상의 Layer를 분할한다. Feature Matching Module에서 특징점의 매칭이 완료되면, 특징점의 영상 내 좌표 및 해당 좌표에서의 깊이 값을 Distance Estimating Module로 전달한다. Distance Estimating Module은 전달받은 특징점의 좌표 및 해당 좌표에서의 깊이 값을 기반으로 전체 깊이 값에서의 이동도를 계산한다. 이와 같이 이동도의 계산 및 Layer 분할이 완료되면, 각 Layer를 이동도에 기반하여 이동시키고, 이동된 Layer들을 포개어 배치함으로써 View interpolation을 완성한다.