Adaptive Face Blending for Face Replacement System

얼굴교체 시스템을 위한 적응적 블렌딩 방법

본 논문에서는 포즈에 적응적인 가중치 맵 (weight map)에 기반한, 얼굴 교체시스템을 위한 블렌딩 기법을 제안한다. 우선 얼굴교체를 진행하기 위해 목표얼굴이 들어있는 영상으로부터 실시간으로 얼굴의 기하학적 특징점 (land mark)을 검출한다. 다음 검출된 특징점의 분포에 따라 얼굴영역에 대해 삼각화 (triangulation)를 진행한다. 참조영상에 대해서도 같은 과정을 적용하고 대응되는 영역끼리 워핑 (warping) 변환을 시키면 목표 얼굴과 같은 포즈의 참조얼굴을 얻을 수 있다. 그 다음 두 영상의 피부색 톤을 일치시켜주고 안면교체를 진행한다. 하지만 교체된 영역과 목표 얼굴 사이에 부자연스러운 경계가 발생하게 되는데 블렌딩 기법을 통해 이런 경계를 제거한다. 본 논문에서는 사전에 표준얼굴형태모델을 이용하여 정면 얼굴의 가중치 맵을 생성하고, 표준얼굴형태모델과 목표 얼굴사이 변환관계를 이용하여 포즈에 대응되는 가중치지도를 생성하였다. 이렇게 얻어진 가중치 맵은 일관되게 정해진 가중치 맵에 비해 포즈변화에 적응적으로 대처할 수 있어 보다 자연스러운 얼굴교체 효과를 얻을 수 있다.