Image Recomposition System Using Segmentation and Style-transfer

세그먼테이션과 스타일 변환을 활용한 영상 재구성 시스템

기존 영상 콘텐츠에 새로운 물체를 삽입하는 등의 영상 재구성 기술은 새로운 게임, 가상현실, 증강현실 콘텐츠를 생성하거나 인공신경망 학습을 위한 데이터 증대를 위해 사용될 수 있다. 하지만, 기존 기술은 컴퓨터 그래픽스, 사람에 의한 수동적인 영상 편집에 의존하고 있어 금전적/시간적 비용이 높다. 이에 본 연구에서는 인공지능 신경망을 활용하여 낮은 비용으로 영상을 재구성하는 기술을 소개하고자 한다. 제안하는 방법은 기존 콘텐츠와 삽입하고자 하는 객체를 포함하는 영상이 주어졌을 때, 객체 세그먼테이션 네트워크를 활용하여 입력 영상에서 객체를 분리하고, 스타일 변환 네트워크를 활용하여 입력 영상을 스타일 변환한 후, 사용자 입력과 두 네트워크의 결과를 활용하여 기존 콘텐츠에 새로운 객체를 삽입하는 것이다. 실험에서는 기존 콘텐츠는 온라인 영상을 활용하였으며 삽입 객체를 포함한 영상은 ImageNet 영상 분류 데이터 세트를 활용하였다. 실험을 통해 제안한 방법을 활용하면 기존 콘텐츠와 잘 어우러지게끔 객체를 삽입할 수 있음을 보인다.