A Study on Implementation of Motion Graphics Virtual Camera with AR Core

Abstract

In this study, to reduce the time and cost disadvantages of the traditional motion graphic production method in order to realize the movement of a virtual camera identical to that of the real camera, motion graphics virtualization using AR Core-based mobile device real-time tracking data A method for creating a camera is proposed. The proposed method is a method that simplifies the tracking operation in the video file stored after shooting, and simultaneously proceeds with shooting on an AR Core-based mobile device to determine whether or not tracking is successful in the shooting stage. As a result of the experiment, there was no difference in the motion graphic result image compared to the conventional method, but the time of 6 minutes and 10 seconds was consumed based on the 300frame image, whereas the proposed method has very high time efficiency because this step can be omitted. At a time when interest in image production using virtual augmented reality and various studies are underway, this study will be utilized in virtual camera creation and match moving.

본 연구는 실제 카메라의 움직임과 동일한 가상 카메라의 움직임을 구현하기 위해 전통적인 모션그래픽 제작 방법이 가지고 있는 소요시간과 비용에 대한 단점을 줄이기 위해 AR Core 기반의 모바일 디바이스 실시간 트래킹 데이터를 이용하여 모션그래픽 가상카메라를 생성하는 방법을 제안했다. 제안하는 방법은 촬영 이후 저장된 비디오 파일에서의 트래킹 작업을 간소화하고, 촬영 단계에서 트래킹 성공 유무를 판단하기 위해 AR Core 기반 모바일 디바이스에서 촬영과 동시에 진행하는 방법이다. 실험결과 전통적인 방법과 비교하였을 때 모션그래픽 결과 이미지의 차이는 없었으나 300프레임(frame) 영상 기준 6분 10초의 시간이 소모된 반면에 제안한 방법은 이 단계를 생략할 수 있어 매우 높은 시간적 효율성을 갖는다. 현재 가상 증강 현실을 이용한 영상제작에 대한 관심과 다양한 연구가 진행되고 있는 시점에서 본 연구는 가상 카메라 생성과 매치 무빙 등에서 활용될 있을 것이다.

I. Introduction

오늘날 컴퓨터 기술과 미디어 기술의 발전으로 다양한가상 이미지를 표현할 수 있게 되었다. 이를 컴퓨터 그래픽스(computer graphics)라 하며, 이 이미지를 이용한 다양한 영상 장르가 있다. 대표적으로 모션그래픽은 글자, 이미지와 같은 다양한 그래픽 요소들을 이용하여 영상을 제작하는 방식이다.

이는 그래픽 요소의 움직임과 프로그램 내 가상 카메라의 움직임을 이용하여 제작한다. 특히, 가상 카메라의 움직임이 얼마나 자연스러운가는 영상의 완성도를 보여주는 하나의 지표이기도 하다.

가상 카메라의 움직임을 설정하는 기존 방법에는 프레임 단위 영상의 움직임에 키포인트를 사용자가 설정하는 방식과 촬영된 영상으로부터 실제 카메라의 움직임을 반영하기 위하여 카메라의 외부 파라미터를 추출하는 방식을 사용하는데, 이 방법들은 많은 시간과 인력을 필요로 하는 매우 힘든 작업이다.

본 논문에서는 실시간 카메라 트래킹이 가능한 AR Core 기반 모바일 디바이스와 카메라를 마운트(mount)하여 실시간으로 카메라의 외부 파라미터를 추출한 후, 편집프로그램 내의 3D 가상 카메라에 매핑(mapping)하여 모션그래픽을 완성하는 제작 방법을 제안한다.

논문의 구성은 제 2장에서 관련 연구와 이론적 배경을 소개하고, 제 3장에서는 제안한 알고리즘과 연구방법에 대하여 서술했다. 그리고 제 4장에서는 제안한 방법의 실험및 연구결과에 대하여 분석하고, 마지막으로 제 5장에서는 본 논문의 내용을 종합하여 결론을 맺고자 한다.

II. Related Works

가상 카메라의 움직임은 모션그래픽을 제작하는데 있어서 완성도를 결정하는 중요한 요소 중에 하나다. 이는 실제 표현하기 어려운 카메라의 움직임을 표현할 수 있다는 장점도 있지만 반면에 사용자가 프레임 단위로 움직임을 설정해야하기 때문에 많은 시간과 노력이 필요하다는 단점이 있다.

그리고 어떤 상황에 따라 실제 카메라의 움직임을 표현해야 하는 경우 자연스러운 표현을 하는데 있어 물리적인 한계가 존재한다. 이러한 어려움을 해결하기 위해서 가상카메라의 움직임 표현에 대한 여러 선행 연구들이 진행되었다. 최승원 외 1명은 “모션그래픽에서 인접 분야를 통한 모션디자인의 기초교육과정 연구”에서 카메라 움직임의 유형 및 특성 학습의 필요성을 강조 하였으며[1], 박희현은 “효과적인 모션그래픽 연출을 위한 시지각적 연구”를 통하여 모션그래픽의 구성요소를 ‘그래픽’, ‘움직임’, ‘사운드’로 규정하고 세 가지 요소를 시지각적으로 분석했다.[2]. 실제 카메라의 움직임을 반영한 연구로는 이준상 외 2명의 “매치무빙 기법을 활용한 모션그래픽 영상제작에 관한 연구”에서 녹화된 영상으로부터 특징 점의 추적 알고리즘을 이용하여 카메라의 외부 파라미터를 추출하였 고, 이 추출한 파라미터를 가상 카메라에 적용하여 모션그래픽 영상 제작에 활용하였다[3].

그러나 이러한 연구들은 이미 녹화된 영상으로부터 특징 점을 추출하여 카메라의 외부 파라미터를 추정하는 단계를 거쳐야 함으로써 이를 위한 많은 시간과 노력이 소모된다는 단점을 가지고 있다.

본 논문과 비슷하게는 김륭희 외 3명은 “후반 영상 제작에서의 실시간 위치 트래킹을 이용한 모션그래픽 가상카메라 연구”에서 RGB 카메라와 Zed 스테레오 카메라를 연동해 실시간으로 특징 점 추출 및 카메라 움직임을 추정하였고, 이를 이용하여 모션그래픽을 제작하는 연구를 진행하였다[4]. 하지만 Zed 카메라의 경우 제품의 비용 적, 활용 및 운영 적 측면에서 일반 사용자들의 접근성이 매우낮다는 단점이 있다.

또한, 이재현 외 4명은 “A Novel Real-Time Match-Moving Method with HoloLens”에서 RGB 카메라와 Hololens를 연동해 실시간으로 합성하는 XR 스튜디오의 개념을 설명하였다[5]. 이는 본 논문과 다르게 AR(Augmented Reality)에 가까운 개념이며, 모션그래픽은 VR(Virtual Reality)과 유사하다고 볼 수 있다.

본 연구에서는 모션에서의 객체의 위치와 회전에 대한 데이터 추출을 통해 기존 작업 방식 보다 상대적으로 짧은 시간에 데이터를 추출할 수 있고 모바일 디바이스의 활용으로 접근성과 사용이 편리하다는 장점이 있다.

III. Preliminaries

1. Motion Graphic and Augmented Reality

1.1 Motion Graphic

디지털 모션그래픽은 움직임을 뜻하는 모션(motion)과 이미지, 비디오, 타이포그래피와 같은 요소를 의미하는 그래픽(graphic)이 합쳐진 단어로서 움직이는 그래픽을 의미한다[6]. 움직임 자체는 모션그래픽과 기존 그래픽 디자인을 구분하는 요소이기도 하다. 기본적으로 움직임은 시간적 요소를 포함하고 있고, 모션그래픽은 프레임이 의미하는 시간의 흐름에 따라 그래픽 요소들의 공간적 위치 값의 변화를 의미한다[1]. 이때 공간적 위치 값의 변화란 초기에는 2D 화면상의 x, y축을 의미하였으나, 3D 공간에서의 z축이 포함된 의미로 확장되었다.

모션그래픽에서의 움직임은 가상 카메라의 움직임과 그래픽 요소의 움직임으로 분리하여 구분할 수 있으며, 모든 움직임의 표현은 물리학의 기반으로 표현되었을 때 높은 공간감 및 현실감을 제공할 수 있다.

움직임을 표현함에 있어 속도, 무게 그리고 중력과 관성의 법칙을 고려해야만 한다[7]. 아래 Fig. 1.은 일반 그래픽과 모션그래픽과의 차이를 보여주고 있다.

Fig. 1. General graphic and Motion graphic

1.2 Virtual Camera

본 연구에서는 가상 카메라는 편집 프로그램 내 3D 공간을 표현하는 카메라를 의미한다. 이는 실제 카메라와 동일한 파라미터를 가지고 있다.

이 가상 카메라의 초점거리, 화각 등의 내부 파라미터와 이동, 회전 등의 외부 파라미터를 동일하게 표현함으로써 동일한 역할을 수행할 수 있다. 외부 파라미터는 카메라의 움직임을 지칭하며 일반적으로 사용자가 키 프레임을 이용하여 움직임을 표현한다.

Fig. 2.는 Adobe의 After Effects의 카메라 설정 창과키 프레임을 이용한 장면을 나타낸 것이다. 카메라 설정창에서 카메라의 내부 파라미터를 설정할 수 있다. 본 논문에서는 실제 카메라의 움직임을 이용하여 모션 그래픽을 제작하는 방법을 제안하기 때문에 외부 파라미터만을가상 카메라와 맵핑하여 실험을 진행한다.

Fig. 2. Setting of After Effect Camera window and Key Frame

1.3 Augmented Reality and Virtual Device

최근 증강현실 기술의 발전으로 실시간 위치 추적이 가능한 모바일 디바이스가 등장하고 있다.

SLAM(simultaneous localization and mapping) 방식을 사용하여 단안 카메라로 시간에 따른 장면의 변화를 다루는 알고리즘으로 스테레오 효과를 얻는 방식[8]과 양안 카메라를 이용하여 시차를 추출하는 스테레오 비전 방식[9] 등이 대표적이다. 이외에도 적외선 패턴을 이용한 Structured light 방식이나 적외선 송수신의 시간차를 이용한 ToF(time of flight)방식을 사용하기도 한다[10].

그 중 SLAM 방식은 주변 공간의 특징 점을 추출하여 현재 디바이스의 위치를 추정하는 방식이다. 이를 기반으로 한 여러 가지의 AR관련 개발 제품들이 있으며, 구글에서 개발한 AR Core와 애플에서 개발한 AR 키트가 대표적이다.

본 논문에서는 SLAM 방식을 사용하는 대표적인 AR 개발 제품인 AR Core를 기반으로 한 모바일 디바이스를 사용했다. 이는 단안 카메라를 이용하기 때문에 현재 상용화된 기존 모바일 디바이스에 바로 적용이 가능하다는 장점이 있다.

Fig. 3.은 실험에 사용한 AR Core가 호환되는 모바일 디바이스의 목록을 나타낸 것이며, 본 논문에서는 AR Core가 호환되는 가장 낮은 모델인 Galaxy S7을 사용하여 실험했다. 이는 본 실험에서 AR Core의 위치 트래킹기능만을 활용하기 때문에 디바이스 자체 기종과 성능에 따른 영향을 최소화하기 위함이다.

Fig. 3. AR Core Compatibility Device List[11]

IV. The Proposed Method

본 논문에서 제안하는 방법은 AR Core 기반의 모바일 디바이스를 실시간 트래킹 디바이스로서 활용한다.

이는 실시간으로 위치와 회전 데이터를 추출하기 때문에 기존 작업 방식에 비해 시간과 인력의 소모를 줄일 수 있다. 또한 이미 상용화된 모바일 디바이스를 활용하기 때문에 일반 사용자들의 접근성이 높다는 점에서 기존 방법과 차이를 가지고 있다. Fig. 4.는 제안하는 방법과 기존 방법의 모션그래픽 제작 과정을 비교했다..

Fig. 4. Comparing of AR Core and traditional method

전통적인 방법은 카메라 촬영 및 저장과 백업 과정을 거쳐 촬영한 비디오 데이터를 트래킹 프로그램을 이용해 위치와 회전 데이터를 추출한다. 트래킹 프로그램은 Boujou, Match-mover 등 다양한 프로그램들이 존재하지만 본 논문에서는 모션그래픽에 특화된 After Effect를 사용했다.

전통적인 방법은 촬영한 비디오 데이터로부터 트래킹을 수행할 때 비디오의 길이와 화질(Resolution)에 따라 소요시간이 달라질 수 있다. 또한, 촬영 단계에서 특징 점을 추출할 수 없는 배경이나 빠른 움직임으로 인해 트래킹이 실패할 가능성이 있다. 이 경우, 촬영을 다시 진행해야 하기에 비용과 시간에 소모가 높다는 단점이 있다.

이를 해결하기 위해 본 논문에서 제안하는 방법은 촬영 이후 저장된 비디오 파일에서의 트래킹 작업을 간소화하고, 촬영 단계에서 트래킹 성공 유무를 판단하기 위해 AR Core 기반 모바일 디바이스에서 촬영과 동시에 진행된다.

이 단계에서는 카메라의 위치 및 회전 값이 저장된다. 해당 데이터를 추출/저장하기 위해 AR Core 프로그램과 Unity 게임엔진을 USB 3.0 케이블을 통해 실시간으로 연동시킬 수 있으며, 디바이스 내 스토리지에 저장도 가능하다. 본 실험에서는 디바이스 내 스토리지에 저장했다.

앞서 언급한 것처럼 본 논문의 실험에서는 Adobe사의 After Effects(AE)을 사용하여 모션그래픽을 제작했다. AE는 자체 스크립트인 표현 식(expression)을 사용하고 있으며 이를 이용하여 프로그램 내 3D 가상 카메라의 움직임을 제어할 수 있다. 따라서 모바일 디바이스에서 실시간으로 저장되어지는 카메라의 외부 파라미터 데이터를 AE 표현식 형태로 저장해야 한다.

본 논문에서 제안하는 방법을 활용한 모션그래픽 제작의 결과를 확인하기 위하여 AR Core 기반 모바일 디바이스인 Galaxy S7과 RGB 카메라를 마운트 하여 촬영을 진 행했다. RGB 카메라는 Canon Eos 100d와 50mm 표준렌즈를 사용했다.

영상은 RGB 카메라를 이용하여 초당 30프레임과 HD 화질로 10초간 300개의 프레임을 기록하였으며, 이와 동일하게 Galaxy S7은 AR Core 어플리케이션을 이용하여 30hz로 300개의 위치 및 회전 데이터를 기록했다.

카메라의 움직임은 핸드-헬드(hand-handle)로 일반적으로 사용하는 팬(pan), 틸트(pilt) 및 랜덤(random)한 움직임을 1회 기록하는 방식으로 진행했다.

Table 1.은 RGB 카메라와 AR Core 모바일 디바이스 정보를 비교한 것이다.

Table 1. Comparison of RGB camera and mobile device

V. Experiment Resultant Analysis

RGB 카메라와 Galaxy S7을 이용하여 카메라의 영상뿐만 아니라 움직임 데이터를 각각 획득했다. 이들의 시간적 차이를 비교하기 위해 RGB 카메라에서 기록한 영상을 AE의 모션 추적(motion tracking)을 사용하여 카메라의 외부 파리미터를 추출하였고, Galaxy S7에서 추출한 데이터를 표현 식으로 변경한 후 AE에 적용했다.

모션 추적을 이용한 전통적인 방법은 파라미터를 추출하여 분석하고, 이를 데이터에 적용하는데 6분 10초가 소요되었으나, AR Core를 이용한 제안하는 방법은 해당 단계를 생략할 수 있어 6분 이상의 시간적 소모를 줄일 수 있었다.

Table 2.는 두 방법의 소모 시간을 보여주고 있다.

Table 2. The time required Traditional Method and Proposed Method

본 논문에서 제안한 방법에서는 모션그래픽 제작을 위해 AE(after effects)를 사용하였으며, 내부 파라미터는 동일하게 설정하여 가상 카메라를 생성했다.

Fig. 5.는 10초 동안 촬영 된 영상으로부터 모션 그래픽을 제작하기 위해 본 논문에서 제안한 방법과 기존 방법을 비교한 것이다.

Fig. 5. A Comparison of traditional method(Motion Tracking) with proposed Method(AR Core)

AR Core는 본 논문에서 제안한 방법으로 실험한 결과이며, 모션 추적은 기존 방법을 사용한 결과를 보여 주고있다. RGB 카메라는 촬영되는 실제 이미지를 보여준다. Fig. 5.의 각 프레임에서 보이는 이미지처럼 두 영상에는 큰 차이가 없음을 알 수 있다.

본 논문에서 제안한 AR Core를 이용한 방법으로 모션그래픽을 제작한 결과와 모션 추적으로 파라미터를 추출하여 분석하고 이를 데이터에 적용하여 제작하는 기존 방법과 제작한 결과 이미지는 차이가 거의 없다. 그러나 제작 과정에서 본 논문에서 제안한 방법은 한 단계를 생략할 수 있으므로 시간적 소모를 줄일 수 있어서 제안한 방법이더 높은 효율성을 가지고 있음을 알 수 있다.

VI. Conclusion

본 논문에서는 AR Core를 기반으로 모바일 디바이스의 위치 데이터를 이용하여 모션그래픽 가상 카메라를 생성하는 방법을 제안 했다. 실험을 통하여 제안 방법과 기존 방법을 비교하였을 때 생성된 이미지 형태는 차이가 없었으나, 기존 방법은 본 실험 영상에서 300f 영상 기준으로 6분 10초 정도의 시간이 소요되는 반면, 본 논문에서 제안한 방법은 이 단계를 생략할 수 있어 영상 제작 시 시간적 효율성이 매우 높음을 알 수 있었다.

오늘날 가상 증강 현실을 이용한 영상 제작에 대한 관심이 많고 이에 대한 다양한 연구가 진행되고 있는 현 시점에서, 제안한 방법은 가상 카메라 활용이나 영상 생성 및 매치 무빙 등에 다양하게 활용될 수 있을 것이다.

향후에는 촬영 단계에서 모션그래픽의 결과물을 미리 점검하여 주변 환경에 의해서 발생할 수 있는 오류를 사전에 방지하기 위해 사전 시각화 프로그램에 대한 연구가 필요하다.