Design of OpenScenario Structure for Content Creation Service Based on User Defined Story

사용자 정의 스토리 기반 콘텐츠 제작 서비스를 위한 오픈 시나리오 언어 구조 설계

Abstract

It is a story-based content creation service that provides any user with some proper contents based on a story written by the user in order to utilize a lot of contents accumulated on Internet. For this service, the story has to be described in computer-readable representation. In this paper, analyzing the structure of scenario, as known as screenplay or scripts, a structure of story representation, which is referred to as OpenScenario, is defined. We intend users to produce their own contents by using massive contents on Internet by the proposed method. The proposed method's OpenScenario consists two main parts, OSD (OpenScenario Descriptors) which is a set of descriptors to describe various objects of shots such as visual, aural and textual objects and OSS (OpenScenario Scripts) which is a set of scripts to add some effects such as image, caption, transition between shots, and background music. As an usecase of proposed method, we describe how to create new content using OpenScenario and discuss some required technologies to apply the proposed method effectively.

1. 서 론

빅 데이터(Big Data) 시대를 맞이하여 인터넷 상의 방대한 데이터를 활용하기 위한 많은 연구가 이루어지고 있다[1]. 특히 인터넷 상에 축적되어진 다양한 멀티미디어 콘텐츠를 활용하기 위한 하나의 방안으로써 사용자가 입력하는 스토리로부터 콘텐츠와 관련된 정보를 추출하여 그 스토리에 부합되는 콘텐츠를 검색하고 제작할 수 있도록 하는 서비스를 고려할 수 있다. 이러한 서비스를 제공하기 위해서 컴퓨터가 이해할 수 있는 스토리 표현 기술에 대한 연구의 필요성을 인식하였다. 이를 위해 영화, 드라마 등 영상물 제작의 기초가 되는 시나리오(scenario)에 대한 구조를 분석하여 스토리 표현 구조를 정의하는 오픈 시나리오에 대한 연구를 수행하여 왔다[2,3]. 본 논문에서는 시나리오 작가와 같은 전문가가 아닌 일반사용자들이 보다 쉽게 스토리를 작성할 수 있도록 좀 더 간략화된 구조를 갖는 오픈 시나리오를 정의하고자 한다. 또한 정의된 오픈 시나리오를 이용한 콘텐츠 제작을 위한 방안들에 논의하고자 한다.

본 논문의 구성은 다음과 같다. 먼저, 2장에서는 관련연구 및 유사한 서비스에 대한 소개를 기술하고, 3장에서는 영상 제작의 토대가 되는 시나리오의 구성에 대해 분석한다. 분석 내용으로부터 사용자 스토리 기반 콘텐츠 서비스를 제공하기 위한 오픈 시나리오 구조를 기술한다. 4장에서는 샘플 시나리오와 콘텐츠를 제작하는 유스케이스를 제시하여 제안 방식에 의한 콘텐츠 제작 방식과 이를 위해 요구되는 기술에 대해 논의한다. 그리고 결론으로써 5장에서는 향후 연구 내용에 대해 기술한다.

 

2. 관련연구

Fig. 1은 콘텐츠 제작과 관련된 유사한 서비스로써 Amazon Studios 서비스[4], Tamajii의 storyboards[5]의 예를 보여주고 있다. 이러한 서비스의 특징은 콘텐츠를 제작하기 위해 필요한 스토리보드(혹은 콘티)를 제작하기 위한 기능을 제공하는 것으로 Amazon Studios서비스의 경우, 사용자가 작성한 시나리오를 분석하여 등장인물이나 대화의 내용들을 추출하여 배경, 카메라 성질, 인물의 위치, 표정 등을 서비스에서 제공되는 아이템들을 선택하도록 되어 있다. 현재 Amazon Studios에서 제공되었던 이러한 서비스는 중단된 상태이고 StoryBuilder라는 스토리 보드를 만들 수 있는 서비스와 사용자가 만든 시나리오와 콘텐츠를 업로드할 수 있는 서비스만 제공되고 있다. 이외에도 체계적인 디지털 스토리텔링 개발을 위한 연구도 이루어지고 있다[6].

Fig. 1.Screenshots of related services. (a) Amazon Studios and (b) Tamajii’s Storyboards.

또 다른 형태의 서비스로써 인터넷 상의 콘텐츠를 효과적으로 활용하기 위해 텍스트를 비디오나 이미지로 변환하는 Wibbitz에서 제공하는 서비스[7]와 ‘Article Video Robot’ 서비스[8] 등이 있다. 이러한 서비스들은 인터넷 상의 기사를 텍스트-비디오 변환(text-to-video) 기술로 기사의 텍스트를 분석하여 관련 비디오, 오디오, 이미지 등을 이용하여 콘텐츠를 자동적으로 생성하는 서비스를 제공한다. 이러한 서비스는 기사와 같은 문자 위주의 콘텐츠보다 비디오와 같은 콘텐츠가 보다 직관적으로 내용을 이해하기 쉬우며, 무엇보다 인터넷 상의 기사의 내용이 변경되었을 때 콘텐츠를 효율적으로 재생성가능하게 한다는 점에 초점을 두고 있다. 이러한 텍스트-비디오 변환(text-to-video) 또는 비디오-텍스트 변환(video-to-text) 기술은 텍스트를 분석하여 관련 비디오를 검색하거나 비디오에 포함된 객체, 움직임 등을 분석하여 이를 비디오에 대한 설명(description)을 부가하거나[9-11], SNS(social networking service) 등의 데이터를 분석하고 이를 활용하기 위해 연구되고 있다[12,13].

 

3. 스토리 기반 콘텐츠 제작 서비스를 위한 오픈 시나리오 구조

제안 방식은 사용자가 만든 스토리에 적합한 콘텐츠를 인터넷 상에서 검색하여 이를 활용하여 콘텐츠를 재생산 하는 것을 목적으로 한다. 전통적인 영상 제작의 경우, 작성된 시나리오를 기반으로 영상 촬영 및 편집 단계를 거쳐서 최종 영상이 제작된다. 이와 달리 제안 방식은 전통적인 영상 촬영 단계 대신 인터넷 상에 축적된 많은 영상 데이터를 활용하는 영상 수집 단계로 대체된다. 즉, 오픈 시나리오를 이용한 스토리 기반의 제안 방식은 사용자 스토리를 기반으로 작성한 오픈 시나리오를 분석하여 작성된 스토리에 따라 적절한 영상을 수집·선택하고, 수집된 영상에 다양한 효과를 추가하여 영상을 편집한 후 최종 영상으로 출력하게 된다.

이와 같이 스토리 기반 콘텐츠 제작 서비스는 자연어로 표현된 텍스트 기반의 시나리오가 아니라 콘텐츠의 수집 및 편집이 가능하도록 컴퓨터가 이해 가능한 형태의 시나리오 구조를 정의할 필요가 있다. 이를 위하여 먼저 전통적인 시나리오 구조에 대해 분석하고 이를 바탕으로 오픈 시나리오 구조를 정의한다.

3.1 시나리오 구조 분석

오픈 시나리오 구조를 정의하기 위해 본 절에서는 영화, TV 드라마와 같이 영상으로 제작하기 위해 필요한 설계도인 시나리오 구조를 분석한다[14-16].

일반적으로 시나리오의 작성은 대략적인 전체 줄거리를 기술한 시놉시스(synopsis) 작성 단계와 좀 더 상세한 장면 묘사와 줄거리를 기술한 트리트먼트(treatment) 단계를 걸쳐 완성된다. Table 1은 각 작성단계에서 기술되어야 할 내용을 정리한 것으로 시놉시스에는 등장인물과 관련해서 나이, 직업, 배경 등에 대해 기술하며 줄거리는 소재, 인물, 사건의 발단과 전개 방향에 대해서만 기술 가능하다. 각 신의 줄거리를 기술하는 트리트먼트의 내용에 상세한 지문과 대사 등을 추가하면 실제 시나리오가 될 수 있다.

Table 1.The procedure to write a scenario.

앞에서 기술한 바와 같이 시나리오는 영상물로 제작되는 것을 목적으로 한다. 시나리오의 기본 단위는 신(scene)으로, 신 구조의 이해를 위해 영화 '번지점프를 하다'의 신의 내용 일부를 Fig. 2에 나타낸다[17].

Fig. 2.Example of Scenario.

Fig. 2에 나타난 것과 같이 신의 시작은 신 번호, 장소와 시간이 첫 문장으로 표시되고 이는 신의 제목(혹은 헤딩)이 된다. 이 때, 장소와 시간은 신의 내용이 일어나는 장소와 시간을 의미한다. 신의 내용은 대지문, 대사 및 소지문 등으로 기술된다. 지문은 배경과 장면의 상황, 등장인물들의 동작이 표현되며, 배우의 대사와 함께 괄호 등장인물이 취하는 행동이 괄호 안에 기술된다. 특히 지문은 장면을 영상으로 옮길 수 있는 단어나, 배경과 장면의 상황, 등장인물의 동작, 소도구의 등장이나 사용용도 등을 실제적이면서 구체적으로 기술되어야 한다.

시나리오의 신은 감독에 의해 여러 개의 샷(shot)으로 시각화되어 진다. 샷은 동일한 장소와 시간에 카메라가 촬영되면서 컷(cut, 중단)되는 순간으로 구분되는 가장 최소 단위가 된다. 즉, 이러한 샷들이 모여 최소 단위인 하나의 신이 이루어지고, 신들이 모여 하나의 이야기 단위인 시퀀스(sequence)가 구성되고, 이러한 시퀀스들이 모여 한편의 영화가 된다[18-20]. 시나리오의 내용은 신들로 구성이 되지만 한편의 영화가 되기 위해서는 Fig. 3과 같이 시나리오 작가의 관점에서 기술된 사건들의 최소단위인 신으로부터 시나리오의 시각화를 위해 카메라 촬영, 배우의 행동, 사물, 배경, 음악 등을 영상촬영이나 편집의 관점에서 샷을 구성하여야 한다.

Fig. 3.How to make a film from a scenario.

시나리오 작가와 감독의 역할이 어느 정도 구별되는 현재의 영상 제작 환경과 달리, 제안 방식은 사용자가 시나리오 쓰기에서부터 영상물의 촬영 및 편집의 요소들을 모두 고려해서 콘텐츠를 만드는 형태이다. 따라서 오픈 시나리오에는 시나리오 작가, 감독 및 편집자의 관점을 반영할 수 있도록 구조화되어야 한다.

3.2 오픈 시나리오 구조

앞에서 기술한 바와 같이 오픈 시나리오는 시나리오, 영상 및 편집 요소들을 모두 포함할 수 있도록 구조화 한다. 즉, 시나리오 작가의 관점에서 스토리를 기술하는 요소, 감독의 관점에서의 촬영요소 및 편집 요소들을 포함하도록 구조화하여야 한다. 이러한 점을 고려하여 Fig. 4와 같이 2개의 상위요소로 구성된 오픈 시나리오 구조를 정의한다.

Fig. 4.Structure of OpenScenario.

Fig. 4의 오픈 시나리오 구조에서 2개의 상위 요소 OSD (OpenScenario Descriptors)와 OSS (OpenScenario Scripts)는

와 같이 정의하고, 이를 구성하는 하위 요소들에 대해 아래에 기술한다.

3.2.1 OSD

OSD 는 시나리오 쓰기 및 촬영의 관점에서 만들고자 하는 콘텐츠에 대해 기술하는 내용들이 포함된다. Fig. 4에 나타낸 바와 같이 OSD의 ‘Scene’ 아래에 신에 대한 내용들을 기술하기 위한 ‘Scene_Description’과 ‘Shot’이 포함된다.

(1) Scene_Description

시나리오 관점에서 시나리오의 ‘신 제목’과 ‘신 내용’을 기술하는 것으로 Fig. 5(a)와 같은 요소들이 포함되며 Table 2와 같이 신의 번호, 시간과 장소, 그리고 실질적인 신의 내용을 각각의 요소의 값으로 기술한다.

Fig. 5.Elements of OSD. (a) Element of ‘Scene_description’ and (b) Element of ‘Shot’.

Table 2.Elements of ‘Scene_description’

(2) Shot

샷은 신 내용을 시각화하기 위한 최소단위로써 OpenScenario의 ‘Shot’ 요소는 Fig. 5(b)와 같이 촬영 관점에서 샷의 간략한 설명을 위한 ‘Shot_Description’, 샷을 구성하는 인물이나 사물, 소리, 그리고 문자와 같은 다양한 객체들을 표현하는 ‘Object’와 카메라 속성을 표현하는 ‘Shoot’으로 구성된다.

‘Shot_Description’은 Table 3에 나타난 바와 같이 샷에 대해 보다 구체적으로 설명을 위해 육하원칙에 따라 기술하도록 구조화하였다.

Table 3.Elements of ‘Shot_Description’.

‘Shoot’은 샷의 촬영 속성과 관련된 것을 표현하는 것으로 구성요소들은 아래의 Table 4와 같다.

Table 4.Elements of ‘Shoot’.

‘Shot’의 주요 요소인 ‘Object’는 샷에 포함된 인물의 행위나 상태, 사물, 문자, 소리 등에 대한 객체를 기술하는 것으로 Fig. 6과 같이 ‘Visual_object’, ‘Aural_object’, ‘Textual_object’의 3개의 요소로 구성된다.

Fig. 6.Structure of Visual_object, Aural_object and Textual_object. (a) Visual_object, (b) Aural_Object, and (c) Textual_object.

Fig. 6을 보면 ‘Visual_object’와 ‘Textual_object’의 하위 요소들은 동일한 형태를 가지지만, ‘Aural_ object’는 ‘Region’ 요소가 제외되어 있다. 이는 시각적인 요소인 ‘Visual_object’와 ‘Textual_object’는 샷의 화면에 표시될 위치 정보를 포함할 수 있기 때문이다. Table 5는 이 3가지 요소들의 하위 요소들에 대한 설명을 나타내고 있다.

Table 5.Element of ‘Visual_object’, ‘Textual_object’ and ‘Aural_object’.

3.2.2 OSS

OSS는 콘텐츠에 자막, 배경음악, 이미지 등 추가적인 효과를 주고자 하는 경우, 스크립트 형식으로 기술한다. Fig. 4에 나타난 바와 같이 OSS는 ‘Shot’ 내에 ‘Source’와 ‘Edit’의 하위 요소로 ‘BGM’, ‘Image’, ‘Caption’, ‘Camera’, ‘Division_Screen’을 포함하여 추가되는 편집 효과에 대해 기술한다. ‘Source’ 요소에는 검색된 콘텐츠에 대한 URI 정보를 기술하고 이 콘텐츠에 ‘Edit’의 하위 요소에 기술된 효과들이 추가된다. Fig. 7은 추가되는 효과들에 대한 요소들의 구조를 나타내고 있다.

Fig. 7.Structure of Sub-elements in OSS (OpenScenarion Scripts). (a) ‘BGM’, (b) ‘Image’, (c) ‘Caption’, (d) ‘Camera’, and (e) ‘Division_Screen’

샷에 추가되는 동일한 구조의 ‘Image’와 ‘Caption’은 샷 내에 시각적 객체로써 OSD의 새로운 ‘visual_ object’와 ‘textual_object’ 요소로 추가됨을 의미한다. 또한 ‘BGM’은 음향효과나 배경 음악의 추가 시에 기술되는 것으로 이는 OSD의 새로운 ‘Aural_object’ 요소가 된다. ‘Camera’ 요소는 카메라 효과를 편집으로 주기 위한 것으로 장면변환과 화면의 ZoomIn/ Out 등의 효과, 화면의 종횡비 등의 효과를 기술한다. ‘Division_screen’은 화면 분할의 효과를 의미하며 2개의 샷을 수평/수직 분할로 각각 편집하도록 한다. Table 6은 OSS에 정의된 요소들에 해당하는 스크립트 형식과 필요한 파라미터들에 대해 기술하고 있다.

Table 6.Scripts of OSS

이와 같은 구조의 오픈 시나리오를 입력하기 위한 오픈 시나리오 편집기의 구조는 Fig. 8과 같이 구성된다.

Fig. 8.Structure of OpenScenario Editor.

그림에 나타난 바와 같이 오픈 시나리오GUI를 통해 사용자가 오픈 시나리오 요소들에 관한 값을 입력하면 오픈시나리오 분석모듈은 OSD분석을 통하여 콘텐츠 검색을 위한 키워드 추출 및 검색 질의문 생성을 수행한다. 검색된 콘텐츠 결과에 대해 OSS처리 모듈을 이용하여 효과들을 추가한 후 콘텐츠 재생 플롯을 위한 타임라인 정보를 생성한다.

 

4. 샘플 시나리오 및 논의

제안 방식은 사용자가 만든 스토리를 기반으로 콘텐츠를 제작할 수 있도록 컴퓨터가 이해 가능한 형태의 오픈 시나리오로 작성하고 이를 바탕으로 콘텐츠를 수집하고 제작할 수 있도록 하는 것을 목적으로 한다. 본 절에서는 Fig. 9(a)와 같이 사용자가 친구의 생일축하 영상을 만드는 간단한 샘플 시나리오를 이용하여 오픈 시나리오의 OSD 및 OSS의 예를 보이고자 한다. 단, 아래에 기술하는 내용은 제안 방식에 의해 어떻게 콘텐츠를 제작하는 방식에 대한 간단한 유스케이스일 뿐으로 구현된 결과는 아니다.

Fig. 9.Usecase of OpenScenario. (a) Sample Scenario and (b) Description of ‘Shot’ element

Fig. 9(a)의 샘플 시나리오에 따라서 오픈 시나리오의 OSD와 OSS는 다음과 같은 내용을 포함할 수 있다. 첫 번째 ‘Shot#1’의 경우, 샷은 ‘Visual_object’와 ‘Aural_object’로 각각 기타를 치고 있는 남자와 기타 소리가 포함되고, 장면변환은 OSS의 ‘Add_ Transit’ 스크립트로 장면 시작과 끝에서 FADE-IN/ OUT으로 지정된다. 두 번째 ‘Shot#2’의 경우에는 밤하늘에서 터지는 불꽃과 폭죽소리가 포함된다. Shot#3’의 경우에는 촛불이 켜져 있는 케이크와 생일 축하 음악이 포함되고 장면시작과 끝은 Overlap과 FadeOut으로 지정되어 진다. ‘Shot#4’의 경우에는 신나게 춤을 추는 만화 캐릭터들과 역시 “생일축하노래”가 지정된다. 마지막으로 ‘Shot#5의 경우에는 박수소리와 ’생일 축하해‘ 자막이 포함되어 샷의 ’Object’ 요소로 각각 ‘Textual_object’와 ‘Aural_object’가 포함된다. 이 예제에서 OSD의 ‘Shot’ 요소는 Fig. 9(b)에 나타난 바와 ‘Visual_object’, ‘Aural_object’ 및 ‘Textual_object’로 5개의 샷에 포함되는 객체들에 대한 내용들이 기술되며 이를 분석하여 적절한 콘텐츠를 검색한 후, OSS를 이용하여 장면변환과 효과들을 기술하게 되면 최종적으로 Fig.10과 같은 결과의 샘플 콘텐츠의 생성을 예상할 수 있다.

Fig. 10.Expectation of Sample Content Using scripts of OSS.

제안 방식을 이용한 콘텐츠 제작의 장점은 다음과 같다. 전통적 영상 제작 시 촬영이 완료된 시점에서 시나리오를 변경하거나 영상을 재촬영하는 것은 시간과 비용이 요구된다. 그러나 제안 방식은 오픈 시나리오의 OSD를 변경하여 시나리오를 언제든지 변경가능하고 콘텐츠를 재검색하여 콘텐츠를 다른 것으로 간단하게 대체가능하다. 또한 클라우드 환경을 활용한 사용자들간 협업 작업들을 통하여 시간 및 공간의 제약 없이 콘텐츠 제작 작업에 참여 가능할 뿐만 아니라 다른 사용자가 작성한 오픈 시나리오를 공유함으로써 하나의 오픈 시나리오를 이용하여 개성 있는 다양한 콘텐츠를 만들 수 있는 장점이 있다.

하지만, 제안 방식을 이용한 콘텐츠 제작 서비스를 제공하기 위해 다양한 기술들이 요구된다. 먼저 인터넷 상에 모든 콘텐츠를 검색하기 위해 콘텐츠 태깅(tagging) 기술이 요구된다. 모든 콘텐츠에 수동적으로 태깅 정보를 부가하는 것은 쉽지 않기 때문에 자동 태깅 기술이 적용되어야 한다. 자동 태깅에 의해 콘텐츠에 포함되어 있는 객체를 자동 추출하여 객체에 대한 설명을 추가하여야 한다. 요구되는 수준까지의 자동 태깅 기술에 관해 많은 연구가 이루어질 필요가 있다. 결국 현재 상황을 고려하면 제안방식을 효과적으로 서비스하기 위해서는 수동 태깅과 자동 태깅을 병행해야 하며 대부분 수동적인 태깅을 적용해야 하는 단점이 있다. 또한 시나리오에 따라 검색된 콘텐츠를 이용하여 새로운 콘텐츠로 재생성하는 단계가 필요하다. 이를 위해 콘텐츠 트랜스 코딩과 콘텐츠 병합 기술도 요구된다. 이외에도 콘텐츠를 검색하기 위하여 데이터베이스 검색 기술도 요구된다.

 

5. 결 론

본 논문에서는 인터넷 상의 콘텐츠를 효과적으로 활용하기 위한 하나의 방법으로 사용자가 스토리를 입력하면 스토리에 적합한 콘텐츠를 검색하고 이를 제공하여 사용자가 원하는 콘텐츠를 제작할 수 있는 서비스를 고려하였다. 이를 위해 컴퓨터가 이해 가능한 스토리를 표현하기 위한 스토리 표현 구조를 제안하였으며, 이를 오픈시나리오라고 하였다. 제안된 오픈 시나리오 표현 구조는 신을 구성하는 최소 단위인 샷에 나타나는 등장인물이나 사물, 문자 등과 같은 시각적 객체와 소리와 같은 청각적 개체를 기술하는 요소와 부가적인 효과를 추가할 수 있는 요소들로 구조화하고 이를 각각 OSD와 OSS로 정의하였다. 효과적으로 제안 방식을 서비스하기 위해서는 콘텐츠에 대한 자동 태깅 기술, 트랜스코딩 기술, 데이터베이스 검색 기술 등 여러 가지 기술들이 요구된다. 따라서 향후 연구과제로는 제안 방식의 효과적인 서비스를 위한 이러한 기술들의 연구와 함께, 오픈시나리오를 이용하기 위한 오픈시나리오 편집기의 구현과 복잡한 스토리 라인을 표현할 수 있는 오픈 시나리오의 요소들을 보다 상세하게 정의하는 것이다.