Study on AI-based content reproduction system using movie contents

영화를 이용한 AI 기반 콘텐츠 재생산 시스템 연구

Abstract

AI technology is spreading not only to industrial fields, but also to culture, art, and content fields. In this paper, we proposed a system based on AI technology that can automate the process of reproducing contents using characters for movie contents. After creating the basic appearance of the character by using the StyleGAN2 model from the video extracted from the movie contents, analyzing the character's personality and propensity using the extracted dialogue data, it was determined from the contemplative appearance based on the yin-yang and five elements to the character's propensity. Accordingly, the external characteristics are reflected in the character. Using the OpenPose model, a character's motion is created, and the finally generated data is integrated to reproduce the content. It is expected that many movie contents can be reproduced through the study of the proposed system.

1. 서론

AI 기술의 발달로 다양한 산업 분야에서 많은 변화와 혁신이 이루어지고 있다. AI 기술은 영상의 인식과 분류, 음성의 인식과 개인화, 다양한 수치 데이터를 기반으로 한 분석과 예측 등 기존의 기술로 처리하기 어렵거나 비효율적이었던 영역에 대하여 뛰어난 결과를 제시하였다. 현재, AI 기술은 산업, 학술의 영역을 벗어나 문화, 예술의 영역까지 영향력을 넓히고 있다[1].

AI 기술이 문화, 예술영역의 다양한 분야에서 가장 활발히 도입되고 있는 형태는 미디어 콘텐츠의 창작과 유통, 소비를 위한 형태이다. 그러나 현재 시점에서 문화, 예술 분야에서 주로 활용되는 AI 기술은 유통과 소비를 위한 서비스 분야에 치중되어 있다. 창작에 활용되는 기술은 영상 분야에서 가상의 영상을 생성하여 활용하거나 기존의 산업분야에서 사용되고 있는 개체의 인식 결과를 활용하여 추가적인 서비스 또는 영상의 생성을 지원하는 분야에 그치고 있다. 일부에서는 음성 및 데이터의 분석을 통하여 새로운 형태의 미디어를 창작하기도 하지만 많은 경우, AI 기술은 기존의 미디어와 서비스를 지원하고 보조하는 역할에 한정되고 있다.

잘 만들어진 예술과 문화콘텐츠는 그 형태를 바꾸어 다양한 모습의 미디어 콘텐츠로 재창조될 수 있다. 1980년대 초 일본의 전자공학계에서 최초로 이론적인 개념을 제시한 OSMU(One Source Multi Use)는 1995년 국내에 언론보도를 통하여 도입, 사용되기 시작하였고 2000년대에 들어서 문화 콘텐츠 산업분야로 그 사용범위가 확장되었다 [2].OSMU는 국내에서 주로 사용되는 용어이며 미국의 경우 Multi- media Franchise 또는 Media Franchise, 일본의 경우는 Media Mix라고 불리고 있다. 한국문화콘텐츠진흥원의 보고서에서는 OSMU를 “우수한 기획을 통해 제작된 1차 콘텐츠를 시장에 성장시킨 후 재투자 및 라이선스를 통해 2차, 3차 콘텐츠로 발전시키는 전략”이라고 정의하고 있다. OSMU의 목적은 하나의 콘텐츠를 다양한 미디어 형태로 제작, 유통함으로써 하여 콘텐츠의 부족 문제를 완화하고, 콘텐츠의 재생산에 따르는 추가비용을 최소화하며, 다양한 분야에 적용함으로써 부가가치를 높이는 데 있다. 그러나 콘텐츠의 재생산에서 기반이 되는 원 콘텐츠에 대한 비용은 새로운 콘텐츠의 생산하는 것과 큰 차이가 없다.

이에 본 논문에서는 AI 기술과 다양한 IT 기술의 융합을 통하여 콘텐츠 재생산과정을 자동화할 수 있는 시스템과 프로세스를 제안하고자 한다. 본 논문에서 대상으로 하는 콘텐츠로는 영화 콘텐츠를 선정하였다. 영화 콘텐츠는 대화, 등장인물의 얼굴, 등장인물의 동작, 전체 스토리 등 AI 기술에서 활용할 수 있는 다양한 데이터가 복합적으로 포함되어 있다. 또한 영화 콘텐츠는 영상매체를 활용한 역사가 긴 대중적인 콘텐츠이며 지금까지 축척된 데이터가 풍부하고 작가가 창작하는 소설을 원작으로 하여 재창조되 는 콘텐츠이다.

본 논문에서 제안하는 시스템은 영화 콘텐츠를 대상으로 StyleGAN2모델[3,4]을 이용하여 배우의 얼굴을 기준으로 캐릭터를 생성하고, 음성인식기술을 통하여 등장인물의 대사를 추출한다. 추출된 대사의 분석을 통해 등장인물의 성격 및 성향을 판단한다. 이때, 인물의 특성을 관상학의 분류를 기준으로 제시하였다. 관상학은 영화와 애니메이션 등에서 인물의 특징분석을 위하여 관련 연구가 꾸준히 지속되고 있다[5-8]. 따라서 관상학의 외형의 특징을 반영함으로써 캐릭터에 외형적 특징을 부여한다. 그리고 대사를 통해 각 장면에서의 감정 상태를 분석하여 캐릭터의 표정을 결정하며, OpenPose기술[9]을 통하여 등장인물의 동작을 분석한 후 캐릭터에게 적용함으로써 새로운 콘텐츠를 재창조할 수 있도록 지원한다.

본 논문은 다음의 순서로 구성된다.2장에서는 관련된 AI 기술 및 배경 지식, 기존에 수행했던 연구에 대하여 소개한다.3장에서는 본 논문에서 제안하는 시스템에 대하여 설명하며 마지막으로 4장에서 결론을 맺는다.

2. 기존연구

2.1 감성 분석 기술

감성 분석(Sentiment Analysis)기술은 텍스트를 통해서 나타나는 사람의 의견, 성향, 태도, 동작 등의 데이터를 분석하여 어떤 감정 상태를 나타내고 있는지를 연구하는 기술이다. 대량의 텍스트 데이터를 분석하여 감정 상태를 분류하기 때문에 빅데이터 분석의 한 분야로 보기도 하며 2012년 미국의 대선에서 사용된 감성분석이 가장 성공적인 활용 예로 꼽힌다. 감성 분석 기술은 자연어 처리 기술을 기반으로 연구되고 있으며, 여러 문장으로 구성된 대화 내용에서 각 문장 사이에 이루어진 인과관계 및 문맥의 분석이 반영되어야 하므로 매우 복잡한 기술로 꼽힌다[10,11].

감성 분석 기술의 처리과정은 소셜 미디어 매체 및 도서 등을 이용한 데이터 수집(Data Collection) 및 텍스트 요소의 분리와 분류, 수집된 텍스트로부터 사용자의 주관이 드러나는 단어 및 표현을 추출해내는, 텍스트가 가진 주관성의 탐지(Subjectivity De- tection), 그리고 추출된 감성 데이터를 ‘좋음’과 ‘싫음’을 기준으로 단계를 주어 분류하는 극성 탐지 (Polarity Detection)의 3단계로 주로 이루어진다. 감성 분석에 사용되는 대표적인 언어 모형으로는 유니 그램(Unigram) 모델을 들 수 있다. 감성 분석에 사용되는 대표적인 알고리즘으로는 텍스트 데이터에 순서의 개념을 배제하고 단순히 단어의 집합으로 가정하여 처리하는 Bad-of-Words(BOW) 방식을 따른 나이브 베이즈(Naive Bayes)모델과 각각 다른 항목에 포함되어 있는 두 개의 점을 분류하여 두 클래스의 데이터들과 가장 가까운 거리를 유지하는, 즉 가장 유사도가 높은 평면을 찾아내는 서포트 벡터 머신 (Support Vector Machine, SVM) 모델 등이 있다[12].

2.2 음성 인식 기술

음성 인식 기술은 사람의 언어를 음성 데이터로 입력하고 그 내용을 컴퓨터를 이용해 해석하여 데이터화하는 기술이다. 사람의 말을 텍스트로 전환한다는 의미로 Speech-To-Text(STT) 기술이라고 부르기도 한다. 음성 인식을 위하여 사용되는 알고리즘으로는 은닉 마르코프 모델(Hidden Markov Models, HMM), 동적 시간 왜곡(Dynamic Time Warping, DTW)등이 있으며 최근에는 딥러닝 기반의 RNN (Recurrent Neural Network) 계열의 모델이 많이 사용된다. 또한 직접 모델을 구현하지 않더라도 Google에서 제공하는 Google Cloud Speech-To-TextAPI 를 활용하는 방법도 사용할 수 있다. 국내의 경우 네이버가 음성인식 엔진인 NEST(NeuralEnd-to-end Speech Transcriber)를 공개하였다[13].

2.3 얼굴 인식 기술

AI 기술이 산업계에 확산되면서 가장 활발하게 활용된 분야가 합성곱 신경망(Convolutional  Neural Network, CNN)모델을 기반으로 하는 영상인식 분야이며 얼굴 인식 기술은 영상 인식 분야의 한 영역을 차지한다. CNN 모델은 영상 인식 및 분석, 분류 영역 외에도 추천 시스템, 자연어 처리 등에도 이용되며 딥러닝 모델의 가장 기본적인 모델의 하나이다.

얼굴 인식 기술은 입력된 이미지에서 얼굴에 해당하는 영역을 검출하고 얼굴의 영역에 포함되는 눈, 코, 귀, 입 등과 같은 특징점을 추출하여 해당 정보를 기반으로 많은 얼굴 이미지를 비교, 분석함으로써 얼굴 인식을 위한 학습을 수행하고 인식결과를 분류하여 제시하는 기술이다[14].

2.4 동작 인식 기술

AI 기술을 이용한 지능형 인터페이스 분야에서 가장 많이 사용되고 있는 사용자 인터페이스 기술은 음성과 동작의 인식 기술이다. 동작 인식 기술은 센서, 마커 등을 사람의 몸에 부착하여 동작을 인식하도록 하는 방식이 주로 사용되어 왔으나 딥러닝 기술이 보편화되면서 카메라를 통한 영상을 기반으로 다양한 동작을 인식하는 기술 쪽으로 방향을 바꾸고 있는 추세이다.

딥러닝 기반의 동작 인식 기술이 많이 활용되고 있는 분야는 CCTV를 통해 획득한 2D 영상을 기반으로 영상에 나타난 사람의 행동을 분석하여 이상행동 및 특이한 행동 패턴을 분석함으로써 보안성을 향상시키는 분야이다. Google에서는 AI 기술과 모션 캡쳐(Motion Capture)기술을 결합하여 웹캠을 통해 입력된 사람의 동작을 기반으로 유사한 동작을 가진 이미지를 인터넷에서 찾아주는 Move Mirror 서비스를 개발, 공개하였다[15].

최근에 주목받는 동작 인식 기술은 단순히 동작을 인식하는데 그치지 않고 사람의 주요 관절을 Key Point로 하여 위치 측정과 전체적인 자세를 추정하기 위한 자세 추정(Pose Estimation)기술을 들 수 있다. 자세 추정 기술은 사람이 취하고 있는 자세, 동작만이 아니라 얼굴 표정을 인식, 추정하는데도 활용할 수 있다. 대표적인 모델로는 OpenPose[9]가 있다.

3. 영화를 접목한 AI 기반 콘텐츠 재생산 시스템

3.1 제안시스템의 개요

본 논문에서 제안하는 시스템은 기존의 영화 콘텐츠를 이용한 콘텐츠 재생산을 위한 것이므로 사용하는 데이터는 영화 콘텐츠로 한정하였으며, 사용된 영화 콘텐츠에서 필요한 기본 데이터를 활용하여 만들어내는 것을 목적으로 한다.

영화 콘텐츠를 구성하는 미장센 요소 중 추출 가능한 주요 요소는 배우, 대사, 동작, 배경이다. 이 중에서 본 연구에서 제안된 시스템에서는 배경에 관련된 요소는 제외하고 캐릭터를 중심으로 콘텐츠를 구성하도록 한다. 따라서 영화 콘텐츠에서 사용할 수 있는 요소는 배우, 대사, 동작의 요소가 된다. 콘텐츠에서 추출되는 배우의 얼굴 영상에서 캐릭터의 디자인을 위한 기본 형태를 도출하고, 대사에서 등장인물의 성격 및 성향에 대한 특징을 추출하여 캐릭터의 디자인을 변형한다. 콘텐츠에서 추출되는 배우의 동작을 추출하여 재생산하는 콘텐츠에서의 캐릭터의 동작을 결정하며, 또한 동작의 흐름에서 추출 가능한 성격 및 성향에 대한 특징을 이용하여 캐릭터의 디자인에 반영한다.Fig.1은 제안시스템의 기본적인 프로세스를 보여준다.

Fig. 1. The process of the proposed system.

콘텐츠에서 추출한 배우의 얼굴 영상에서 캐릭터의 디자인을 추출하기 위해서 GAN(Generative  Adversarial Network)계열의 알고리즘이 많이 사용된다. 제안 시스템에서는 StyleGAN2모델을 활용한다. StyleGAN2모델은 Style Transfer 기술을 기반으로 Generator를 재설계한 StyleGAN모델의 개선된 버전이다[3,4]. Style Transfer는 Content Image와 Style Image의 두 개의 영상이 주어졌을 때, Con- tent Image를 기본 형태로 하여 영상의 스타일을 StyleImage와 유사하게 바꾸는 기술을 말한다[16]. StyleGAN2모델은 Content Image와 StyleImage를 학습된 네트워크에 입력하고 네트워크에서 추출되는 각각의 feature map을 기준으로 하여 변환하고자 하는 새로 입력된 이미지의 feature map과 유사한 특징값을 가지도록 입력된 이미지를 최적화한다. 따라서 기준이 되는 feature map의 내용을 조작함으로써 그 형태를 가공할 수 있다. 제안 시스템은 Style GAN₂모델을 이용하여 입력된 영화 콘텐츠에서 배우의 얼굴을 캐릭터 디자인의 스타일로 변형하고, 추출된 결과 영상에 대한 feature map의 내용에 등장인물의 특징, 성향에 맞는 변형을 적용하는 방식을 따른다. 등장인물의 특징, 성향에 대한 데이터는 대사와 동작을 기반으로 추출한다. Fig.2는 영화 콘텐츠로부터 추출한 정보를 가공하여 StyleGAN2모델에 적용하는 과정을 보여준다.

Fig. 2. Process of applying information extracted from contents to StyleGAN2.

콘텐츠에서 추출한 등장인물의 성격 및 성향에 대한 특징을 정의하기 위하여 각 등장인물 별 얼굴 표정을 기반으로 하는 감정의 분석과 등장인물별 대사를 통한 감정 및 성향을 분석하는 방법을 적용할 수 있다[17]. 또한 대사 데이터로부터 감정 및 성향을 추출하기 위해서는 다양한 성격, 감정, 표현 등에 대한 데이터를 기반으로 감성을 표현할 수 있는 분류 기준을 수립할 필요가 있다.  Table1은 IBM클라우 드 서비스의 IBM Watson 자연어 이해(Natural Language Understanding) 서비스가 제공하는 Per-sonality Insight를 위한 성격 특성과 소비 성향을 이용하여 개인의 성향을 분류하는 기준을 보여준다[18]. IBM의 서비스 외에도 대사 및 표현을 이용한 다양한 감정 및 성향 분석에 대한 연구가 진행되고 있으며 제안 시스템에서는 이러한 연구 내용을 이용하여 적절한 기준을 결정 및 적용할 수 있다. Table 2는 한국어 감정 어휘 체계의 분류에 대한 예시를 보여준다[5].

Table 1. Classification criteria for individual propensity[18].

Table 2. Examples of Classification of Korean Emotional Vocabulary System[5].

다음으로 콘텐츠에서 대사를 추출하기 위하여 STT (Speech-to-Text) 모델을 사용한다. STT모델의 구현을 위하여 전통적으로 HMM(Hidden Markov Models)이 많이 사용되어 왔으나 최근에는 딥러닝 기반의 RNN(RecurrentNeuralNetwork)계열의 모델, 특히 LSTM(Long Short Term Memory net- works)을 이용한 STT 모델이 개발되어 좋은 성능을 보이고 있다. STT모델의 학습을 위하여 대량의 음성 데이터가 필요하며, 한국어의 경우 한국지능정보사회진흥원에서 운영하는 AI Hub 사이트를 통하여 한국어 대화 및 음성 데이터를 활용할 수 있다. 콘텐츠에서 추출한 대사 데이터는 등장인물의 성격 및 성향에 대한 특징을 추출하기 위한 기반 데이터로 활용된다. 추출한 대사 데이터를 Table1, Table2와 같은 사전에 준비한 감정 및 성향 분석에 대한 분류 기준에 적용하여 해당 등장인물이 어떤 성향의 인물인지 결정할 수 있다.

각 등장인물이 가지는 성향에 따라 캐릭터의 외형을 결정하기 위하여 음양오 행사상을 기반으로 하는 관상학에 대한 연구 내용 중 얼굴의 형태 등 캐릭터의 외형에 대한 특징을 분류하고 등장인물의 성향에 맞게 적용한다. 관상학을 기반으로 한 분류에 따르면 얼굴의 형태, 체형, 그리고 눈, 눈썹, 코, 귀, 입 등 얼굴의 각 부위에 따른 특징을 소개하고 있는데[6,7], 이러한 특징을 StyleGAN2모델의 feature map에 적용 가능한 형태로 가공하여 StyleGAN2모델을 통한 캐릭터의 생성에 반영한다.

영화 콘텐츠에서 각 등장인물에 대한 배우들의 표정 연기 또한 제안시스템을 이용한 캐릭터의 생성에서 중요한 영역이다. 콘텐츠에서 추출한 배우들의 얼굴에서 눈, 눈썹, 코, 입, 귀 등 얼굴의 각 부위의 형태를 인식하여 기본적인 표정을 적용할 수 있으며, 동일 시점에서의 대사의 내용에서 추출되는 감정의 분류에 따라 표정의 변형을 적용한다. 특히 대사의 내용을 기반으로 분류되는 등장인물의 표정을 등장인물의 정서를 기반으로 하여 구분이 가능하므로[8] 실제 배우의 얼굴에서 읽은 표정 과 정서 기반의 표정을 결합하여 적절한 표정을 반영할 수 있다.

콘텐츠에서 캐릭터의 동작을 추출하기 위해서는 OpenPose[9]모델을 활용한다.OpenPose는 Carne- gie Mellon University에서 개발된 오픈소스 라이브러리로 2D 영상으로부터 실시간으로 많은 사람들의 몸과 손, 얼굴, 발등에 대한 좌표를 인식하여 사람의 골격이 이루는 형태를 계산해주는 모델이다. OpenPose 모델에서는 Bottom-Up 방식에 따라 영상에 등장하는 사람들의 각 관절에 대한 좌표 정보가 되는 Part Affinity Fields(PAFs)와 Part Confidence Map 를 검출하고, 검출된 관절을 단계적으로 이어나감으로써 한 사람에 대한 골격이 이루는 형태를 계산한다. 전체 영상에 대한 Skeleton 동작 정보가 동작 순서에 따라 리스트로 제공되며, 이 리스트에 맞게 캐릭터의 동작을 설정하여 콘텐츠를 생성할 수 있다. Fig.3은 OpenPose에서 Skeleton정보를 계산하는 과정을 보여준다.

Fig. 3. The process of calculating Skeleton information in OpenPose[9].

이상의 과정을 통해 영화 콘텐츠로부터 배우의 얼굴을 기반으로 하는 캐릭터의 전체적인 외형 생성, 등장인물별 대사를 기반으로 도출한 등장인물의 성향에 따른 관상학적 외형의 특징 및 정서적 표정 정보 반영, 그리고 배우의 동작의 인식을 통해 생성한 Skeleton 동작 정보를 통합하여 시간의 흐름에 따라 각 데이터를 결합함으로써 최종적인 콘텐츠의 재생산이 가능하다.

4. 결론

본 논문에서는 AI 기술과 다양한 IT 기술을 융합한 콘텐츠 재생산 시스템 연구를 시도하였다. 기존의 영화 콘텐츠에서 데이터를 추출하고 이를 활용하여 콘텐츠 재생산과정을 자동화할 수 있도록 제안하였다. 먼저, 영화 콘텐츠로부터 추출한 영상에서 StyleGAN2모델을 이용하여 캐릭터의 기본 외형을 생성하였다. 다음으로 추출한 대사 데이터를 이용하여 등장인물의 성격 및 성향을 분석한 후 음양오행의 이론을 접목하였다. 이는 관상학적 외형에서 등장인물에 성향에 따라 외형적 특징을 캐릭터에 반영한다. 마지막으로 OpenPose모델을 이용하여 캐릭터의 동작을 생성하고 최종적으로 생성된 데이터를 통합하여 콘텐츠를 재생산한다.

향후에는 제안한 프로세스를 직접 구현함으로써 상용화 가능한 시스템을 구현하고자 한다. 또한 등장인물에 대한 재생산과정은 완료되었으나 배경에 대한 처리는 아직 적용되지 않은 상태이므로 배경을 가공하여 반영할 수 있는 기술에 대하여 연구할 계획이다.