A Study of an AI-Based Content Source Data Generation Model using Folk Paintings and Genre Paintings

민화와 풍속화를 이용한 AI 기반의 콘텐츠 원천 데이터 생성 모델의 연구

Abstract

Due to COVID-19, the non-face-to-face content market is growing rapidly. However, most of the non-face-to-face content such as webtoons and web novels are produced based on the traditional culture of other countries, not Korean traditional culture. The biggest cause of this situation is the lack of reference materials for creating based on Korean traditional culture. Therefore, the need for materials on traditional Korean culture that can be used for content creation is emerging. In this paper, we propose a generation model of source data based on traditional folk paintings through the fusion of traditional Korean folk paintings and AI technology. The proposed model secures basic data based on folk tales, analyzes the style and characteristics of folk tales, and converts historical backgrounds and various stories related to folk tales into data. In addition, using the built data, various new stories are created based on AI technology. The proposed model is highly utilized in that it provides a foundation for new creation based on Korean traditional folk painting and AI technology.

1. 서론

2020년 확산되기 시작한 COVID-19로 인하여 다양한 사회적 규제가 시행되었고, 이러한 사회적 규제의 장기화는 시간과 장소의 제약에 영향을 받지 않는 비대면 콘텐츠의 소비를 크게 증가시켰다.그 중에서도 K-웹툰이라고 불리는 웹툰 콘텐츠는 시장 규모가 1조원이 넘는 대표적인 비대면 콘텐츠 산업으로 성장하였고, 국내 시장을 벗어나 전 세계적으로 각광받는 시장을 형성하였다. 네이버의 웹툰 서비스를 기준으로 살펴보면, 2020년 3분기의 글로벌 매출액이 전년 동기보다 40% 가량의 성장률을 보였고, 글로벌 월간활성사용자의 수는 6,700만을 달성하였다[1]. 또한 DNA(Data-Network-AI)생태계의 강화, 교육 인프라의 디지털 전환, 비대면 산업의 육성, 사회 간접 자본(SOC, Social Overhead Capital)의 디지털화를 추진전략으로 하는 ‘디지털 뉴딜’ 정책이 포스트 코로나 시대의 핵심정책으로 자리를 잡으면서 넷플릭스 드라마 “킹덤”에서 소개된 한국 전통복식인 ‘갓’이 주목받는 등 한국의 전통문화에 대한 글로벌 소비자들의 관심이 집중되고 있다[2].

그러나 현재의 비대면 서비스 플랫폼에서 제공되는 대다수의 웹툰은 한국의 전통문화가 아닌 다른 문화권을 바탕으로 창작되고 있다. 대표적인 웹툰 서비스 플랫폼의 하나인 카카오페이지 플랫폼을 기준으로 살펴보면 2021년 2월 26일 21시의 조사결과를 기준으로 월요일 연재물은 총 99개이며, 그 중 서양물 21개, 동양물 33개, 현대물 45개로 조사되었으나, 한국 전통문화를 배경으로 창작된 작품은 ‘궁’과 ‘용의 간택’의 단 두 작품에 그치고 있다.

이러한 상황의 가장 큰 원인으로 한국 전통문화를 기반으로 창작하기 위한 참고자료의 부족이 지적되고 있다. 따라서 이와 같은 문제점의 개선을 위해서는 디지털 콘텐츠의 창작에 활용하기 위한 한국의 전통문화를 기반으로 하는 원천 데이터의 개발 및 연구가 요구되고 있다. 또한 기존의 한국 만화 및 애니메이션 등의 콘텐츠는 망가 스타일의 영향 아래에서 성장하였으며, 이는 K-웹툰 또한 망가 스타일에서 자유로울 수 없다는 문제점을 가지고 있다. 이러한 이유로 K-콘텐츠의 글로벌 경쟁력 강화를 위해서는 한국의 전통 조형미를 재발굴하고 그 내용을 원천 데이터화하여 K-웹툰 등의 문화콘텐츠의 창작에 활용할 필요가 있다. 특히 창작을 위한 원천 데이터는 작품에 대한 설명 외에도 작품과 관련된 시대적, 역사적 배경과 이와 관련된 전설, 설화 및 야사 등의 이야기 자료, 그리고 유사한 내용을 다루고 있는 다른 작품에 대한 다양한 관점에서의 정보 등 폭넓게 통합된 자료가 제공되어야 한다.

이에 본 논문에서는 AI 기술과 한국 전통 민화의 융합을 기반으로 한국의 전통민화 및 풍속화를 바탕으로 하는 원천 데이터에 대한 생산 모델을 제안한다. 본 논문은 먼저 2장에서 제안하는 모델에서 사용되는 AI 기술과 관련된 기존 알고리즘 및 모델을 소개하고, 3장에서는 본 논문에서 제안하는 모델을 그림과 처리 과정의 설명을 통해 제시하며, 마지막으로 4장에서 결론을 맺는다.

2.1 Style Transfer

Style Transfer 기술은 변환하기 위한 Content Image와 변환시키고자 하는 기준 형태인 Style Image로 구성된 두 장의 이미지를 이용하여 변환 결과 이미지의 기본 형태는 Content Image와 유사하도록 유지하고, 변환 결과 이미지가 가지는 스타일은 입력된 Style Image와 유사도록 변형시키는 기술을 말한다.Style Transfer기술은 미리 학습된 네트워크를 이용한 변환 방법과 Style Transfer Network를 새롭게 학습시켜서 이용하는 변환 방법으로 나눌 수 있다[3].

미리 학습된 네트워크를 이용하는 방법은 Content Image와 Style Image를 변환 모델에 입력시킨 후 각 이미지에서 추출된 FeatureMap-A를 저장하고, 합성될 새로운 영상의 FeatureMap-B가 앞 단계에서 추출된 FeatureMap-A와 유사한 특성을 가질 수 있도록 영상을 변환 및 최적화하는 방법이다. Content Image와 Style Image의 단 2장의 이미지만 사용하여 Style Transfer의 수행이 가능하다는 장점을 가지지만, 반면에 매번 이미지의 최적화 작업이 요구되므로 시간 소모가 많다는 단점을 가진다.

Style Transfer Network를 새롭게 학습시켜서 이용하는 변환 방법은 서로 다른 영역에 속하는 영상이 입력 데이터로 주어질 때, 하나의 영역으로부터 다른 영역으로 이미지의 형태를 변형하도록 학습시키는 방식이다. 네트워크를 학습시키고 나면 FeedFor-ward만으로 새로운 이미지에 적용이 가능하다는 장점을 가지지만, 새로운 네트워크의 학습을 위하여 영역별로 다수의 영상을 필요로 하며, 특히 처음 학습을 수행할 때 많은 시간이 소요된다는 단점을 가진다.

최근에 많이 사용되는 Style Transfer기술은 처음 학습을 수행할 때에는 시간이 오래 걸리지만 한 번 학습하고 나면 계속해서 쉽게 사용할 수 있는 Style Transfer Network 학습 방식이며, 대표적인 모델로 생성적 적대 신경망(Generative Adversarial Network, GAN)[4]을 기반으로 하는 CycleGAN[5] 계열의 모델을 들 수 있다.

2.2 이미지 캡셔닝(Image Captioning) 기술

이미지 캡셔닝 기술은 입력된 이미지를 자연어를 이용하여 서술하는 기술이다. 이미지 캡셔닝을 수행 하기 위해서는 이미지의 인식을 위하여 컴퓨터 비젼 기술이 요구되고, 인식한 이미지의 내용을 서술하기 위하여 자연어 처리 기술이 사용된다. 일반적으로 컴퓨터 비전 처리를 위하여 CNN(Convolutional Neural Network)계열의 모델이 사용되며, 자연어 처리를 위하여 RNN(Recurrent Nerual Network)계열의 모델이 사용된다[6].

2.3 텍스트 요약(Text Summarization)

기술 텍스트 요약 기술은 텍스트로부터 핵심 정보를 추출한 후, 특정 작업과 특정 사용자에 대한 요약된 버전을 생성하는 기술이다[7]. 텍스트 요약 기술은 추출적 요약(Extractive Summarization), 추상적 요약 (Abstractive Summarization)으로 크게 구분할 수 있다. 추출적 요약은 텍스트에서 핵심 문장 또는 단어를 선택하여 요약문을 생성하는 방법이며 TextRank 알고리즘이 대표적이다. 추상적 요약은 텍스트로부터 핵심 내용을 반영하여 새로운 문장을 생성하여 원문을 요약하는 방법이다. 대표적인 모델은 Seq2seq 모델이 있다[8].

2.4 추천 시스템(Recommendation System)

추천 시스템은 정보 필터링 기술의 하나이며, 시스템의 사용자에 대한 정보, 관심 분야, 선호도, 데이터에 대한 선택 이력, 유사한 특징을 가진 다른 사용자의 행동 패턴과의 비교 등의 방법으로 사용자에게 알맞은 정보, 상품, 서비스 등을 추천하는 시스템이다. 일반적으로 협업 필터링 방식과 콘텐츠 기반 필터링 방식으로 구분한다. 협업 필터링 방식은 사용자의 정보 선택 이력을 관찰 및 분석한 후, 다른 사용자와의 이력을 비교함으로써 비슷한 특징을 가진 사용자의 선택을 추천하며, 콘텐츠 기반 필터링 방식은 콘텐츠의 특성을 기반으로 사용자가 선택한 콘텐츠에 대한 사용자의 선호도를 조사하여 선호도가 높은 특성을 가진 콘텐츠를 추천하는 방식이다. 협업 필터링 방식은 정확한 추천 결과를 도출하기 위해서 사용자에 대한 보다 많은 정보를 요구하며, 콘텐츠 기반 필터링 방식은 적은 정보를 요구하는 반면 적용 범위가 한정적이라는 단점을 가진다[9].

2.5 스토리 자동생성 기술

스토리의 창작은 콘텐츠 개발 산업의 핵심이 되는 분야이다. 잘 만들어진 콘텐츠는 다양한 영역에서 새로운 콘텐츠의 재창작을 이끌어 낼 수 있으며, 이는 콘텐츠와 연관된 많은 산업에서 거대한 부가가치를 생산할 수 있는 기반이 된다. 따라서 콘텐츠를 구성하는 핵심 요소인 스토리의 창작을 자동으로 수행해줄 수 있는 기술은 관련 산업 영역에서 큰 역할과 기회비용을 제공할 수 있다. 스토리의 자동생성 기술은 인공지능 기술과 함께 인문학적인 기술과 지식, 그리고 해당 스토리를 구성하는 배경지식을 요구한다[10]. 각 문장의 구성요소 사이의 문맥 정보와 전반적인 스토리의 흐름을 이해하여야 하고, 전체 스토리를 구성하는 요소인 등장인물, 배경, 사건과 등장인 물의 행동 등 여러 요소들을 사건의 흐름에 맞게 배치하고 생성하여야 한다. 또한 자연어를 생성할 수 있는 문장의 생성 기술도 중요하다. 인공지능 기술의 발달로 인하여 영상 데이터로부터 해당 영상을 자연어로 기술하는 이미지 캡셔닝 기술, 음성정보로부터 텍스트를 추출하는 음성인식 기술인 STT(Speech ToText), 딥러닝 기술을 이용하여 자연어 텍스트를 생성해 내는 GPT-3(Generative Pre-trainedTrans- former3)와 같은 자기 회귀 언어 모델 등 다양한 기술들이 스토리의 자동생성 기술을 뒷받침하고 있다.

2.6 GPT-3(Generative Pre-trained Transformer 3)

GPT-3는 인공지능 기술 정보를 오픈소스화하고 인간 친화적인 인공지능을 개발하기 위하여 설립된 기업인 OpenAI에서 2020년에 발표한 모델로 딥러닝 기술을 이용하여 자연어 텍스트를 생성해 내는 자기 회귀 언어 모델이며, GPT-n 시리즈의 3세대 모델이다. 1,750억 개에 달하는 방대한 매개변수를 가지며 자연어의 처리 및 생성, 번역, 언어와 관련된 문제 풀이 등 다양한 분야에서 활용이 가능하다. 3,000억 개에 달하는 방대한 양의 데이터 셋을 학습에 적용하였으며, 역사, 문화, 시사, 게임 등 폭넓은 주제에 대하여 자연스럽게 대화할 수 있는 능력을 보유하였고, 전문적인 지식에 대한 탐색 및 정리, 제공 등을 수행 할 수 있어 그 활용도가 매우 높다[11]. 그러나 동일 하거나 서로 연관된 문맥을 가진 주제로 장시간의 대화는 여전히 어렵다는 한계점을 가지고 있다.

3. 제안 모델

3.1 제안 모델의 개요

본 연구의 제안 모델은 한국 전통 민화 및 풍속화의 학습을 통해 다양한 데이터와 패턴을 분석하고, 최종적으로 민화 및 풍속화의 내용을 기반으로 콘텐츠를 개발하기 위한 원천 데이터를 생산하는 모델이다. 제안 모델에서는 ① 다양한 한국 전통 민화 및 풍속화의 이미지 데이터 및 각 민화 및 풍속화와 관련된 배경 자료, 창작자에 대한 정보의 수집, ② AI 기술을 기반으로 하는 전통 민화 및 풍속화의 그림과 화풍 자체에 대한 분석, 그림을 묘사하는 텍스트와 키워드의 추출, ③ 민화 및 풍속화 속에 등장하는 인물 및 사물, 소품과 배경 등의 화풍에 대한 패턴의 분석과 이를 이용한 학습된 모델의 확보, ④ 추출된 키워드를 기반으로 하는 관련된 자료의 수집, ⑤ 전체 과정에서 수집, 확보된 데이터의 통합과 이 데이터를 기반으로 하는 스토리 생성의 다섯 가지 기능으로 구성된다(Fig. 1).

Fig. 1. Functional structure diagram of the contents source data generation model.

3.2 제안 모델 처리과정

제안모델의 세부적인 처리과정은 Fig. 2와 같다. Fig. 2에서는 제안하는 모델의 각 기능 사이의 연관성과 처리과정을 보여준다. 제안 모델은 총 7단계의 과정을 거쳐 수행된다.

Fig. 2. Relationship between the functions of the contents source data production model.

1 단계는 한국 전통 민화 및 풍속화의 기본 정보에 대한 DB를 구축하는 단계이다. 이 단계에서는 전통 민화 및 풍속화의 이미지 데이터를 수집하고, 수집된 각 민화 및 풍속화의 작가에 대한 정보, 민화 및 풍속화가 그려진 시대적 배경, 민화 및 풍속화에 등장하는 인물 및 중요한 소품과 사물 등의 기본 정보를 이용하여 DB를 구축하는 단계이다. 또한 각 민화 및 풍속화에 대한 기존의 설명 데이터도 함께 등록하며, 설명 데이터에서 중요한 키워드를 추출하여 DB에 저장한다. 추출된 키워드는 스토리를 생성하기 위한 기반 데이터를 검색하기 위하여 사용된다. Table 1은 민화에 대한 기본 정보와 키워드에 대한 예시를 보여준다.

Table 1. An Example of basic information about folk paintings and keyword.

2 단계는 민화에 포함된 다양한 객체를 인식하여 DB를 구축하는 단계이다. 민화의 이미지에 포함된 등장인물 및 사물 등 첫 번째 단계에서 등록했던 각 요소를 딥러닝 기술을 통해 인식, 검출하기 위하여 레이블링 작업을 수행하고, Object Detection 기능의 구현과 인식 및 검출 모델의 학습, 입력된 각 민화별 객체의 검출, 그리고 검출된 데이터를 이용하여 DB를 구축함으로써 입력된 민화의 이미지에서 콘텐츠 생성에 활용할 수 있는 각 객체들을 인식하고 관리하기 위한 작업을 수행한다.

3 단계는 Style Transfer 기능을 이용하여 입력된 민화 및 풍속화의 화풍과 등장인물 및 사물, 그리고 민화 및 풍속화에 묘사된 배경 등을 학습하고, 새롭게 입력되는 이미지를 학습이 완료된 Style Transfer 모델을 이용하여 전통 민화의 화풍으로 변환할 수 있도록 모델을 준비하는 단계이다. 2 단계에서 인식하여 검출된 등장인물과 사물에 대한 이미지를 CycleGAN 등을 이용하여 적용된 화풍을 학습한 후, 새로운 이미지의 생성에 사용할 수 있는 Style Transfer 모델을 구축한다.또한 민화 및 풍속화에 포함된 등장인물과 사물만이 아니라 민화가 가지는 배경의 화풍을 학습하기 위하여 등장인물 및 사물을 제거한 이미지를 생성 작업을 수행한다. 또한 민화의 배경에 대한 화풍을 학습하고 적용하는 Style 학습 모델을 구축한다.

4 단계는 민화 및 풍속화의 이미지에 대한 묘사 데이터를 이미지 캡셔닝 기술을 이용하여 생성하는 단계이다.민화 및 풍속화의 분석과 이해를 위해서는 그림 자체에 대한 분석과 텍스트로 이루어진 묘사 데이터가 기반이 되어야 하므로 이미지 캡셔닝을 활용하여 민화 및 풍속화의 묘사 텍스트를 생성한 후 DB에 저장한다. 이미지 캡셔닝을 통한 묘사 텍스트에서 민화 및 풍속화의 등장인물의 동작을 제대로 설명하기 위하여 각 등장인물의 동작을 인식하기 위한 모델의 구현이 요구된다. 일반적인 이미지 캡셔닝 기술에서는 ‘달리고 있다’, ‘서 있다’, ‘이야기하고 있다’ 등과 같이 이미지 캡셔닝 모델에 등록된 단어에 기인한 묘사를 수행하는데, 민화 및 풍속화에 등장하는 인물 또는 동물 등의 다양한 모습을 한두 가지의 단어로 표현하기 어려울 경우, 등장인물의 동작, 자세를 인식하는 모델과 그에 대한 설명을 생성하는 모델이 사용될 수 있다.

5 단계는 4 단계에서 생성된 묘사 텍스트 데이터를 기반으로 텍스트 요약(Text Summarization)기 술을 이용하여 민화 및 풍속화를 설명하기 위한 핵심 키워드를 생성하는 단계이다. 일반적인 텍스트 요약 기술에서는 입력된 텍스트에서 핵심 문장 또는 단어를 추출하여 요약문을 생성하지만, 제안 모델에서는 추출된 핵심 문장 또는 단어에서 Text Rank 알고리즘 및 중요도 점수를 부여하여 키워드를 추출하는 기능을 구현한다. 텍스트 요약 기술 적용 시 이미 Text Rank 알고리즘이 적용되므로 2중으로 Text Rank 알고리즘을 적용할 필요는 없으나, 추출된 키워드의 개수가 많거나 각 키워드의 중요도가 명확하지 않을 경우, 연관된 다른 데이터와 함께 Text Rank 알고리즘을 적용하고 점수를 부여할 수 있다. 추출된 키워드는 입력된 민화 및 풍속화와 관련된 정보를 검색하기 위한 키워드로 사용된다.

6 단계는 5 단계에서 생성한 키워드를 이용하여 전통 민화 및 풍속화와 관련성이 높은 역사적 사실과 배경지식, 민화 및 풍속화의 내용과 연관시킬 수 있는 전설, 설화 및 야사 등의 이야기와 데이터를 검색하고, 그 검색 결과를 이용하여 DB를 구축하는 단계이다. 자료를 검색하기 위하여 기본적으로는 5 단계에서 생성한 키워드를 사용하지만 검색된 결과에 추천 시스템을 적용할 수 있다. 특히 추천 시스템에서 사용하는 알고리즘 중, 협업 필터링(Collaborative Filtering) 알고리즘을 중심으로 연관성 분석(Asso-ciation Analysis)을 통하여 각 키워드 사이의 상관관계를 분석하고, 적절한 데이터를 검색할 수 있다[12].

마지막 7 단계는 입력된 전통 민화 및 풍속화에 대하여 분석된 내용, 관련 정보 및 이야기, 유사한 작품 등을 이용하여 콘텐츠 창작에 도움이 되는 다양한 기반 스토리를 자동으로 생성하는 단계이다. 1 단계~6 단계에서 구축된 데이터와 추출된 키워드를 이용하여 관련 정보를 검색하고, 검색된 데이터를 기반으로 GPT-3과 같은 자연어 기반의 문장 및 글 생성 기술을 적용하여 콘텐츠 창작의 기반 자료로 사용할 수 있는 스토리의 형태를 가진 새로운 텍스트 데이터를 생성한다. 또한 생성된 스토리 데이터를 5 단계에서 생성된 키워드를 기반으로 서로 유사하거나 연관성이 높은 민화 및 풍속화 작품과 연계하여 DB를 구축한다. 또한 1 단계~6 단계를 통해 구축된 단편적인 데이터를 그냥 연결하는 것으로는 스토리가 구성되지 않기 때문에 스토리를 생성하기 위해서는 기본적인 글의 구조에 대한 이해가 필요하다. 지금까지 확보된 키워드 및 묘사 텍스트를 스토리텔링을 위한 메타 데이터로 활용하고, 특히 중요한 키워드를 주요 이벤트로 지정하여 스토리의 설계를 확장해 나가는 방법으로 스토리를 생성할 수 있다[13]. 입력된 민화 및 풍속화에서 최종적으로 생성된 짧은 스토리는 각각의 모듈로 DB에 저장되며, 4 단계~5 단계에서 도출되는 키워드와 묘사 텍스트를 기반으로 6 단계에서 검색된 연관된 자료를 모아 스토리를 구성할 수 있다. 어떤 자료가 중심이 되고 연관된 자료 중에서 어떤 내용이 선택되는가에 따라서 다양한 스토리를 생성할 수 있다.

지금까지 총 7단계의 과정을 거치며 이미지 캡셔닝, 텍스트 요약 등의 기술을 통해 민화 및 풍속화로부터 직접 생성한 묘사 데이터와 입력된 민화 및 풍속화와 연관된 자료, 최종적으로 생성된 스토리들이 누적되면서 다양한 새로운 스토리를 만들 수 있는 기반 자료로 사용할 수 있다. 민화 및 퐁속화를 포함한 한국의 전통 문화를 대상으로 기존에 진행된 선행 연구들은 전통 문화에 대한 학술적인 정보를 DB화 하고 데이터에 대한 검색 서비스 등을 제공하는 것에 초점을 두고 있었다. 그러나 제안하는 모델은 정보 검색 서비스의 한계를 벗어나 민화 및 풍속화를 기반으로 하는 새로운 기초 스토리 모듈을 생산 및 누적시키고, 전통 민화 및 풍속화의 화풍과 그림의 특징을 분석하고 재생산하기 위한 학습된 모델을 제공함으로써 새로운 콘텐츠의 창작을 위한 기반 데이터를 제공한다는 점에서 활용도가 높다. 전통 민화 및 풍속화 외에도 다양한 분야에서 기존의 콘텐츠를 분석하고 활용 가능한 모듈과 메타 데이터를 생산함으로써 새로운 기반 콘텐츠를 생산한다면[14] 급성장하고 있는 콘텐츠 산업에 큰 기여를 할 수 있을 것으로 기대된다.

4. 결론

본 논문에서는 한국의 전통 민화 및 풍속화와 AI 기술의 융합을 통하여 전통 민화 및 풍속화를 바탕으로 하는 다양한 콘텐츠 원천 데이터의 생산 모델을 제안하였다. 제안 모델은 객체 인식과 StyleTransfer 기술, 이미지 캡셔닝 기술 및 텍스트 요약 기술, GPT-3과 같은 텍스트 생성 기술과 전통 민화와 풍속화의 분석을 통해 생성된 키워드를 메타 데이터로 활용하여 자동 스토리 모듈 생성을 수행하도록 구성하였다. 그리고 전통 민화 및 풍속화를 기반으로 새로운 스토리 모듈을 만들고 각 민화로부터 파생되어 생성된 기초 스토리의 모듈을 누적시킴으로써 새로운 콘텐츠의 창작을 위한 다양한 기반 스토리 데이터를 제공하도록 구성하였다. 또한 전통 민화 및 풍속화의 화풍과 특징을 학습한 모델을 이용하여 새로운 콘텐츠의 창작을 위한 도구를 제공할 수 있으며, 제안 모델을 통해 생산된 키워드 등의 메타데이터와 스토리 모듈, 화풍을 학습한 모델 등을 이용한 콘텐츠 원천 데이터 생성 기술은 급성장하고 있는 콘텐츠 산업에 큰 기여를 할 수 있을 것으로 기대된다. 향후에는 본 논문에서 제안한 콘텐츠 원천 데이터 생성 모델의 구현과 함께, 전통 민화와 풍속화로부터 생산된 각 기초 스토리의 구성 방법과 활용, 구축된 메타 데이터의 활용 방안에 대한 연구를 수행할 계획이다.