Deep Learning-based Person Analysis in Oriental Painting for Supporting Famous Painting Habruta

Habruta is a question-based learning that talks, discusses, and argues in pairs. In particular, the famous painting Habruta is being implemented for the purpose of enhancing the appreciation ability of paintings and enriching the expressive power through questions and answers about the famous paintings. In this study, in order to support the famous painting Habruta for oriental paintings, we propose a method of automatically generating questions from the gender perspective of oriental painting characters using the current deep learning technology. Specifically, in this study, based on the pre-trained model, VGG16, we propose a model that can effectively analyze the features of Asian paintings by performing fine-tuning. In addition, we classify the types of questions into three types: fact, imagination, and applied questions used in the famous Habruta, and subdivide each question according to the character to derive a total of 9 question patterns. In order to verify the feasibilityof the proposed methodology, we conducted an experiment that analyzed 300 characters of actual oriental paintings. As a result of the experiment, we confirmed that the gender classification model according to our methodology shows higher accuracy than the existing model.

명화 하브루타 지원을 위한 딥러닝 기반 동양화 인물 분석

하브루타 교육은 짝을 지어 대화하고 토론하고 논쟁하는 방식의 질문 중심 교육이며, 특히 명화 하브루타는 명화에 대한 질문과 답변을 통해 그림의 감상 능력을 증진하고 표현력을 풍부하게 하기 위한 목적으로 시행되고 있다. 본 연구에서는 동양화를 대상으로 한 명화 하브루타를 지원하기 위해, 최신 딥러닝 기술을 활용하여 동양화 등장인물의 성별 관점에서 질문을 자동으로 생성하는 방안을 제시한다. 구체적으로 본 연구에서는 사전학습모델인 VGG16을 바탕으로 동양화 인물 중심의 미세조정을 수행하여 동양화의 인물 분석을 효과적으로 수행할 수 있는 모델을 제안한다. 또한 질문의 유형을 명화 하브루타에서 사용되는 사실 질문, 상상 질문, 그리고 적용 질문의 3가지 유형으로 분류하고, 각 질문을 등장인물에 따라 세분화하여 총 9가지의 질문 패턴을 도출하였다. 제안 방법론의 활용 가능성을 확인하기 위해 실제 동양화의 등장인물 300건을 분석한 실험을 수행하였으며, 실험 결과 제안 방법론에 따른 성별 분류 모델이 기존 모델에 비해 높은 정확도를 나타냄을 확인하였다.