A Study on Method for Extracting Emotion from Painting Based on Color

색상 기반 회화 감성 추출 방법에 관한 연구

Abstract

Paintings can evoke emotions in viewers. In this paper, we propose a method for extracting emotion from paintings by using the colors that comprise the paintings. For this, we generate color spectrum from input painting and compare the color spectrum and color combination for finding most similarity color combination. The found color combinations are mapped with emotional keywords. Thus, we extract emotional keyword as the emotion evoked by the painting. Also, we vary the form of algorithms for matching color spectrum and color combinations and extract and compare results by using each algorithm.

1. 서 론

사람들은 회화를 보며 특정한 감성을 느낀다. 이는 화가가 어떠한 의도를 가지고 그에 따른 다양한 특징들을 작품에 표현함으로써 보는 사람에게 자신이 의도한 감성을 느끼도록 하기 때문이다. 이러한 의도를 파악하기 위해서는 회화를 구성하는 요소들이 갖는 특징 및 그 특징이 감성에 미치는 영향에 대한 연구가 필요하다. 회화의 구성요소는 색상, 구도, 재질감 등이 있으며 화가, 혹은 시대별로 이러한 특징들의 표현 양식이 달라진다. 이러한 특징들을 이용하여 화가가 작품을 만들 때의 의도를 파악할 수 있다면 객관적인 이유를 토대로 보다 효과적인 감상이 가능하도록 도울 수 있다.

하지만, 기존의 연구에서는 사람의 감성보다는 화가나 화풍 등을 분류하는데 초점을 맞췄다 [1, 2]. 왜냐하면, 작품을 보고 사람들이 느끼는 감성에 대한 이유를 객관적으로 측정할 기준 등이 명확하지 않기 때문이며, SVM(Support Vector Machine) 등의 기계학습을 이용하여 공통적인 경향성을 파악하는 이유도 객관적인 기준을 경향성으로 대신하려는 목적이기 때문이다. 우리는 이러한 회화에서의 경향성보다, 화가가 의도한 감성 및 감상자가 느끼는 감성에 초점을 맞추었다.

따라서, 본 논문에서는 회화에서 사용된 특징 중에 색상을 기준으로 하여 화가가 색상을 통해 사람들에게 어떤 감성을 느끼도록 작품을 구성했는지를 다룬다. 또한, 감성을 추출하는 과정에 있어서 여러 방법들을 시도해보고, 그 실험에 따른 결과를 비교하였다.

 

2. 관련 연구

2.1 회화의 감성

회화에서 특징을 추출하여 이용한 연구는 다양하게 진행되어 왔다. 대표적으로는 회화에서 특징을 추출하여 기계 학습을 통해 그림을 분류하는 연구가 있다. 이러한 연구들은 회화에서 색상, 텍스처 등의 특징을 추출하고 SVM과 같은 기계학습을 통해 그림의 경향성과 공통적인 특징을 이용하여 화가나 시대 등을 기준으로 분류한다.

Icoglu et al[3] 의 연구는 기계 학습을 이용하여 회화 작품들을 사조별로 분류하는 방법을 제안했다. 이를 위해, 6차원 특징을 사용하였고 그 특징들은 각각 어두운 색이 이미지에서 차지하는 비율, 그라디언트 맵을 통해 계산된 상관계수, 명도 히스토그램에서의 최대값, 명도 히스토그램에서의 범위, 등으로 이루어져 있다. 이러한 특징들을 이용하여 k-NN, Bayesian, SVM 분류기를 통해 90%가 넘는 분류 정확도에 대한 결과를 보였다.

Zujovic et al[1] 의 연구 또한 기계 학습을 이용하여 회화를 분류하는 방법을 제안했다. 이 연구는 Gabor filter를 이용한 Gray-level 특징과, Cannyedge detector를 이용한 엣지 정보, HSV color model을 기준으로 한 색상 정보 등을 이용하여 회화를 장르별로 분류하였다. 또한 분류를 위해 k-NN, SVM, 등의 분류기를 사용하였으며, 약 70%의 분류 정확도에 대한 결과를 보였다.

위에서 언급한 바와 같이, 회화를 장르 혹은 사조를 기준으로 한 분류는 연구가 되었으나, 특정 회화를 분석하여 그 회화로부터 느껴지는 감성을 추출하는 방법은 연구되어지지 않았다. 따라서, 우리는 본 연구의 선행 연구로써 회화에서 사용된 색을 이용하여 감성을 추출하는 방법을 제안했다[4]. 이 연구에서는 입력 이미지에서 사용된 색상을 이용하여 컬러 스펙트럼을 생성했다. 그리고 이 컬러 스펙트럼과 다양한 색상 배색과의 비교를 통해 가장 유사한 색상 배색을 찾아냈다. 또한 찾아진 색상 배색에 해당하는 감성 키워드를 도출하여 그 형용사를 입력 이미지를 잘 표현하는 감성으로 정의하였다.

본 연구는 컬러 스펙트럼과 색상 배색간의 비교에 사용한 알고리즘을 세 가지의 서로 다른 형태로 변화시켜, 각 알고리즘에 대한 결과를 추출하였고, 추출한 결과를 비교하였다. 이를 통해, 각 알고리즘이 갖는 특징을 분석하여 목적에 맞는 알고리즘 설정을 가능하게 하였다. 또한, 입력 이미지를 이용해 컬러 스펙트럼을 만드는 과정에 있어서, 양방향 필터 혹은 세일리언시(Saliency) 필터를 각각 적용하여, 필터링된 이미지로부터 컬러 스펙트럼을 생성했다. 그리고 각 필터를 통해 생성된 컬러 스펙트럼을 비교하여, 보다 효율적이며 목적에 부합하는 필터 설정을 가능하게 하였다.

2.2 색상의 감성

회화에서 색상을 이용하여 감성을 추출하려면, 우선 색상의 감성에 대한 정의가 필요하다. 색상에 대해서 감성을 정의해놓은 연구로는 일본의 색 연구가인 Kobayashi의 Color Image Scale[5, 6, 7]이 있다. 이 연구에서 Kobayashi는 Munsell의 color system을 기반으로 하여 단일 색상을 정의했다. Munsell color system은 색상(Hue), 채도(Chroma), 명도(Value) 세 개의 축을 기준으로 색상을 표현한 체계이다. Kobayashi는 Hue를 10단계로 나누어 각각의 이름을 정의했다. (Red:R, Yellowish-Red:YR, etc) 또한 채도와 명도를 조합하여 구분 가능한 12개의 Tone을 정의하였고, 이 Tone은 각 색의 색조를 의미하며 Tone 역시 각각의 이름을 정의했다. (Vivid:V, Grayish:G, etc) 위와 같은 형식으로 120개의 유채색을 정의하였고, 더하여 무채색을 10 단계로 나누어 총 130가지의 색과 그에 대한 이름을 정의했다(Fig. 1).

Fig. 1.Hue & Tone 130 Color System defined by Kobayashi.

Kobayashi는 위와 같이 정의한 Hue & Tone 130 color system을 이용하여 Color image scale을 개발했다. Color image scale은 앞서 언급한 130가지의 단일 색상들을 warm-cool, soft-hard 두 개의 감성 척도를 나타내는 축으로 구성 된 하나의 평면상에 분포시켰다. 따라서 Color image scale에 분포된 각 색은 감성적인 특징을 갖는다. 그리고 이 130가지의 색들을 조합하여 다양한 3색 배색을 제작하였고, 3색 배색들을 Color image scale 상에서 분포시켜 배색 image scale을 제작하였다(Fig. 2(a)).

Fig. 2.(a) 3-color combination image scale (b) word image scale.

또한, 설문 조사를 통해 warm-cool, soft-hard 평면상에 각 감성의 척도들을 잘 나타낼 수 있는 감성 키워드를 선정하여 Fig. 2(b)과 같은 word image scale을 제작하였다. 그리고 분포된 3색 배색들과 감성 키워드들의 위치를 고려하여, 형용사와 유사한 위치에 있는 3색 배색들을 해당 형용사를 표현하는 배색이라고 정의했다(Fig. 3).

Fig. 3.A data set of emotions with 3-color combinations.

우리는 Fig. 3과 같은 매핑 데이터를 회화의 색을 이용한 감성 추출에 사용하였다. 데이터는 총 174개의 감성 키워드와 각 감성 키워드를 의미하는 3색 배색으로 구성되어져 있다. 그리고 각 감성을 의미하는 3색 배색은 1개부터 14개까지 존재한다.

 

3. 색상 기반 회화 감성 추출 기법

본 논문에서 제시한 회화에서의 감성 추출 방법은 Fig. 4와 같은 과정을 거친다. 우리의 시스템은 2.2장에서 설명한 감성 단어와 색상 배색 매핑 데이터베이스를 사용한다. 색상 배색들과의 비교를 위해 입력 이미지에서 사용된 색상을 추출해야 한다. 이를 위해 입력 이미지를 필터링하고, 필터링한 이미지를 Hue & Tone 130 color system 상의 색상으로 정규화하여 컬러 스펙트럼을 생성한다. 그리고 생성된 컬러 스펙트럼과 색상 배색들을 비교하여 컬러 스펙트럼과 가장 유사한 색상 배색을 찾고 그에 해당하는 감성 단어를 도출한다. 그리고 도출된 감성 단어를 이용해 회화의 감성을 정의한다.

Fig. 4.A process for extracting emotion from painting.

3.1 필터링 & 색상 스펙트럼

회화에서 색상을 추출하기 위해서 중요한 요소는 색상과 그 색상이 회화에서 차지하고 있는 비율이며, 우리는 이러한 요소들을 이용하여 색상 스펙트럼을 생성한다. 이때, 원본 이미지에서 필터링 과정을 거치지 않고 색상 스펙트럼을 생성하게 되면 매우 많은 색상이 고려된 컬러 스펙트럼이 생성된다. 이는 색상 배색과의 유사도 측정에서 정확도를 떨어뜨리는 요인으로 작용하며, 비효율적인 계산 과정이 필요하기 때문에 컬러 스펙트럼을 회화의 대표적인 색상을 이용해 구성할 필요가 있다. 따라서 본 논문에서는 비슷한 색상을 통합하는 과정과 시각의 집중도에 따라 색상의 통합 정도를 다르게 하는 두 가지의 필터를 적용하고 이후 Hue & Tone 130 color system 상의 색상으로 정규화 시키는 과정을 거쳐 색상 스펙트럼을 생성하게 된다.

첫째로, 비슷한 색상을 통합하는 과정으로는 양방향 필터[8]를 사용하였다. 양방향 필터는 윤곽선을 보존하면서 노이즈를 제거하는 효과를 가지고 있는 필터로써 Fig. 5(b)에 보이는 것과 같이 각 색상이 통합되면서 회화를 구성하는 색상의 개수가 필터링을 거치지 않은 결과보다 줄어든 것을 확인할 수 있다.

Fig. 5(a) input image (b) bilateral filtered image (c) saliency filtered image.

둘째로, 시각의 집중도에 따라서 색상을 통합하는 정도를 다르게 하는 목적으로는 슈퍼픽셀[9] 기반의 세일리언시 필터[10]를 사용하였다. 색상을 군집화해 통합하는 슈퍼픽셀 기법과 시각의 집중도를 측정해주는 세일리언시 필터를 통해 색상을 통합하는 정도를 조절했다. 그 결과, 양방향 필터의 결과와 유사하게 필터링을 거치지 않은 결과보다 적은 개수의 색상으로 구성됨을 확인할 수 있다(Fig. 5(c)). 그러나 세일리언시 필터의 결과가 감상자가 보는 초점과 다르게 추출될 경우, 회화의 주제를 표현하는 물체들의 색상이 통합되어져 정확하지 않은 감성이 도출될 수 있다.

필터링 과정을 거친 후, 정규화 과정은 다음과 같은 방법을 이용하여 수행된다. 우선, 필터링된 이미지의 각 픽셀의 색상과 가장 가까운 색 간 거리를 갖는 Hue & Tone 130 color system 상의 색상을 찾는다. 색 간 거리를 구하기 위해, 비교에 사용된 색상들을 Lab color model로 변환하여 유클리드 거리 측정법을 사용한다[11]. 위와 같은 방법을 통해 찾아진 Hue & Tone 130 color system 상의 색상을 입력 이미지의 해당 색상 위치에 적용한다. 입력 이미지의 모든 픽셀에 대한 정규화 과정이 끝나면 입력 이미지는 최대 130 가지의 색상으로 구성된 이미지로 변환된다. 그 뒤, 정규화된 이미지를 구성하는 각 색상들에 대해 빈도수를 구한다. 마지막으로, 사용 빈도수가 높은 순서대로 색상을 정렬하여 Fig. 6과 같은 형태의 컬러 스펙트럼을 생성한다.

Fig. 6.Comparison between color spectrum created for each filter. (a) color spectrum from non-filtered image, (b) color spectrum from bilateral filtered image, (c) color spectrum from saliency filtered image.

3.2 대표 색상 배색과 감성 추출

우리는 3.1장 에서 설명한 과정을 통해 생성된 컬러 스펙트럼과 2.2장 에서 설명한 3색 배색 데이터베이스를 비교해야 한다. 이를 위해 데이터베이스의 각 3색 배색과 컬러 스펙트럼간의 유사도를 계산한다. 그리고 높은 유사도를 보이는 3색 배색들을 찾은 뒤 그에 해당하는 감성 키워드를 도출한다. 이러한 과정에서 컬러 스펙트럼을 구성하는 색상과 그 색상이 차지하는 비율에 대해서 어떠한 요소에 비중을 두고 유사성을 측정할 것인가는 매우 중요하다.

컬러 스펙트럼과 색상 배색 비교의 자세한 과정은 Fig. 7과 같다. Fig. 7(a)는 회화에서 추출한 색상 스펙트럼이며, Fig. 7(b)는 데이터베이스에 포함되어있는 색상 배색중 Placid 감성을 의미하는 것 이다. 색상 배색의 3가지 각각의 색상과 색상 스펙트럼을 구성하는 색상들과의 유사도를 측정하고 그 유사도를 합산하여 점수를 측정한다. 만약 점수가 높다면 해당 배색과 컬러 스펙트럼을 구성하는 색상들이 유사함을 의미하며, 점수가 낮다면 해당 배색과 컬러 스펙트럼을 구성하는 색상들이 유사하지 않음을 의미한다. 이러한 과정의 자세한 식은 아래와 같다.

Fig. 7.A method for matching between color spectrum and 3-color combinations.

유사도 점수는 컬러 스펙트럼을 구성하는 색상이 차지하는 비율과, 색상 배색과의 색 간 거리 두 가지에 영향을 받는다. 따라서 두 가지 요소에 대한 가중치를 설정하는 것은 매우 중요하다. 이 가중치에 따라 회화에서 적게 사용된 색상과 유사한 배색이 도출될 수 있고, 많이 사용되었으나 회화를 제대로 표현하지 못하는 배색이 도출될 수도 있다. 따라서 본 논문에서는 색상의 비율과 색 간 거리가 갖는 가중치에 대한 실험을 위해 지수, 선형, 가우시안 세 가지 형태의 함수를 사용하여 결과를 도출하고, 비교해보았다.

세 가지의 서로 다른 성질의 함수들을 이용한 감성 도출 결과를 비교해보면, 가우시안 함수(식 2)를 사용하여 감성을 도출한 경우 색상에 대한 유사도가 높을수록 매우 높은 점수, 낮을수록 매우 낮은 점수를 부여함으로써 비율과 유사도를 모두 고려하지만 비율보다는 색상의 유사한 정도를 더욱 크게 고려하는 것을 볼 수 있다. 그 결과 Fig. 8 (a)과 같이 유사한 색상 배색들은 점수 또한 유사하게 계산되는 것을 볼 수 있다. 지수 함수(식 3)의 경우에는 색상에 대한 유사도가 조금이라도 차이가 있을 때 매우 적은 점수를 부여함으로써 유사도에 큰 영향을 미친다. 그 결과 Fig. 8(b)과 같이 각 배색마다 점수 차이가 큰 것을 볼 수 있다. 마지막으로 선형 함수(식 4)의 경우 색상의 유사도와 비율을 모두 고려하지만 비율에 더 큰 영향을 받는다. 따라서 Fig. 8(c)과 같이 비율에 대해서 균일한 점수를 받는 것을 볼 수 있다.

Fig. 8.Results of emotion extraction by using three functions. (a) by using Gaussian function (b) by using exponential function (c) by using Linear function.

Table 1.Features influencing the score of similarity

 

4. 결 과

우리는 3장 에서 설명한 알고리즘을 이용해 다양한 회화에서 감성을 도출했다. Fig. 9는 우리가 테스트한 여러 회화 작품 중 네 가지 작품이다. 감성 추출은 양방향 필터와 가우시안 함수를 사용하였다. 클로드 모네의 아르장퇴유의 정원 작품을 입력하였을 때 Sober 감성이 도출되었다. 로트렉의 마르셀의 초상화 작품을 입력하였을 경우엔 Peace 감성이 도출되었다. 그리고 르누아르의 두 자매 작품을 입력하였을 경우 Dreamy 감성이 도출되었다. 고흐의 에갈리에르 부근 싸이플러스 있는 밀밭 작품을 입력한 경우 Provincial 감성이 도출되었다.

Fig. 9.Results of emotion extraction by using bilateral filter and Gaussian function.

 

5. 결론 및 향후 연구

본 논문에서는 회화 이미지에 사용된 색상들을 이용하여 감성을 추출하는 방법을 제안하였다. 이를 위해, 입력 이미지를 필터링한 뒤, Hue & Tone 130 color system상의 색상으로 정규화 한 뒤 각 색상이 입력 이미지에서 사용된 빈도에 따라 정렬하여 하나의 컬러 스펙트럼을 생성하였다. 그 뒤, 생성한 컬러 스펙트럼과 여러 3색 배색들과의 비교를 통해 컬러 스펙트럼과 가장 유사한 색상 배색을 찾아내어 그에 해당하는 감성 키워드를 도출했다. 마지막으로, 위의 과정을 통해 찾아진 감성 키워드를 회화에서 느껴지는 감성으로 정의하였다. 또한, 입력 이미지를 필터링 하는 과정에서 양방향 필터와 세일리언시 필터를 사용하여 결과를 비교하였다. 그리고 색상 배색과 컬러 스펙트럼을 비교하는 과정에서 지수, 선형, 가우시안 함수를 사용하여 결과를 비교하였다.

그러나 화가는 색상만을 고려하여 그림을 그리기 보다, 질감, 구도 등 여러 요소들을 통해 작품을 만들어낸다. 그리고 이러한 요소들은 그 변화에 따라 다양한 감성을 이끌어내는 도구로 사용될 수 있다. 예를 들어, 거친 질감은 보다 역동적인 감성을 이끌어내고, 수평선 구도는 보다 안정적인 감성을 이끌어낸다. 따라서 질감, 구도와 같이 회화를 구성하는 다양한 요소들과 감성과의 상관관계에 대한 연구가 되어져야 할 것이다. 또한 우리는 향후 연구로 위와 같은 회화의 특징들을 이용하여 보다 정확한 회화의 감성 예측 연구를 진행할 것이다.