Design of Hybrid Unsupervised-Supervised Classifier for Automatic Emotion Recognition

자동 감성 인식을 위한 비교사-교사 분류기의 복합 설계

Abstract

The emotion is deeply affected by human behavior and cognitive process, so it is important to do research about the emotion. However, the emotion is ambiguous to clarify because of different ways of life pattern depending on each individual characteristics. To solve this problem, we use not only physiological signal for objective analysis but also hybrid unsupervised-supervised learning classifier for automatic emotion detection. The hybrid emotion classifier is composed of K-means, genetic algorithm and support vector machine. We acquire four different kinds of physiological signal including electroencephalography(EEG), electrocardiography(ECG), galvanic skin response(GSR) and skin temperature(SKT) as well as we use 15 features extracted to be used for hybrid emotion classifier. As a result, hybrid emotion classifier(80.6%) shows better performance than SVM(31.3%).

1. 서 론

감성은 신경 및 호르몬 시스템을 통하여 객관적인 제어를 가능하게 하지만 주관적인 요소 역시 작용하여 나타나는 복합적인 상호관계를 통하여 나타나게 된다[1]. 이러한 감성은 인간의 인지과정 및 행동에 크게 영향을 미치게 되고 이에 따라 다양한 결과를 나타낼 수 있다[2]. 따라서 현재에도 연구자들은 감성에 관한 연구를 다양하게 진행하고 있으며 감성 상태에 따른 기술의 제품화가 나타나고 있는 추세이다.

감성을 연구함에 있어 다양한 연구방법이 논해지고 있으나 주관적인 요소를 포함하고 있기 때문에 연구방법에 따라 다양한 결과가 도출되고 있다. 감성은 개인의 차가 존재하는 지표이기 때문에 분석이 어려우며 각 개인의 삶에서의 경험이 다르고 생각이 다르기 때문에 다양한 결과가 존재한 다. 또한 감성에 영향을 주는 요인 역시 다르기 때문에 감성을 정의하는 데 있어 정답을 가지고 있지 않다. 인간의 표정, 몸짓을 통하여 감성을 추론할 수 있고, 설문조사 등을 통하여 어떠한 감성을 느끼는지 예측 가능하나 그것들이 진실인지는 판단하기 어렵다는 점은 감성을 연구하는데 문제가 된다. 이와 다르게 생리학적으로 나타나는 생체신호는 감성에 관한 객관적인 지표를 제시하여주므로 감성 연구의 데이터로 사용이 가능하다. 생체신호는 인체 내 반응을 통하여 나타나는 신호이며 인간의 인지 상태는 생체신호를 통하여 확인이 가능하여 신뢰성이 높다[2,3].

이에 따라 본 논문에서는 생체신호를 기반으로 하는 비교사-교사 학습을 통한 자동 감성 인식을 위한 분류기를 설계 하고자 한다. 따라서 보통(Neutral), 공포(Fear), 슬픔(Sad) 및 즐거움(Joy) 총 4가지 감성상태를 유발하고 생체신호 데이터를 획득하여 이로부터 추출된 특징을 바탕으로 군집화 방법을 통해 동일한 감성을 군집시킨다. 또한 같은 군집 내 데이터를 사용하여 감성분류기를 학습하므로 자동 감성 인식 분류기 구현을 목표로 한다.

 

2. 실 험

본 연구에서는 질환을 가지고 있지 않은 평균 60세의 노년층 여성 10명이 피험자로서 실험에 참가하였으며 실험 전 동의서를 작성하였다. 실험은 영상을 이용한 시각자극을 통하여 감성을 유발하는데 목적을 가지고 있으며, 시각자극을 주는 동시에 나오는 생체신호를 획득하였다. 실험은 그림 1 과 같이 진행되었다. 유발하고자 하는 감성은 보통, 공포, 슬픔, 즐거움으로 총 4가지 상태이며 각 감성은 영화 및 다큐멘터리 영상을 통하여 유발하였다. 피험자는 30분 간 휴식 후 60분 길이의 영상을 시청하였다. 총 4개의 감성 유발 영상은 각각 다른 날 상영하였으며 한 피험자 당 총 실험기간은 4일이었다. 감성의 원활한 유발을 위하여 피험자와 진행자는 다른 공간에서 실험을 진행하였다. 피험자는 스크린을 통하여 영상을 시청하였으며 진행자는 다른 공간에서 영상을 틀어주고 BIOPAC MP 150 TM을 통하여 피험자의 생체신호를 획득하였다[4].

그림 1실험 프로토콜 Fig. 1 Experiment Protocol

 

3. 특징추출 및 분류기 설계

3.1 특징추출

실험을 통하여 획득한 생체신호는 뇌파, 심전도, 피부전도도, 피부온도 총 4개이다. 뇌파는 중추신경계통의 생체신호로 감성 자극에 따라 직접적인 변화를 볼 수 있다. 심전도, 피부전도도 및 피부온도는 자율신경계통 생체신호로 감성상태에 따라 각각 다른 변화를 가지므로 다양한 생체신호의 조합을 통하여 감성 상태를 분석하고자 하였다. 각 영상자극 동안 추출 된 생체신호를 1분 단위로 끊어 특징데이터를 생성하였다.

먼저 뇌파는 감정에 관계를 가지고 있는 두정엽에서 측정된 신호를 사용하였다. 획득 된 뇌파신호는 식1을 통하여 주파수 영역으로 표현하며 여기서 N 은 샘플 개수, x는 시간영역의 신호, X 는 주파수 영역에서의 각 주파수에 해당하는 푸리에 변환 결과를 나타낸다. 식2는 퓨리에 변환으로부터 구한 Xk의 계수를 이용하여 뇌파의 구성 주파수 밴드별 파워인 Pk를 계산하여 뇌파의 특징을 추출하는 방법으로 𝛿, 𝜃, 𝛼, 𝛽, 𝛾 대역의 각각의 주파수밴드 파워를 구할 수 있다. 구해진 주파수밴드 파워는 전체 주파수밴드 파워에 대하여 상대적이 비를 계산하여 특징으로 사용하였다[5,6].

심전도는 감성에 따라 심작박동이 변하며 이는 R 피크를 통하여 알 수 있다. 추출된 R 피크 간 간격으로부터 계산한 심박변이도(heart rate variability)를 구하여 평균(mean), SDNN(the standard deviation of RR intervals), RMSSD(the square root of the mean squared difference of succesive RRs), NN50(the number of pairs of successive RRs that differ by more than 50ms) 및 주파수대역 비율인 HF/LF(the ratio of both high frequency and low frequency)을 추출하여 특징벡터로 사용하였다. 각 특징은 식3-식6을 통하여 구할 수 있으며 R ∼R은 R 피크 사이의 간격을 나타내며 the⌗of R∼R은 R 피크 간격의 개수를 나타낸다. 심박변이도의 주파수 영역 특징은 뇌파 특징 추출 시와 같은 방법으로 주파수 파워를 구할 수 있으며 고주파파워와 저주파파워의 비를 하나의 특징으로 나타냈다[7].

피부전도도는 수분 정도에 따라 전기 전도를 측정하는 방법으로 감성의 변화가 크면 신호가 많이 진동하는 특징을 가진다. 따라서 획득된 피부전도도 신호는 식7-식9를 통하여 평균, 표준편차(STD; standard deviation), 영점교차율 (ZC; zero-crossing)을 특징으로 추출하였다. 식7-식9의 N 은 샘플 수를 의미한다. 영점교차율은 신호 파형이 영점 축과 교차하는 횟수를 의미하는 특징으로 이를 통해 에너지가 집중되는 주파수를 찾을 수 있다. 식9에서 s는 신호의 크기, N 개의 샘플된 신호에서 n부터 m까지의 구간의 영점교차율을 구하며 w는 창함수를 나타낸다[8]. 피부온도는 긴장 시 혈관을 수축하여 온도가 감소하는 반응을 보이는 특징을 가지며 식7과 식8을 통하여 평균과 표준편차를 구하여 특징으로 생성하였다[9].

4개의 생체신호로부터 추출된 특징들은 천 단위부터 소수점 단위까지 넓은 범위를 가진다. 따라서 단위가 큰 특징으로 가중치가 편향되는 것을 막기 위하여 정규화시켜주었다. 따라서 모든 특징 값들은 0에서 1사이 값을 가지며 생성된 특징은 총 15개로 표 1과 같다.

표 1생체신호로부터 추출한 특징 Table 1 Feature from Physiological Signal

3.2 분류기 설계

3.2.1 비교사학습을 통한 전처리

비교사학습인 K-means는 비슷한 특징을 가지는 데이터들끼리 군집시켜주는 역할을 한다. K-means의 학습방법은 표 2와 같다. 원하는 K개의 군집수를 정해준 후 군집 중심의 초기벡터를 설정하여 가까운 특징들을 계산하여 같은 군집으로 배정하여 준다. 같은 군집 내 데이터들의 평균을 군집 중심으로 다시 설정하여주며 이를 반복하여 데이터들을 K개의 군집으로 분류시킬 수 있다. 군집화는 구현이 간편하고 계산속도가 빠르다는 장점이 있으며 비교사학습을 하기 때문에 분류가 모호한 데이터를 학습하기 좋다는 장점을 가진다[5,10]. 본 연구에서는 획득한 생체신호를 통하여 감성을 2-4개로 군집화시켜 감성 간 연관성을 보고, 영상 자극에 따른 감성 유발 구간이 다르므로 비교사학습을 통한 군집과정으로 감성이 잘 일어나는 부분을 분석하여 데이터를 추출 하였다.

표 2K-means 알고리즘 Table 2 K-means Algorithm

3.2.2 군집화의 초기중심 설정

군집화의 문제점은 초기에 설정되는 군집 중심에 따라 지역 최적점에 빠질 가능성을 가진다는 것이다. 따라서 그러한 문제점을 해결하기 위하여 유전알고리즘을 통하여 군집화의 초기중심을 설정하고자 하였다[11]. 유전알고리즘은 주어진 적합함수를 사용하여 선택, 교차 및 변이를 반복하며 해를 개선시켜준다. 지역 최적점에 빠질 해를 전역 최적점으로 수렴할 수 있는 가능성을 높여주는 역할을 한다[12]. 본 논문에서는 K-means를 적합함수로 설정하였으며 이진으로 표현되는 해를 통하여 초기 군집 중심을 설정하였다. 표 3은 K-means의 초기 군집 설정을 위한 유전알고리즘 학습방법이다.

표 3유전알고리즘을 이용한 초기 군집 중심 설정 방법 Table 3 Making Central Initial Vector for K-means using Genetic Algorithm

3.2.3 교사학습을 통함 감성 분류기

본 연구에서 사용한 데이터는 총 4가지의 감성을 유발하였다. 따라서 각각의 상태에서의 부류를 임의로 정해줄 수 있다. 이는 교사학습을 통한 분류기의 설계를 가능하게 해준다. 교사학습을 하는 분류기 중 support vector machine(SVM)은 부류 간 일반화 능력을 극대화시켜주므로 오류율을 줄이는 역할을 한다. 커널함수를 통하여 데이터를 고차원으로 매핑시켜주므로 다른 교사학습 분류기보다 우수한 성능을 가진다[13]. 본 연구에서는 군집화를 통하여 전처리시킨 데이터를 SVM의 훈련데이터로 사용하여 랜덤으로 선택되어지는 훈련데이터의 한계를 극복하고 SVM의 장점인 일반화 성능을 높이고자 하였다. 본 연구에서 설계된 분류기는 그림 2와 같다.

그림 2분류기 개요도 Fig. 2 Flowchart of Classifier

 

4. 결 과

군집의 개수(K)를 변화시켜주며 감성 상태 데이터를 분석 하였다. 표 4-6은 군집 개수가 2개에서 4개로 늘어난 경우에 각 감성에서 같은 부류로 군집된 데이터의 개수를 나타낸다. 총 측정한 감성상태 4개를 2개의 감성으로 구분하여 비슷한 특성을 가지는 감성을 묶어 주었을 경우 보통, 공포 및 슬픔 상태가 하나의 군집으로 즐거움이 다른 하나의 군집으로 나누어지는 것을 표 4를 통하여 확인할 수 있다. 군집의 개수를 3개로 하였을 때는 각 공포, 슬픔, 즐거움 상태가 각각 크게 다른 군집으로 나뉘었으며 보통 상태는 대부분 슬픔 상태로 분류됨을 표 5를 통하여 확인할 수 있다. 또한 공포 상태의 데이터 일부와 슬픔 상태의 데이터 일부는 서로 약간씩 섞여 군집되는 것을 볼 수 있다. 마지막으로 4개의 감성을 4개의 군집으로 분류하였을 경우 보통 상태가 2개의 군집으로 나눠지는 것을 볼 수 있으며 반 이상의 데이터가 슬픔으로 분류되었고 이는 표 6을 통하여 확인할 수 있다. 또한 공포 상태의 데이터는 일부가 보통 상태로 군집되는 것을 알 수 있다.

표 42개의 부류로 군집화 된 감성 Table 4 Emotion Divided by 2 Clusters

표 53개의 부류로 군집화 된 감성 Table 5 Emotion Divided by 3 Clusters

표 64개의 부류로 군집화 된 감성 Table 6 Emotion Divided by 4 Clusters

각각의 감성 상태 자극 시 분류 오류를 나타내는 영상구간을 추출하기 위하여 데이터의 군집을 나타내었다. 그림 3은 대표적 피검자 한 명의 자료이다. 그림 3의 가로축은 영상 자극을 보는 동안의 시간의 흐름을 나타내고 세로축은 군집을 나타내며 첫 번째 열은 군집 개수 K가 2개 일 때, 가운데 열은 3개, 오른쪽 열은 4개일 때를 나타낸다. 군집의 개수가 2개일 때는 시간의 흐름과 관계없이 각각의 감성들이 동일하게 분류됨을 보인다. 군집의 개수가 3개일 때는 보통상태와 슬픔 상태 시 데이터의 군집이 일정하지 않은 패턴을 보이는 경향이 있다. 군집 개수를 4개로 늘렸을 경우 보통 상태 시 시간의 흐름에 관계없이 데이터의 군집이 바뀌는 것을 확인할 수 있다. 공포 및 슬픔 상태 시에는 처음과 끝 부분의 감성 군집이 다른 상태와 함께 혼합되어 군집되는 것을 확인할 수 있다. 즐거움 상태 시는 다른 상태와는 다르게 시간에 흐름에 관계없이 한 군집을 형성하는 것을 확인할 수 있다.

그림 3군집 개수 및 시간에 따른 데이터의 군집 변화 Fig. 3 Change Clustering of Data according to the number of Clusters and Time

비교사학습은 답을 가지고 있지 않은 데이터를 학습시켜 주는 방법이다. 따라서 본 연구에서 사용한 비교사학습의 정확도를 구하기 위해 본 연구에서 사용한 영상데이터를 답이라고 가정하였고, 이에 따라 정확도를 산출하였다. 같은 조건을 가진 SVM 분류기에서 무작위한 학습 데이터를 사용한 경우와 군집화를 통한 전처리 과정을 이용한 학습 데이터의 사용으로 분류기를 학습시킨 후 SVM의 테스트 결과를 비교하였을 때, 군집화를 통한 전처리 과정을 거친 SVM의 경우 약 80.6%의 정확도를 보였으며, 이는 무작위학습 한 SVM 분류기의 정확도인 31.3%의 결과보다 약 50.3% 높은 정확도를 가짐을 확인하였다.

 

5. 결 론

본 연구에서는 비교사-교사 학습을 통한 자동 감성 인식 분류기를 설계하는데 목적이 있다. 인간의 인지작용과 마찬가지로 감성 역시 자극에 따라 다른 생체신호를 나타낸다. 따라서 감성을 판별하는 객관적 데이터로 생체신호의 사용이 가능하다[3]. 또한 감성은 분류가 모호하다는 성질을 가지고 있기 때문에 교사학습을 통한 정확한 분류가 어렵다. 이를 해결하기 위하여 비교사학습을 통한 데이터의 군집화는 같은 특징을 가지는 감성을 자동으로 나누어 주는 역할을 수행하게 된다.

본 논문에서는 보통, 공포, 슬픔 및 즐거움 상태 시의 감성을 중추신경계 및 자율신경계를 통하여 나타나는 생체신호를 통하여 분석하고자 하였다. 뇌파의 주파수 파워 대역 중 𝛼파는 안정 상태에서 𝛽파는 불안 상태에서 나오는 주파수로 감성을 잘 반영할 것이라 예상하였으며[5], 심전도는 불쾌 감성 시 빠른 심박도를 가지게 되므로 감성에 영향을 받는 생체신호이다[14]. 피부전도도와 피부온도 역시 개인이 느끼는 감성에 따라 긴장정도에 따라 전도도가 변하고 온도에 영향을 미치기 때문에 특징으로 선택되었다[8,15].

감성 인식 분류기 설계를 위하여 사용 된 비교사학습을 위한 K-means와 교사학습을 위한 SVM은 모호한 감성의 분류를 가능하게 해주는 역할을 한다. 특히 K-means를 통한 군집화 방법은 군집의 개수 K에 따라 감성의 구분 없이 특징만을 사용하여 감성을 분류해주는 역할을 하였으며 그결과 위의 표 4-6과 같은 군집 결과를 얻을 수 있었다. 이는 본 실험에서 의도한 영상 데이터가 답이라고 가정한 경우, 생체신호를 특징으로 K-means를 이용한 감성분류 결과와 영상 데이터를 통하여 가정한 답이 거의 일치함을 보여준다. 또한 부류를 나눈 결과 보통 상태는 감성 상태와 다른 패턴의 생체신호를 가지고 있으나 슬픔 감성과 같은 군집에 많이 소속되어 있으므로 하나의 감성으로 보기 어렵다 고 예상된다. 그러나 공포 및 즐거움 상태와는 다른 군집에 포함되는 것을 확인할 수 있으므로 감성의 참조 값으로의 사용이 가능할 것으로 사료된다. 즐거움 감성은 감성 분류시 다른 감성들과는 다르게 명확히 분류되었는데 이는 긍정상태 시의 생체신호가 다른 감성을 느꼈을 때와 비교하여 확연히 다른 차이를 가짐을 예측할 수 있게 한다.

SVM의 학습데이터의 생성을 위하여 군집화 된 데이터들을 분석한 결과 그림 3과 같은 결과를 얻을 수 있었다. 이에 따라 감성유발이 잘 된 구간을 데이터를 학습 데이터로 사용하여 주었으며 이는 SVM의 일반화 능력을 높이는 역할을 한 것으로 사료된다. 또한 그림 3을 통하여 부정감성인 공포 및 슬픔의 경우 영상의 첫 부분에는 감성이 잘 유발되지 않음을 확인할 수 있었다. 보통 자극 시는 전체적으로 군집되는 데이터가 구간에 따라 뚜렷한 특징을 가지고 있지 않음을 볼 수 있고, 이는 개인에 의한 차가 존재할 것이고 영상에 관한 차 역시 존재할 것이라고 예상된다. 구간에 따른 데이터 선택을 통하여 SVM의 학습데이터를 추출 하였으며 이를 통하여 무작위로 선택되어진 학습데이터를 사용한 SVM보다 본 연구에서 제안한 비교사학습을 통한 데이터의 전처리 과정을 통하여 분류기의 성능이 약 50.3% 향상됨을 볼 수 있었다. 이를 통하여 감성의 모호함에 따른 분류의 어려움을 비교사학습을 통하여 해결할 수 있었다. 특히 영상 자극을 통한 감성의 유발은 감성 유발 시점 및 영상의 구성이 중요한 변수로 작용을 할 수 있는데 군집화 방법을 통하여 이러한 문제점을 해결 가능할 것으로 사료된다.

본 연구는 비교사학습 및 교사학습을 복합적으로 이용한 분류기의 설계로 감성을 분류하는데 의의를 가지고 있으며, 이는 향후 감성 시스템 및 인간 컴퓨터 상호작용 시스템에 기여가 가능할 것으로 보인다. 본 논문에서는 노년층에 국한 된 데이터를 사용하여 알고리즘의 가능성을 테스트해보는 것에 목적이 있다. 향후 알고리즘의 일반화를 위하여 추가 실험을 통하여 충분한 데이터를 획득하므로 알고리즘의 일반화를 할 있을 것이며 감성 데이터의 비교분석이 가능할 것으로 예상된다. 또한 다양한 생체신호를 입력으로 사용하고 있기 때문에 생체신호 별 특징을 분석함으로 더 우수한 성능을 내는 알고리즘을 개발할 수 있을 것으로 사료되어지며 더욱 개발된 프로토콜을 이용하여 다양한 데이터들을 분석하는 연구가 지속적으로 필요할 것이다.