Comparison of EEG Feature Vector for Emotion Classification according to Music Listening

음악에 따른 감정분류을 위한 EEG특징벡터 비교

Abstract

Recently, researches on analyzing relationship between the state of emotion and musical stimuli using EEG are increasing. A selection of feature vectors is very important for the performance of EEG pattern classifiers. This paper proposes a comparison of EEG feature vectors for emotion classification according to music listening. For this, we extract some feature vectors like DAMV, IAV, LPC, LPCC from EEG signals in each class related to music listening and compare a separability of the extracted feature vectors using Bhattacharyya distance. So more effective feature vectors are recommended for emotion classification according to music listening.

1. 서 론

인간 사회에서는 서로 간의 정보를 주고받을 때 언어를 사용하는 것뿐만 아니라, 감정과 같은 비언어적인 정보 또한 중요하게 사용된다. 이렇게 감정 정보들이 중요해짐에 따라 생체신호, 몸짓 등을 가지고 인간의 감정분석에 관한 연구들이 진행되었다[1][2].

생체신호에서 뇌의 기능과 관련된 생리학 및 병리학적인 연구에 있어 필수적으로 이용하는 기본 생체 신호인 EEG (Electroencephalogram)신호는 과거에 주로 의학 분야와 심리학의 영역에서 간질이나 발작, 파킨슨 병 등과 같은 뇌질환을 신호처리 기술을 이용하는 정량적인 연구로 진행되었다[3][4]. 하지만 최근에 들어서는 이러한 EEG 신호가 대뇌의 활동을 반영한다는 점에서 인간의 두뇌에서도 감정을 조절하는 영역들이 있다는 것이 밝혀지고, 이를 바탕으로 EEG 기반의 감정인식은 생체신호처리 영역에서 많은 연구들이 진행되고 있다[5][6].

최근에는 음악 청취 시 사람의 감정을 분석하기 위하여 음악이 사람의 감정, 정서적인 변화에 어떠한 영향을 미치는지, 뇌에 어떠한 영향을 유발하는지에 대한 연구[7][8]와 EEG 신호를 이용하여 음악적 자극에 따른 사람의 감정을 추론하고 분석하는 연구들도 진행되고 있다[9]. 이러한 연구들에서 중요한 요소 중 하나인 음악에 따른 감정분석에의 최적의 EEG 채널 선택하는 연구도 진행되었다[10].

EEG신호에서 음악에 따른 감정분류를 하기 위해서는 적절한 특징벡터와 정확한 분류엔진이 중요하다. 따라서 본 논문에서는 패턴 분류의 정확도를 높이기 위해 생체 신호, EEG신호의 특징을 잘 반영한다고 알려진 특징벡터들 중에서 음악 청취 시 사람의 감정분류에 적합한 특징벡터를 비교, 분석하고자 한다[11][12][13]. 이를 위해 EEG 신호에서 절대적분치 (Integral Absolute Value : IAV), 절대차분평균치 (Difference Absolute Mean Value : DAMV), 선형예측계수 (Linear Prediction Coefficient : LPC), 선형예측 켑스 트럼계수(Linear Prediction Cepstral Coefficient : LPCC)를 특징벡터로 추출하고 패턴분류 문제에 있어 클래스 간 분리도 측정의 수단이며, 특히 각 클래스의 분포가 가우시안 형태를 가질 때 가장 좋은 평가 기준이 되는 바타캐리야 거리 (Bhattacharyya distance)[11]를 이용하여 음악과 관련된 감정분류에 적합한 특징벡터를 구하고자 한다.

본 논문의 구성은 다음과 같다. 2장에서는 EEG 신호의 특징, 3장에서는 특징벡터에 대한 설명, 4장에서는 실험데이터 설명 및 특징벡터 비교과정과 실험결과를 보여주고, 마지막으로 5장에서는 실험결과를 통해 결론 및 향후과제로 맺도록 한다.

 

2. EEG

뇌파는 뇌의 전기적인 활동을 머리 표면에 부착한 전극에 의해 비침습적으로 측정한 전기신호이다. 1875년 영국의 생리학자 R.케이튼이 처음으로 토끼· 원숭이의 대뇌피질에서 나온 미약한 전기활동을 검류계로 기록한 것이 뇌파 최초의 보고로 알려진다. EEG 신호는 주파수 범위에 따라 알파파(α), 베타파(β), 세타파(θ), 감마파(γ)등으로 구분 한다.

일반적으로 베타파는 긴장하거나 집중해서 일할 때 나타나며, 진폭이 작고 형태가 불규칙적이다. 반면 알파파는 마음이 편하고 안정되어 있을 때 나타나며, 진폭은 크고 규칙적이다. 세타파나 델타파 같은 뇌파는 주로 수면 상태에서 나타나므로, 우리가 의식이 있는 상태인 일상에서는 주로 알파파와 베타파가 나타난다고 볼 수 있다.

그림 1EEG신호 스펙트럼 분석 Fig. 1 spectrum analysis using EEG signal

EEG를 이용한 감성연구는 생리 반응 측정 기술을 이용한 감성 측정 연구에서 최근 가장 선호되고 있는 연구 방법 중의 하나이다. EEG측정은 음악 청취 시 피험자 뇌에서 진행되고 있는 활동을 평가할 수 있고, 자극과 반응만으로는 설명될 수 없는 생리적 현상과 심리적인 두뇌의 기능을 반영한 정서를 나타내는 지표로 활용될 수 있다[14].

 

3. 특징벡터

본 논문에서는 뇌파의 특징을 잘 반영한다고 알려져 있는 특징벡터인 절대적분치, 절대차분평균치, 선형예측계수, 선형예측 켑스트럼계수를 이용하여 각 클래스간의 분리도를 비교하였다.

먼저 절대적분치는 신호의 절대 적분치를 나타내는 특징으로서, 일정시간 동안의 신호의 절대값을 적분한 것이며 식 (1) 으로 정의할 수 있다.

여기에서,

X : 측정된 EEG 신호 , Δt : 샘플링 시간 간격 , N : 샘플의 수 , i : 샘플의 순서

절대차분평균치는 각 시계열 신호의 차분 값에 대한 절대 평균치를 나타내는 특징으로 식 (2)와 같다.

선형예측계수는 선형 결합에 의해 과거의 신호에서 현재의 신호 [n]을 예측하는 방법으로 전극 (All-pole)모델을 사용하여 식(3) 과 같이 차분 방적식의 형태로 나타낼 수 있다. 여기에서 Sn 은 입력 신호이고 Ŝn은 예측 신호이고, ɑi는 선형예측계수이며 p는 예측계수의 차수 이다. 현재신호와 예측된 신호의 예측오차는 식(4) 와 같다.

식(5) 은 예측오차 en 에 대한 MSE(mean square error), J 이며 J를 최소로 하는 선형예측 계수를 찾기 위하여 식(5) 을 ɑi에 대하여 편미분하여 0이되는 p개의 선형 연립방정식 (6) 를 얻을 수 있다[15]. 식(6)은 식(7)과 같이 나타낼 수 있고, 선형예측계수는 자기상관 행렬의 역행렬을 이용하여 구할 수 있다.

for i = 1...p

선형예측 켑스트럼 계수는 C(z)의 inverse z-transform으로 정의되고 식은 다음과 같다.

전극(All-pole) z = zi 가 unit cycle안에 있고, gain 값을 1로 주면 선형예측 켑스트럼 계수 (cip (n))는 아래와 같이 정의 된다.

선형예측 켑스트럼 계수는 recursive에 의해 예측계수 값으로부터 구한다.

 

4. 실험

4.1 실험 데이터

본 연구를 위한 실험 데이터는 런던의 Queen Mary University, 네덜란드의 Twente University, 스위스의 EPFL 연구소에서 만들어서 DB화 시킨 DEAP 데이터를 이용하였다[16].

총 120가지의 곡(감정)들 중에서는 영국에 last.fm 이라는 음악 네트워크에서 선별된 fun, exciting, hate, happy, love, sad, mellow 와 같은 감정적인 태그들을 분류하여 40 개의 뮤직비디오 곡을 선택하였다. 아래 표 1은 선택된 40개의 뮤직비디오에 대한 정보이다.

표 1선택된 뮤직비디오 Table 1 Selected music video

DEAP데이터에서 실험에 참가한 사람들은 32명으로 50%가 여성이고, 나이는 19세에서 37세 사이로 평균나이가 26.9세의 사람들이 이 실험에 참가하였다. 참가자들에게 뇌파를 측정하기 위해 센서를 부착하였고, 총 40개의 뮤직비디오를 보고 40번의 시도를 다음과 같이 진행하였다. 실험이 진행되는 2초 동안은 스크린에 뮤직비디오의 순번을 띄어주어 진행순서를 알게 하였고, 5초 동안은 참가자들의 baseline 신호를 기록한 후 뮤직비디오를 1분 동안 감상하여 arousal, valence, liking, dominanace 4가지의 항목 중 참가자들이 느꼈던 감정을 자체평가하도록 진행하였다.

획득한 데이터에서 느린 파동과 고주파 노이즈를 제거하기 위하여 0.6Hz 와 100Hz 에 bandpass filter를 사용하였고, 하드웨어의 다른 버전과 분류 문제를 빠르게 실험 할 수 있도록 512Hz로 샘플링 한 원 데이터를 128Hz로 다운 샘플링 하였다. 또 한, EEG 신호에는 눈 깜빡임, 시선의 이동, 근육의 이완과 수축 등과 같은 의도치 않은 정보 들이 포함되어 있다. 이러한 artifact들은 EEG 신호의 큰 변화와 차후 의 패턴 분류에 정확도에 있어 부정확성의 문제를 일으킬 수 있기 때문에 DEAP 데이터에서는 이러한 artifact들을 직교 투영법을 사용하여 제거하였다.

특징 추출을 위한 EEG 데이터는 그림 2와 같이 기존연구[10]에서 제시된 데로 음악에 따른 감정분류에 가장 적절하다고 제시가 된 채널 FC5에서 추출된 알파파와 베타파를 이용하였다.

그림 2EEG 10/20 시스템 Fig. 2 EEG 10/20 SYSTEM

4.2 특징벡터 비교

EEG신호에서 음악에 따른 감정분류를 하기 위한 특징벡터들의 비교과정은 그림 3과 같다.

추출된 EEG 데이터를 이용하여 본 논문에서는 하나의 조건에 대한 32명의 EEG 신호를 하나의 클래스로 볼 때, 40개의 클래스에 대하여 각각 IAV, DAMV, LPC, LPCC 를 특징벡터로 이용하게 된다. 추출된 특징벡터들 중 음악청취시 감정분류에 효율이 높은 특징벡터를 선택하기 위해 각 클래스의 분포가 가우시안 형태를 가질 때 가장 좋은 평가 기준이 되는 바타캐리야 거리를 이용하여 특징벡터 당 각 클래스 간의 거리를 구한다. 바타캐리야 거리의 식은 아래와 같다.

그림 3특징벡터 비교 과정 Fig. 3 Feature vector comparison process

여기에서,

M1, M2 : 클래스 1, 2의 평균, Σ1, Σ2 : 클래스 1, 2의 공분산, ∥ : 행렬식

바타캐리야 거리가 가장 큰 값이 나온 특징벡터가 클래스간의 거리가 가장 멀리 떨어져 있다는 의미이기 때문에 패턴분류에 가장 용이하다. 따라서 바타캐리야 거리가 가장 큰 값을 갖는 특징벡터가 음악 청취 시 사람의 감정분류를 하는데에 있어서 적합하다고 할 수 있다.

4.3 실험 결과

선택된 채널에서의 실험데이터로부터 전처리 과정을 거친 후에, 각 클래스에서 특징벡터 IAV, DAMV, LPC, LPCC를 추출 하였다. LPC와 LPCC의 차수는 기존 연구[12][17]들과 같이 10차로 정하였다. 이렇게 추출된 특징벡터들을 이용하여 클래스 간의 거리를 바타캐리야 거리로 이용하여 구하였다.

그림 4, 그림 5는 각각 알파파, 베타파에서 절대적분치를 특징벡터로 추출한 후, 각 클래스 간의 거리를 바타캐리야 거리로 이용하여 나타낸 결과이다. 절대적분치를 이용하여 구한 클래스 간의 바타캐리야 거리의 평균값은 알파파에서 0.016732, 베타파에서 0.016286로 나왔다.

그림 6, 그림 7은 각각 알파파, 베타파에서 절대차분평균치를 특징벡터로 추출한 후, 각 클래스 간의 거리를 바타캐리야 거리로 이용하여 나타낸 결과이다. 절대차분평균치를 이용하여 구한 클래스 간의 바타캐리야 거리의 평균값은 알파파에서 0.018687, 베타파에서 0.022484로 나왔다.

그림 4절대적분치의 분리도 (알파파) Fig. 4 Separability of IAV_alpha wave

그림 5절대적분치의 분리도 (베타파) Fig. 5 Separability of IAV (beta wave)

그림 6절대차분평균치의 분리도 (알파파) Fig. 6 Separability of DAMV (alpha wave)

그림 8, 그림 9는 각각 알파파, 베타파에서 선형예측계수를 특징벡터로 추출한 후, 각 클래스 간의 거리를 바타캐리야 거리로 이용하여 나타낸 결과이다. 선형예측계수를 이용 하여 구한 클래스 간의 바타캐리야 거리의 평균값은 알파파에서 0.47158, 베타파에서 0.352213로 나왔다.

그림 7절대차분평균치의 분리도 (베타파) Fig. 7 Separability of DAMV (beta wave)

그림 8선형예측계수의 분리도 (알파파) Fig. 8 Separability of LPC (alpha wave)

그림 9선형예측계수의 분리도 (베타파) Fig. 9 Separability of LPC (beta wave)

그림 10, 그림 11은 각각 알파파, 베타파에서 선형 예측 켑스트럼 계수를 특징벡터로 추출한 후에, 각 클래스 간의 거리를 바타캐리야 거리로 이용하여 나타낸 결과이다. 선형예측 계수를 이용하여 구한 클래스 간의 바타캐리야 거리의 평균 값은 알파파에서 0.492317, 베타파에서 0.286166로 나왔다.

표 2는 특징벡터 당 클래스간의 분리도를 평균한 결과이다. 알파파의 경우에는 특징벡터가 LPCC일 때, 베타파의 경우 특징벡터가 LPC일 때 분리도가 가장 크게 나왔다. 이는 LPC와 LPCC가 각각 알파파, 베타파에서 음악에 따른 감정 변화를 잘 반영할 수 있는 특징벡터로 적합하다는 것을 보여준다. 또한 알파파와 베타파의 특징벡터들의 값을 보면 분리도가 알파파의 경우가 베타파의 경우보다 상대적으로 큰 값을 가지고 있기 때문에 EEG 신호의 알파파가 음악 청취 시에 사람의 감정분류에 있어 베타파보다 더 적합하다고 판단된다.

그림 10선형예측 켑스트럼 계수의 분리도 (알파파) Fig. 10 Separability of LPCC (alpha wave)

그림 11선형예측 켑스트럼 계수의 분리도 (베타파) Fig. 11 Separability of LPCC (beta wave)

표 2특징벡터 당 클래스간 분리도 평균 Table 2 Mean values of separability among classes per each feature vector

 

5. 결 론

본 연구에서는 패턴 분류의 정확도를 높이기 위해 EEG 신호의 특징을 잘 반영한다고 알려진 특징벡터들 중에서 음악 청취 시 사람의 감정분류에 적합한 특징벡터를 비교, 분석하고자 한다. 이를 위해 40개의 음악에 대한 클래스를 구성하고, 추출된 EEG 신호에서 각각의 클래스에 대해 절대적분치와 절대차분평균치, 선형예측계수, 선형예측 켑스트럼 계수를 추출하였다. 그리고 클래스 간의 거리를 구하기 위해 바타캐리야 거리를 이용한 결과, 특징벡터 당 클래스 간의 분리도가 알파파의 경우, 특징벡터가 LPCC 일 때 가장 값이 크게 나왔고, 베타파의 경우, 특징 벡터가 LPC일 때 가장 값이 크게 나왔다. 또한 각각의 특징벡터에 대하여 알파파와 베타파의 값을 비교하였을 때, 베타파보다 알파파가 상대적으로 분리도가 크게 나왔다. 결과적으로 음악에 따른 감정변화를 잘 반영할 수 있는 특징벡터로는 베타파에서는 LPC, 알파파에서는 LPCC 였으며, EEG 신호에서 알파파가 음악 청취 시 감정 분류에 있어서 베타파보다 효율이 높은 것으로 나타났다.

향후 본 논문의 실험 결과를 바탕으로 분리도가 높은 특징벡터를 이용하여 패턴분류를 하게 된다면, 음악청취 시 EEG 신호에서 사람 감정분류에 더 효과적이고, 정확한 결과를 기대할 수 있다.