Comparison of EEG during Watching Emotional Videos according to the Degree of Smartphone Addiction

스마트폰 중독 정도에 따른 감정 영상 시청 시의 뇌파 비교

Abstract

As smartphone usage has increased recently, so has smartphone addiction. Many of the smartphone users, however, do not even recognize the risk of smartphone addiction. In this experiment, smartphone users have been categorized into two groups by smartphone addiction measure (S-measure) developed by 2011 National Information Society Agency (NIA): A high risk group and a normal group. The changes of brain waves have been observed when the subjects were watching emotional videos of anger, sadness, happiness, and fear. The results show that the values of FP1 and FP2 (frontal lobe) theta band of the high risk group have been measured to be high, which indicate anxiety disorder. Although happiness and fear videos showed no difference between these groups, sadness and anger videos showed significantly different results for these groups: the brain waves of the high risk group showed higher values than those of the normal group. Therefore, this experiment showed that the high risk group takes feelings of sadness and anger more sensitively than the normal group.

1. 서 론

과거에 ‘중독’이라는 개념은 약물이나 물질에 의해 발생하는 물질중독의 의미로 많이 사용되었지만 최근에는 게임, 도박, 스마트폰, 인터넷 등 행위중독의 의미까지 포함하는 개념으로 확대되었다. 우리나라는 최근 몇 년간 급속한 기술의 발달로 스마트폰의 보급률이 급격히 증가하였다. 스마트폰의 보급으로 사람들은 언제 어디서나 인터넷에 접속할 수 있게 되었고 뿐만 아니라 SNS, 모바일 게임 등을 통해 다양한 콘텐츠를 보다 쉽게 접할 수 있게 되었다[1]. 이러한 장점이 있는 반면 스마트폰 사용으로 야기되는 스마트폰 중독률 또한 높아지고 있는데, 대부분의 사람들이 게임 중독이나 알코올 중독의 위험성에 대해 인지하고 있는 것에 반해, 스마트폰 중독의 위험성에 대한 인지는 낮다. 본 논문에서의 스마트폰 중독이란 일상생활을 간섭할 정도로 스마트폰을 과다하게 사용하는 장애를 말한다. 스마트폰의 과다 사용은 수면 장애, 주의력 결핍 장애 등을 수반하여 사용자로 하여금 악영향을 끼치고 있다[2].

본 논문에서는 인터넷이나 게임 중독에 초점을 맞췄던 기존연구들과는 다르게 근래의 사회적으로 문제가 되고 있는 스마트폰 중독에 관한 연구를 하고자 하였다. 스마트폰 중독에 관한 기존 연구는 설문조사나 상담 등과 같이 심리, 통계 그리고 사회학적인 측면으로만 연구 되어왔기 때문에, 과학적으로 이를 뒷받침할만한 연구는 많이 진행되지 않았다. 따라서 본 논문에서는 스마트폰 중독에 있어서 일반군과 비교되는 고위험군의 특성인 불안, 우울 등과 같은 부정적인 성향[3,4,5]을 EEG(Electroencephalogram)를 이용하여 기존의 연구들과 달리 과학적으로 증명하고자 하였다.

EEG는 대뇌 피질에서 일어나는 전위의 변동을 두피에 부착한 전극을 통해 기록하는 것을 말한다. 최근에는 EEG를 이용한 감정 분류 및 인식에 관한 실험과 인터넷, 게임 중독에 관한 연구가 활발히 진행되고 있다[6]. 기존의 감정 분류 및 인식 연구에서는 음악 감상[7,8], 시각적, 청각적 자극[9], 감정과 관련된 이미지 제시[10]와 같이 단일적인 형태로 자극을 주었다. 기존의 인터넷, 게임 중독에 관한 연구는 인터넷 혹은 게임 이용시의 EEG의 변화를 중독군과 비중독군으로 나누어 ERP(event-related potential) 혹은 파워 스펙트럼을 측정하고 결과를 비교하는 방식에 대해 주로 이루어져왔다.

본 논문에서는 2011년 한국 정보화 진흥원에서 개발한 스마트폰 중독 척도(이하 S척도)를 이용하여 스마트폰 사용 고위험군과 일반군을 나눈 후 연구를 진행 한다. 기존에 제시된 심리학, 사회학적 통계[3,4,5]를 기반으로 일반군과 비교되는 고위험군의 특징을 측정하기 위한 방법으로 공포, 기쁨, 슬픔, 분노 4가지 감정으로 나누어 스토리가 있는 연속적인 동영상 자극을 제시함으로써 기존 연구보다 해당 감정에 더욱 몰입 할 수 있도록 한다. EEG 분석의 경우, 스마트폰 사용 고위험군과 일반군이 같은 영상을 보았을 때 파워 스펙트럼 차이를 세타(3～8Hz), 알파(8～12Hz), 베타(12～30Hz), 감마(30～70Hz) 대역 별로 나누어 비교한다. 즉, 피험자의 상태가 기록되는 EEG로부터 특정 자극, 예를 들면 각 감정 영상의 하이라이트 지점을 임의로 설정하여 그 부분의 각 대역 별 파워 값을 비교한다.

본 논문은 다음과 같은 순서로 구성된다. 먼저 섹션2에서는 이 연구와 관련된 기존의 연구를 소개하고 이를 보완하기 위하여 본 연구가 필요성을 설명한다. 섹션3에서는 본 연구를 위한 실험 방법과 과정, 분석 방법 등을 기술한다. 섹션 4에서는 실험의 결과를 분석하고 특징을 찾는 과정을 설명한다.

 

2. 관련 연구

최근 스마트폰의 사용이 보편화 됨에 따라 최근 이에 대한 중독의 심각성이 점차 대두되고 있으며 이에 따라 한국 정보화 진흥원에서는 스마트 폰 중독을 진단하는 척도인 S척도를 개발하였고[11], 강희양 등도 ‘몰입’, ‘생활문제’, ‘상성’, ‘과용’, ‘관계성’ 이라는 5가지 요인으로 스마트 폰 중독 척도를 개발하였다[12]. 하지만 스마트폰을 직접 연구대상으로 한 연구는 많지 않은 편이며, 주로 스마트 폰 연구는 스마트 폰 중독 현상에 관한 연구들이 한 축을 이루고 있는데 이러한 중독적인 이용을 가장 많이 설명해 주는 요인으로 ‘충동성’과 ‘자기 통제력의 상실’을 지적하고 있다[3]. 이러한 스마트 폰 중독의 요인을 연구한 결과 자기통제력 및 우울은 스마트폰 중독에 유의미한 영향을 미치며 이러한 개인적, 환경적 요인의 유의미한 효과는 스마트폰 중독군에 따라 다르게 나타나는데, 위험 사용자군의 경우에는 환경적 요인이 유의미하게 영향을 미치며 일반 사용자군의 경우 개인적 요인이 스마트폰 중독적 사용에 영향을 미치는 것으로 나타났다[4]. 또한 스마트폰 중독성향이 강할수록 상태 불안, 특성 불안, 및 우울 정도가 높게 나타났는데 상태 불안, 특성 불안 및 우울 정도가 높을수록 대인관계는 좋지 않았다고 밝히고 있다[5].

Dan Nie 등은 영화에서 긍정적이거나 부정적인 감정 영상을 발췌하여 이를 볼 때의 EEG를 측정하여 각 대역 별로 파워 스펙트럼을 비교하였다[13]. Mohammad Soleymani 등은 침착(calm), 중립(medium aroused), 활동적(activated)으로 분류되는 흥분(arousal)의 감정과 불쾌함(unpleasant), 중립(neutral), 즐거움(pleasant)으로 분류되는 유인성(valence)의 감정으로 나누어 EEG와 눈동자의 시선(Eye Gaze)을 측정하여 각 전극에서 파워 스펙트럼 밀도를 측정하고 총 14개의 전극 쌍 중에서 다른 특징을 보이는 전극 쌍을 비교하였다[14]. Yisi Liu 등은 긍정적인 음악, 부정적인 음악을 감상할 때의 EEG를 측정하여FD 값을 계산하는 방법으로 비교하였다[7]. Anne-Claire Conneau등은 유인성 단계(valence level)를 기준으로 긍정적, 부정적인 감정을EEG를 측정하여 비교하였다[15]. Danny Oude 등은 시각적, 청각적 자극에 대하여 EEG측정 시에 흥분 단계(Arousal level)에서는 Fpz의 알파, 베타 파워 값과 유인성 단계에서의 Fpz와 F3, F4를 비교하여 분류하였다[9]. Yuan-Pin Lin등은 음악 감상 중의 기쁨, 분노, 슬픔, 즐거움 4가지 감정의 분류에 대하여 반구 대칭의 12쌍의 전극을 사용하여(DASM12) 분류하였다[8]. Ahmad Tauseef Sohalib 등은 감정을 느낄 수 있는 사진을 보는 동안 측정한 뇌파를 kNN과 SVM의 분류를 사용하여 감정을 인식하였다[10]. 대부분의 EEG를 이용한 감정인식 실험에서 SAM (Self-Assessment Manikin) 이 공통적으로 사용되었다[7,10,15].

기존의 스마트폰 중독에 관한 연구는 공통적으로 사회적, 심리적 요인분석을 통계나 상담 등을 통해서만 이루어졌다는 한계가 있었다. 따라서 본 연구에서는 기존의 사회적, 심리적 요인으로 분석된 결과와 EEG를 통한 과학적인 요인분석 결과가 동일한지를 알아본다. 또한 기존의 감정과 EEG에 관한 연구는 단지 흥분이나 유인성 단계로만 분류하여 감정을 인식했다면 본 연구에서는 감정을 좀 더 세분화 한 4가지 감정으로 나눈다. 더불어 사진이나 소리와 같이 단일적으로 제시되었던 자극이 아닌, 스토리가 있는 동영상을 보여줌으로써 해당 감정에 더욱 몰입하도록 한다. 본 실험은 스마트폰 중독 연구와 접목하여 단순한 감정 실험이 아닌 스마트폰 사용 고위험군과 일반군의 감정의 차이를 고려하여 결과를 비교, 분석하였다는데 의의가 있다.

 

3. 실험 방법

3.1 실험 환경

사전 설문조사를 포함한 모든 실험 진행 과정에서 피험자들이 스마트폰 사용 정도에 관한 실험임을 인지하지 못하도록 하였다. Fig. 1과 같이 실험 중 참가자에게 큰 자극이 없도록 독립된 공간에서 어두운 상태로 실험을 진행하였으며, 실험장소에는 실험에 필요한 장비만 배치하여 실험 중에 피험자의 집중력을 흐리지 않도록 환경을 유지하였다. 피험자의 상태는 실험 전날 과도한 음주를 금하였고, 충분한 수면을 취하도록 하였다.

Fig. 1.Experimental Environment.

3.2 실험 과정

본 실험은 스마트폰을 사용하고 있는 20대 초반 남, 여 29명(남16, 여13)을 대상으로 하였다. 실험에 참여한 피험자들은 실험 모집 시 S척도를 통해 고위험군 (14명-남 8, 여6), 일반군(15명-남 8, 여7)의 두 부류로 나누어 실험을 진행하였다. 실험에서 피험자들은 기쁨, 슬픔, 분노, 공포의 4가지 감정을 담은 영상을 각각 3개씩 총 12개의 영상클립을 시청하였다. 이때 영상의 재생은 감정의 순서는 지키되 영상의 종류는 임의로 진행하였다. 각 영상은 3분내지 4분 길이이며 영상과 영상 사이에는 1분의 휴식시간 및 감정 제거 영상으로 검은 화면이 재생되도록 하였다. 영상은 뉴스, 영화, 뮤직비디오 등에서 발췌하였고, 영상의 목록은 Table 1과 같다.

Table 1.List of the video used in the experiment

분노, 기쁨, 슬픔, 공포의 감정은 Fig. 2와 같이 즐거움과 불쾌함으로 나눠지는 유인성 축과 활동적임과 비활동적임으로 나눠지는 흥분 축으로 이루어져 있는 2차원그래프로 나타낼 수 있다[16].

Fig. 2.A two-dimensional graph of emotion.

약 1시간 여 동안 영상을 시청 후 감정의 정도를 자가 측정할 수 있는 설문지 작성을 마지막으로 실험을 정리하였다. 실험의 전체 과정은 Fig. 3과 같다.

Fig. 3.The course of the experiment.

3.3 분석 방법

본 실험에서는 뇌파측정을 위해 NeuroScan 뇌파측정기계와 Curry7 소프트웨어 프로그램을 사용하였다. 실험에 사용한 전극은 64채널이며 샘플링 주파수(Sampling rate)는 1KHz로 하였다. 실험 중 임피던스(Impedance)는 5㏀이하로 유지하였다. 뇌파의 측정은 10-20 시스템을 기반으로 하였다. 총 29명의 피험자 중 데이터의 오류 및 실험 시 상황통제의 문제(졸음, 격한 움직임 등)를 제외한 후 19명의 데이터를 기반으로 분석하였다. 스마트폰 중독척도(S 척도)를 기준으로 고위험군 9명(남 3, 여 6)과 일반군 10명(남 6, 여 4)으로 분류 되었으며 고위험군의 평균 연령은 만 21세, 일반군의 평균 연령은 만 21.1세로 집계되었다.

Curry7을 이용하여 데이터의 기준선 조정(Base-line Correction)은 상수(Constant)로 맞추고, 눈 깜빡임으로 인한 노이즈를 제거하기 위해 임계 값(Threshold)를 설정하여 최하 0, 최대 60의 범위를 벗어나는 부분은 그 지점의 이전200ms, 이후800ms 영역을 공분산(Covariance) 값으로 대체하였다. 총 64개의 채널 중 M1, M2는 피험자의 움직임으로 인한 노이즈로 데이터가 손상되어 전체 데이터에서 M1, M2를 제외한 총 62개의 채널을 측정하였다. 그 중 FP1, FP2, F3, F4, C3, C4, O1, O2의 채널의 데이터를 비교하였으며 레퍼런스(Reference) 채널은 머리 정중앙으로 하였다.

총 12개의 영상 중 임의로 해당 영상이 나타내는 감정의 특징을 가장 두드러지게 나타내는 부분을 1분 이내로 선정 후 그 부분의 중심을 기준으로 파워 스펙트럼의 최대 값을 비교하였다. 파워 스펙트럼의 비교는 세타(3~8Hz), 알파(8~12Hz), 베타(12~30 Hz), 감마(30~70Hz)의 대역 별로 나누어 대역 필터를 적용한 후 측정하였다.

 

4. 실험 결과

4가지 감정에서 각각 3가지의 영상을 본 후 파워 스펙트럼의 값을 Table 2, 3, 4, 5에서 나타내었다. FP1, FP2, F3, F4, C3, C4, O1, O2의 총 8개의 전극에서 각각 대역 별 세타, 알파, 베타, 감마 영역에서 나타나는 파워 값을 스마트폰 중독 고위험군(High-risk Group, H.G)와 스마트폰 중독 일반군(Non-risk Group, N.G)로 나누어 나타내었다. 각각의 수치는 파워 스펙트럼의 ㎶값을 나타낸다

4.1 분노

분노의 3가지 영상을 본 고위험군과 일반군의 파워 스펙트럼 차이는 Table 2와 같이 나타났다. 분노의 3가지 영상 중 (a) 는 ‘Child Abuse’를 본 후 파워 스펙트럼의 값을 나타내며 (b)는 ‘Masquerade’를 본 후, (c)는 ‘Elder Abuse’를 본 후의 파워 스펙트럼 값을 나타낸다. 분석 결과 32개의 파워 스펙트럼 값 중 (a) 영상에서는 29개의 값이, (b) 영상에서는 24개의 값이, (c) 영상에서는 28개의 값이 일반군 보다 고위험군에서 높게 나타났다. 특히 FP1의 세타 영역과 FP2의 세타 영역에서 높은 값을 가졌다.

Table 2.The Power Spectrum of Viewing Anger Emotion Videos

4.2 기쁨

기쁨의 3가지 영상을 본 고위험군과 일반군의 파워 스펙트럼 차이는 Table 3과 같이 나타났다. 기쁨의 3가지 영상 중 (a) 는 ‘About Time’을 본 후 파워 스펙트럼의 값을 나타내며 (b)는 ‘Water Sports’를 본 후, (c)는 ‘My Love’를 본 후의 파워 스펙트럼 값을 나타낸다. 분석 결과 32개의 파워 스펙트럼 값 중 (a)에서는 24개의 값이, (b)에서는 23개의 값이, (c)에서는 30개의 값이 일반군 보다 고위험군에서 높게 나타났다. 특히 FP1의 세타 영역과 FP2의 세타 영역에서 높은 값을 가졌다. 또한 고위험군은 O1, O2의 알파 영역에서 높은 값을 가졌으며 일반군은 O2의 세타 영역에서 높은 값을 가졌다.

Table 3.The Power Spectrum of Viewing Joy Emotion Videos

4.3 공포

공포의 3가지 영상을 본 고위험군과 일반군의 파워 스펙트럼 차이는 Table 4와 같이 나타났다. 공포의 3가지 영상 중 (a)는 ‘Epitaph 1’을 본 후 파워 스펙트럼의 값을 나타내며 (b)는 ‘Epitaph 2’를 본 후, (c)는 ‘Mourning Grave’을 본 후의 파워 스펙트럼 값을 나타낸다. 분석 결과 32개의 파워 스펙트럼 값 중 (a)에서는 29개의 값이, (b)에서는 20개의 값이, (c)에서는 25개의 값이 일반군 보다 고위험군에서 높게 나타났다. 특히 FP1의 세타 영역과 FP2의 세타 영역에서 높은 값을 가졌다. 공포 영상의 특징으로 고위험군과 일반군 모두 F3, F4, O2의 세타 영역에서 높은 값을 가졌지만 두 군 간의 큰 차이는 보이지 않았다. 반면 일반군은 O1의 세타 영역에서 높은 값을 가졌다.

Table 4.The Power Spectrum of Viewing Fear Emotion Videos

4.4 슬픔

슬픔의 3가지 영상을 본 고위험군과 일반군의 파워 스펙트럼 차이는 Table 5와 같이 나타났다. 슬픔의 3가지 영상 중 (a) 는 ‘Wish’를 본 후 파워 스펙트럼의 값을 나타내며 (b)는 ‘Miracle in Cell No.7’ 를 본 후, (c)는 ‘Pulppang Mom’을 본 후의 파워 스펙트럼 값을 나타낸다. 분석 결과 32개의 파워 스펙트럼 값 중 (a)에서는 26개의 값이, (b)에서는 26개의 값이, (c)에서는 24개의 값이 일반군 보다 고위험군에서 높게 나타났다. 특히 FP1의 세타 영역과 FP2의 세타 영역에서 높은 값을 가졌다. 또한 고위험군에서는 FP1, FP2의 알파 영역에서 일반군보다 높은 값을 가졌다.

Table 5.The Power Spectrum of Viewing Fear Emotion Videos

4.5 전체 결과

각 감정의 3가지 영상의 평균을 비교한 결과 Fig. 4와 같이 나타났다. Fig. 4는 고위험군 9명, 일반군 10명의 평균 값을 나타낸다. x축은 각 전극의 대역 별(세타, 알파, 베타, 감마) 값을 나타내며 y축의 값은 파워 스펙트럼의 ㎶값을 나타낸다. 전체적으로 고위험군이 일반군보다 파워 스펙트럼의 값이 높게 나타나며, 분노, 슬픔의 감정영상에서는 고위험군의 경우 FP1, FP2의 세타 부분에서 높은 값을 가지고 FP1, FP2, F3, F4, C3, C4, O1, O2의 알파 대역에서 일반군보다 높은 값을 가진다. 반면 일반군은 FP1과 FP2의 세타 대역을 제외한 대부분의 대역의 값들이 큰 변화가 없었다. 기쁨, 공포의 감정영상에서는 고위험군의 경우 FP1, FP2의 세타 부분에서 높은 값을 가지고 FP1, FP2, F3, F4, C3, C4, O1, O2의 세타 대역에서 일반군보다 높은 값을 가졌다. 또한 두 군 사이에 값의 차이가 FP1과 FP2의 세타 대역을 제외한 대부분의 대역에서 분노, 슬픔 감정 영상에 비해 차이가 크지 않았다.

Fig. 4.Comparison of emotions.

 

5. 결 론

본 실험은 스마트폰 중독 정도에 따라 감정영상을 시청하였을 때 나타나는 EEG의 신호 차이를 보고, 그 특징을 추출하였다. 위의 내용을 종합하여 볼 때, FP1, FP2 (전두엽 부분)의 세타 대역의 값이 높게 나타나는 것은 정서불안을 나타내며 특히 분노와 공포 영상이 기쁨과 슬픔 영상보다 부정적인 감정으로, 고위험군이 일반군 보다 이를 더 강하게 느낀다. 기쁨과 공포의 영상의 경우 두 군 모두 동일하게 활동적으로 느끼므로 뇌파 결과에 큰 차이가 없지만, 슬픔과 분노의 경우 고위험군이 일반군 보다 더 활동적으로 느껴 뇌파가 더 높게 나타난다. 따라서, 일반군보다 고위험군이 감정 영상을 민감하게 받아들이는 것을 알 수 있다. 특히 슬픔, 분노 영상에서 고위험군의 뇌파가 높게 측정되었는데 이는 고위험군이 슬픔, 분노 감정 영상을 보았을 때 해당 감정을 더 강하게 느낌을 알 수 있다.

본 실험을 토대로 스마트폰 사용 고위험군과 일반군의 감정 분류기를 만들고, 더 나아가 고위험군과 일반군의 감정을 인식하는 연구를 진행할 예정이다. 또한 본 실험에서는 연령대를20대로 제한하였지만 다음 연구에는 더 일반적인 결론을 얻기 위해 모든 연령대를 대상으로 연구를 진행할 예정이다.