Comparative Study on Visual and Perceptual Difference Towards the Artworks of Human and Artificial Intelligence Using Eye-Tracking

시선추적장치(Eye Tracking)를 활용한 인공지능(AI) 창작물과 사람의 창작물에 대한 시지각 비교 연구

Abstract

This study analyzes the visual perceptual difference of observers in the artworks created by human artists and artificial intelligence(AI) through eye-tracking. More specifically, the study analyzes the degree of visual attention through a fixation experiment on non-linguistic sources such as the formation and expression of artworks. As a result of this study, the subjects had guessed that one out of four artworks were created by AI (in actuality, 61.1% of the artworks were created by The Next Rembrandt). This demonstrates that most of the subjects hardly recognized the difference between the artwork of human artists and AI. From the comparative analysis of visual perceptual differences found through eye-tracking, more visual attention was found to be demanded for catching details of more stimulating visuals compared to less stimulating visuals. In the gender difference analysis, both of the female and male subjects were likely to stare more intently at the flowers of still-life paintings (Deep Dream & Vincent Van Gogh) while the eyes of a portrait painting (Rembrandt & The Next Rembrandt); this demonstrates no significant differences in gender. Various opinions on AI and art creation from different perspectives arose, therefore, this research is meaningful in a way that it suggests an objective examination through experiments with an artistic perspective.

1. 서론

예술의 역사는 4만 년으로 추정되는데 예술 창작의 주체는 오직 인간뿐이었으나 인공지능(AI, Artificial Intelligence)으로 인해 인간 창작은 물론 기계창작의 공존이 실현되고 있다.AI는 인간의 단순 업무를 대체하는 것을 넘어 인간의 고유 영역이라 여겼던 예술 창작의 영역에까지 도전함으로서 중요성은 더욱 증가하고 있다.AI와 AI에 의해 만들어진 알고리즘(algorithm) 적 자극물은 기술에 의한 새로운 심미적 경험의 대상이 출현을 알린다[1].AI의 정보습득력은 인간과 비교할 수 없을 정도로 빠르고 변화하는 기술을 바탕으로 한 기계학습을 한 인공지능 예술표현 연구의 필요성을 더해지고 있다.

본 연구에서는 AI가 그린 그림과 사람(예술가)이 그린 그림을 시선추적장치(eye-tracking)를 활용하여 관찰자의 예술 그림 작품에 대한 정보처리가 어떠한지를 알아보고 시지각적 차이가 있는지 비교 분석하고자 한다.또한 보다 구체적으로 예술 그림 작품의 화면 구성 및 표현이라는 비언어적 단서의 정도에 따른 응시(fixation)정도에 따른 시각적 주의를 도출하고자 한다.

2. 이론적 고찰

2.1 인공지능의 정의 및 활용 분야

인공지능(AI, Artificial Intelligence)이란 기계를 통해 인간의 지능으로 할 수 있는 사고와 학습 등을 실현한 기술로써 기계가 인간과 같은 생각과 판단을 할 수 있게 하는 컴퓨터 정보기술의 한 분야이다[2]. 이는 인간의 능력인 지각, 인지, 추론 등을 기술로 대체 가능할 수 있음을 의미하며 이미 우리 생활 주변에서 쉽게 찾아 볼 수 있으며 활용되어지고 있다. 인공지능의 개발과 발전은 인간의 편의성을 증대시키는 것에 그치지 않고, 기존의 산업 구조와 우리들의 삶 자체에 중대한 영향을 끼치고 있다.

인간은 자연적으로 근본과 관련된 것, 특히 창조적이고 예술적인 것을 빼앗기는 것을 두려워 하지만 현재 모든 영역에서 사람들은 과학기술이 만들어낸 환경에 급속도로 익숙해지고 때로는 그것을 활용하고 있다.다양한 분야의 전문가들은 예술 창작작품을 제작하는 지능형 기계, 즉 AI를 프로그래밍 하고 있으며, 가상현실(VR), 3D프린팅, AI와 같은 새로운 매체로 예술가들에게 전례 없는 자기표현의 형태를 제공하고 있다[3].

2016년 일본에서는 인공지능이 쓴 공상과학(SF) 소설이 일본 호시 신이치 공상과학문학상에서 1차 심사를 통과하였으며 마이크로소프트가 개발한 인공지능 로봇 ‘샤오이스’는 519명의 현대 시인 작품 수천 편을 100시간 동안 자가 학습을 통해 시집을 출간하였다.2016년 할리우드에서는 빅데이터 기반의 시나리오 제작 도구를 사용하여 IBM의 인공지능인 '왓슨'이 공포영화 모건의 예고편을 제작하였으며 스토리와 서사, 시각이미지, 사운드의 창작 등[4] 다양한 창작 분야에서 AI가 활용되어지고 있다.

2.2 시각예술 분야의 인공지능

2016년 3월 구글에서 만든 AI화가, 딥 드림(Deep Dream)은 특정 이미지를 입력하면 르누아르, 반 고흐 등 유명 화가의 화풍을 재해석해 회화로 표출하는 인공지능 추상화가 프로젝트다.이미지 합성 알고리즘인 ‘인셉셔니즘(inceptionism)’을 활용하여 사진정보로부터 새롭게 이미지를 재현하는데 여기에는 인간의 신경망을 이미지화 한 후 이를 데이터로 정보화해내는 기술력이 내재되어 있다. ‘딥드림(DeepDream)’ 이 그린 작품 29점이 경매에 붙여졌는데 이를 통해 9만 7600달러(개당 2200달러~9천 달러)의 매출을 올렸다[5, 6].

마이크로소프트(MS)와 다국적 금융그룹 ING 등이 참여한 프로젝트에서 렘브란트 화풍의 그림을 그리는 인공지능 화가 ‘더 넥스트 렘브란트(TheNext Rembrandt)’를 개발하였다.이 프로젝트에서는 렘브란트의 작품 346점을 안면인식 기술을 활용해 분석하여 스스로 데이터를 누적하고 학습해 원하는 화풍의 그림을 자유롭게 그리는 딥 러닝(deeplearning) 기능을 통해 렘브란트 특유의 화풍을 3D프린팅을 활용하여 재현하였다.렘브란트 작품의 색채, 구도, 기법들을 학습한 AI가 작품 표면의 유화 질감까지 그대로 재현해 마치 렘브란트가 그린 그림이라는 착각에 들게 하였다[6, 7].

2.3 인공지능 창작물에 관한 사례 및 선행연구

미국 콜로라도볼더대(UniversityofColoradoBoul- der) 하샤 강가다바틀라(Harsha Gangadharbatla) 교수가 일반인들을 대상으로 그림 7점을 놓고 ‘어느 그림이 인공지능(AI)이 그린 것일까?’하는 실험에서 인공지능 그림 5점 중 1점만 맞혀 대부분의 사람들이 인공지능의 그림과 사람의 그림을 제대로 구별하지 못하는 것으로 나타났다.

정물화에서 풍경화, 추상화에 이르기까지 AI가 그린 그림은 이제 억대의 값에 팔릴 정도로 기술은 발전되었다. 2018년 뉴욕 크리스티(Christie’s)런던 경매에선 ‘에몽 드 벨라미(EdmondDeBelamy)’라는 인공지능 작품이 43만달러(4억8000만원)에 낙찰되었다. 인공지능 그림이 미술시장에서 거래되는 현실은 그만큼 인공지능의 그림 수준이 높아졌다고 볼 수 있으며[8]이미지 빅데이터와 인공지능을 활용하여 독창성을 확보한 작품을 창작할 수 있음을 보여준 사례이다[9].

구글의 ‘딥 드림(Deep Dream)’은 딥러닝(deep learning)기술을 이용해 몽환적이고 초현실적인 추상화를 만들어 내며 컴퓨터가 이미지를 인식하고 이해하고 평가하는 비전 처리과정에서 새로운 이미지를 인식하면서 기억하고 있는 이미지들과 유사한 형태를 계속 찾아내는 것을 발견한 결과물이다. 딥러닝기술을 시각 이미지에 적용한 딥 드림은 Fig.1과 같이 누구나 웹사이트(deepdreamgenerator.com)에서 체험 가능하다.

Fig. 1. AI’s drawing (deepdreamgenerator.com/#gallery).

구글은 예술 작품을 창작하는 인공지능을 만드는 프로젝트인 ‘마젠타(Magenta)’를 공개해 머신러닝 (machinelearning)을 통해 사람들이 인정할 수 있는 예술품을 만들어낼 수 있는지 알아보는 것을 목표라고 설명했다.구글은 마젠타를 통해 예술가와 프로그래머, 머신러닝 연구자가 커뮤니티를 형성하는 것을 도모하겠다고 하며 첫 번째 결과물로 인공지능이 작곡한 짧은 피아노곡을 만들어 사람이 오케스트라 반주를 덧붙였다.

2.4 시각적 인지특성 및 아이트래킹 분석방법

인간의 인지 전달에 있어 오감 중 시각은 가장 중요한 역할을 하며 87%가 인간의 환경지각 중 시각에 의존한다는 점에서, 시각전달은 미적 질을 좌우하는 중요한 요소이다[10].또한 시각적인 인지는 시각적으로 판단 외에도 정보에 의한 판단, 결정, 추론 또는 과거에 입력된 기억과의 조율 등 지식를 취득하기까지의 모든 심리적 과정을 포괄한다[11].따라서 단순한 시지각 평가를 넘어 시각적 인지특성을 분석하고 대상에 대한 관찰자의 생각을 가시화할 수 있는 분석 방법을 채택하는 것이 중요하다.이러한 측면에서 관찰자의 시각적 현상을 직접 관찰하고 적용시킬 수 있는 유용한 연구방법으로 시각적 인지특성 분석이 활용된다.

본 연구에서 연구방법으로 활용되어진 아이 트래킹은 시선추적기법으로 인간의 동공의 움직임을 지속적으로 관찰하여 대상물에 대한 인간의 반응과 정보 습득 결과를 연구하는 방법으로, 관찰자들이 어떤 자극에 시각적 주의가 일어나는지 직접적으로 측정한다. 시선추적장치는 안구 고정과 순간 이동, 동공의 위치, 응시경로, 역행 등 즉각적인 시각적 반응을 분석함으로써 주의를 측정한다.현재 시선 추적 장치는 의학뿐만 아니라, 약학, 인간공학, 심리학, 소비자 행동 패턴 분석 등의 다양한 연구 분야에서 자극에 의한 생리적 반응과 시지각 반응에 따른 시선이동에 대한 연구 해법으로 활용되고 있다[12].

도널드 브로드벤트(DonaldBroadbent)는 주의는 제한된 용량의 감각 채널에 대한 감각 정보를 조절하는 역할을 하는 '선택적 필터'로 간주된다고 하였다 [13].감각기관으로부터 유입된 정보는 단기기억 저장소에 잠시 저장되었다가 여과기로 걸러져 한 가지만 주의대상으로 선택된다는 것이다.

헬름홀츠(Helmholtz)는 시각적 주의는 의식적으로 주변 물체를 가리킬 수 있지만, 안구 운동은 이런 물체의 세세한 부분을 자세히 관찰하려고 한다[14]. 이런 의미에서 안구 운동은 뛰어난 시각적 주의의 증거를 제공한다.

주의력은 우리의 심리 에너지를 감각 기관 입력의 자극에 집중하며 뇌는 관심 있는 자극을 위주로 자극을 처리한다.우리는 정보를 처리하는 능력이 한계가있으므로 관심 있는 자극을 처리할 때 다른 감각적 자극에 대한 대처 능력이 상대적으로 떨어진다. 그러므로 재미있는 장면, 소리, 냄새 등 관심 있는 자극은 다른 자극보다 디테일을 감지하는 데 더 열중한다. 그러므로 재미있는 장면, 소리, 냄새 등 관심 있는 자극은 다른 자극보다 디테일을 감지하는 데 더 열중한다. 특히 시각적 주의에 시각적인 관찰은 전부가 아니라 부분적이고 연속적이다[15].

3. 연구방법 및 연구내용

3.1 연구문제 및 연구가설

그림에서 심미성은 시각적, 비시각적 차원으로 이루어지며 이미지가 노출되어 자극을 주목하고 지각하며 저장하여 기억하는 정보처리 과정을 통해 관찰자에게 전달된다.이를 바탕으로 본 연구에서는 AI 가 그린 그림과 사람 그린 그림의 창의성을 목적으로시지각 차이와 응시정도가 판단에 어떠한 영향을 미치는지 살펴보기 위해 다음과 같은 연구문제와 연구가설을 설정하였다.

연구문제1:AI와 화가가 그린 그림에 대한 피험자의 시지각은 차이가 있는가?

연구가설1:피험자는 AI가 그린 그림과 화가가 그린 그림을 구분할 수 있을 것이다.

연구가설2:AI가 그린 그림에 시각적 주의가 높게 나타날 것이다.

연구문제2:그림 예술 작품에서 관심 영역(AOI)에 따른 시각적 차이가 있는가?

연구가설1:각 그림의 관심영역에 따라 차이가 있을 것이다.

연구가설2:성별에 따라 시각적 차이가 있을 것이다.

3.2 연구대상 및 실험자극

본 연구는 부산광역시에 거주하는 K대학교의 학생으로 구성된 22명이 실험에 참여하였으며 아이트래커(eye tracker)를 통해 실험자극을 제시하였다. Table1과 같이 구글의 딥 드림(DeepDream)이라는 프로그램과 마이크로소프트 등이 개발한 더 넥스트 렘브란트(TheNextRembrandt)인공지능 화가 통한 AI 창작 그림과 예술가의 그림(Rembrandt & VincentvanGogh)을 실험자극으로 LCD 모니터를 통해 제시하였다.실험자극은 작품 4점의 이미지(AI 가 그린 그림 2점과 화가가 그린 그림 2점)를 사용하였다. 실험 절차는 먼저 실험실에 방문한 개별 피험자에게 사전 설문을 하였으며 이미지의 주관적 평가와 그림의 작가를 판단하기 위해 실험 후 설문을 병행하였다. 본 실험은 시선추적장치의 캘리브레이션 (calibration)을 거친 후 총 4점의 실험자극을 각 자극당 5초 동안 응시하도록 하였다.본 연구에 사용된 실험 자극은 아래 Table 1과 같다.

Table 1. Analysis Contents.

3.3 실험방법 및 실험내용

본 연구는 토비(Tobii)T60XL 아이트래커(eye tracker)를 통해 실험을 진행하였다.피험자에게 제시한 4점의 예술 작품을 5초 동안 보게 하여 피험자의 시선이 화면의 어느 위치를 응시하고 있는지 실시간으로 관찰하였다.피험자 시선 추적은 피험자가 실험 자극의 어느 곳을 응시(fixation)하고 얼마나 오랫동안 응시하였는지(duration)를 도출할 수 있으며 실험 자극 중 Table1과 같이 관심영역(AOI, areaof interest)을 설정하여 특정 영역에 머문 피험자의 시선 정보를 분석하였다.또한 제시된 메시지를 얼마나 기억하고 있는지 실험 후 설문을 통해 알아보았다. 4점의 그림 중 인물화인 Rembrandt와 The next Rembrandt는 관심영역(AOI)을 4영역(AOI 1-눈, AOI2-코, AOI3-입, AOI4-귀)으로 설정하었고 정물화인 VincentvanGogh와 DeepDream은 3영역 (AOI1-꽃, AOI2-잎, AOI3-화병)으로 설정하였다 (Table1).실험자극의 순서는 실험자극간의 방해를최소화시키기 위해 라틴정방설계(latinsquarede- sign)방식을 채택하였다.

4. 분석 결과

4.1 표본의 특성 및 실험자극에 관한 주관적 평가 결과

모집된 대상자의 인구통계학적 특성은 다음과 같다. 표본 대상자는 총 22명으로 남녀 대학생으로 1명의 무효 데이터와 3명의 예비실험 후 병변으로 인한 4명의 데이터를 제외한 총 18명(남자-8명, 여자-10 명)의 데이터를 실제 분석에 사용하였다.전체 피험자의 평균 연령은 21.3세이며 남자는 21.3세 여자는 21.2세로 나타났다.

4점의 그림 중 인공지능이 그린 그림은 어떤 작품입니까? 에 대한 답변으로는 Rembrandt:11.1%, The next Rembrandt(AI): 61.1%, Vincent van Gogh: 5.6%, DeepDream(AI):16.7%, 잘 모르겠다:5.6%로 나타났다.61.1%피험자들이 ThenextRembrandt 그림을 인공지능 그렸다고 답변했다.4점 중 1점만 AI가 그렸다고 답변하여 대부분의 피험자들이 인공지능의 그림과 사람의 그림을 제대로 구별하지 못하는 것으로 나타났다.

4.2 분석 결과

본 연구의 분석지표 중인 하나인 처음 시선 고정이 일어난 평균시간(TFF, timeof first fixation)은 참가자가 AOI또는 AOI그룹에 처음으로 고정될 때까지의 시간(초)시간이 길다는 것은 늦게 보았다는 의미이다[16]. Fig.1의 데이터는 피험자 전체평균값으로 자극을 처음 응시한 시점을 말한다.분석결과, Deep Dream_AOI1:0.397, AOI2: 1.473, AOI3:2.153, VincentvanGogh_AOI1:0.226, AOI2:2.061, AOI 3:1.838로 나타났으면 2개의 작품 모두 꽃을 가장 먼저 응시하였다.ThenextRembrandt_AOI1:0.158, AOI 2: 1.473, AOI 3: 2.153, AOI 4: 2.153, Rem- brandt_AOI 1: 0.212, AOI2: 1.398, AOI 3: 1.414, AOI4:0.882로 눈을 가장 먼저 응시하였다.성별 비교에 있어서는 TFF는 남녀 모두 꽃과 눈을 가장 먼저 응시하였다.

시선응시평균시간(FD, fixationduration)은 어떤 대상을 얼마나 오래 보았는지의 시간을 의미한다. 즉, 자극이 시각적 주의를 끈 시간을 의미하며 시간이 길면 오랫동안 응시했다는 의미로 해석할 수 있다. FD의 분석결과, DeepDream의 AOI2은 0.357 (잎), VincentvanGogh의 AOI1은 10.611(잎), The nextRembrandtAOI1은 0.387(눈), Rembrandt는 AOI1은 0.487(눈)으로 나타났다.성별 비교에 있어서 DeepDream의 FD는 남녀 모두 잎에서 Vincent vanGogh의 FD는 남녀 모두 꽃에서의 응시시간 길었다. The nextRembrandt와 Rembrandt의 FD는 남녀 모두 눈에서의 응시시간이 길게 나타났다.

시선방문평균횟수(VC, visitcount)는 어떤 대상을 보기 위해서 그 대상을 몇 번 방문(주시 횟수)했는지를 의미한다.즉, 자극이 시각적 주의를 끈 횟수를 의미하며 방문 횟수가 많으면 대상물을 자주 응시했다는 의미이다.VC의 분석결과, DeepDream과 Vin- centvanGoghAOI1인 꽃을 많이 방문한 것으로 나타났으며 The next Rembrandt와 Rembrandt의 방문 횟수가 많은 영역은 AOI1인 눈으로 나타났다. 남녀 비교에 있어서 DeepDream은 남자는 잎을 여자는 꽃을 많이 방문하였고 VincentvanGogh는 남녀 모두 꽃의 방문 횟수가 많은 것으로 나타났다. ThenextRembrandt와 Rembrandt는 남녀 모두 눈을 많이 방문하였음을 알 수 있었다(Table 2).

Table 2. Experimental analysis results.

* Unit:second, number(of times)•TFF(time of first fixation)/FD(fixation duration)/VC(visit count), all(Mean), F(Female)/M(Male)

방문횟수(VC, visitcount)는 어떤 대상을 보기 위해서 그 대상을 몇 번 방문(주시횟수)했는지를 의미한다. 즉, 자극이 시각적 주의를 끈 횟수를 의미하며 방문 횟수가 많으면 대상물을 자주 응시했다는 의미이다. VC의 분석결과, DeepDream와 Vincentvan Gogh AOI 1인 꽃의 방문횟수가 많이 나타났으며 The next Rembrandt와 Rembrandt의 방문 횟수가 많은 영역은 AOI1인 눈으로 나타났다.남녀 비교에 있어서 DeepDream은 남자는 잎을 여자는 꽃을 많이 방문하였고 VincentvanGogh는 남녀 모두 꽃의 방문 횟수가 많은 것으로 나타났다.ThenextRem- brandt와 Rembrandt는 남녀 모두 눈을 많이 방문하였음을 알 수 있었다(Table 2).

히트 맵(heatmap)은 피험자의 시선의 응시 빈도와 관심 영역에 머문 시간 등을 한 눈에 쉽게 알아볼 수 있게 그래픽적인 표현이다.Table2, 이미지는 위의 분석지표를 통해 분석한 데이터를 시각적으로 위의 실험결과와 같이 정물화의 꽃과 인물화의 눈을 많이 응시한 것으로 나타났다. 특이한 사항으로는 AI가 그린 그림인 정물화(왼쪽 첫 번째 그림) 위의빨간 히트 맵 부분은 그림이 깨져 있기 때문에 시각적 주의가 많이 나타났다.앞에서 언급한 관심 있는 자극은 다른 자극보다 디테일을 감지하는 데 더 열중한다는 이론과 일치하고 있다(Table 2).

결론적으로 연구문제1의 AI와 화가가 그린 그림에 대한 피험자의 시지각은 차이가 있는가?에 대한 연구가설 1에서 피험자는 AI가 그린 그림과 화가가 그린 그림을 구분은 4점의 작품 중 1점으로 나타났으며 연구가설2의 AI가 그린 그림에 시각적 주의가 높게 나타났음을 알 수 있었다.

연구문제2의 그림 예술 작품에서 설정영역(AOI) 에 따른 시각적 차이가 있는가?에 연구가설1과 연구가설 2는 각 그림의 관심영역에 따라 차이가 없음을 도출하였으며 성별에 따라 시각적 차이가 없음을 알 수 있었다.

5. 결론

본 연구에서는 AI가 그린 그림과 사람이 그린 그림을 아이트래킹(eye-tracking)을 활용하여 관찰자의 예술 그림 작품에 대한 정보처리가 어떠한지를 알아보고 시지각적 차이가 있는지 비교 분석하였다. 분석결과 AI가 그린 그림과 사람이 그린 그림의 구별 설문에서 4점 중 1점만 AI가 그렸다고 답변하여 대부분의 피험자들이 AI의 그림과 사람의 그림을 제대로 구별하지 못하는 것으로 나타났으며 아이 트래킹을 활용한 시지각 비교분석에 있어서는 관심 있는 자극은 다른 자극보다 디테일을 감지하는 데 더 시각적 주의가 일어났음을 알 수 있었다.본 연구는 특정 지역의 특정 연령층의 대상자가 제한되었다는 것과 개인의 성향 등의 변이들을 효과적으로 통제하기는 어려웠다는 한계점이 있었으나 AI가 그린 그림과 사람이 그린 그림을 아이트래킹을 통해 피험자들의 시선의 응시점과 시각적 주의를 분석하였다는 점에서 의의를 가진다.또한 인공지능에 의한 예술 창작이 가능한지에 대해 연구하는 것을 목적에 두었으며, 예술계에 인공지능이라는 새로운 기술이 등장한 현시점에서 현대예술의 본질과 역할에 대해 재인식하고자 하였다.인공지능과 예술에 대한 다양한 관점에서 의견들이 나오고 있음에 본 연구도 예술관을 가진 논의로서 실험을 통한 객관적 검증을 마련했다는 점에서 유의미할 것으로 사료된다.

기술의 발달로 AI을 활용한 시각예술 표현 창작물들은 끊임없이 인간에 도전되어질 것으로 예상되며 다양한 분야와 창작물 확대를 통한 세부적인 분석이 필요하다고 사료되어진다. 본 연구가 AI의 창의적 시각 예술표현에 관한 학제 간 연구를 촉진시키는 계기가 되길 바라며 향후 후속 연구의 기초자료로 활용되기를 기대한다.