Construction of Visual Algorithms for the Visual System Analysis of Virtual Reality HMD Devices -Through Interactive Visual System Analysis that Appears in Media Art-

가상현실 HMD기기의 시각체계 분석을 위한 시각 알고리즘 구축 -미디어 아트에서 나타나는 인터렉티브형 시각체계 분석을 통해-

Abstract

The change in 21st century imaging media technology is changing our modern visual system. Virtual reality HMD devices, one of the core technologies of 5G, reproduce the new visual system. However, there is a lack of analysis and understanding of the visual operating system to understand the visual system of the fast-changing variety of imaging media. This study analyzed the three visual systems appearing in the recent imaging media art area and presented an engineering perspective algorithm for its procedures and methods. Through these results, we want to build algorithms that understand the visual system of virtual reality HMD devices.

1. 서론

4차 산업혁명 시대! 가장 큰 사회적 이슈라면 단연 가상현실 AR/VR/MR, 인공지능, 빅데이터, 로봇 등이다. 그 기술 중심 속에는 데이터 분석이 핵심적 기술인 데이터 마이닝(Data Mining)에 대한 이해도가 필수적이라고 할 수 있다. 또한 그 수요는 더욱 증가할 것으로 보인다. 따라서 4차 산업 국가 기술경쟁력 확보를 위한 핵심 기술로써 데이터 마이닝 분야의 전문 인재 양성에 대한 필요성은 지속적으로 제기된다[1].

디지털 컨버전스(Digital Convergence)시대의 융합형 기술매체와 모바일 네트워크 환경에서 21세기 현대인의 ‘시각체계’는 새로운 형태의 프레임 확장과 시각성의 변화로 진화되고 있다. 하지만 그 변화의 속도에 비해 시각현상을 어떻게 이해하고 인지하며 확장시켜 나아갈 것인가에 대한 연구는 매우 부족하다. 최근 가상현실 디지털 영상기기의 등장은 과거 근대적 단일 시각체계와는 다른 이중적 시각체계를 형성하며 다양한 방법을 통해 재현되고 있다. 또한 인터렉티브한 관계를 통해 시각을 넘어서 몸을 통한 소통으로 이어지고 있다. 이러한 시각적 체험방법을 넘어 몸을 통한 소통방식에 따른 시대적 변화의 특성을 고려할 때 디지털 시각 알고리즘의 원리나 동작과정을 가시화하는 알고리즘 시각화 자료(Algorithm Visualization)의 도입은 현대의 시각문화를 이해하는 학습 효율을 제고할 수 있다[2]. 본 연구는 미디어 아트에서 나타나는 3가지 시각체계 사례들을 통해 첨단영상 미디어 기기의 이중적 시각원리와 인터렉티브적인 소통방식을 분석하고 그 결과를 토대로 가상현실의 중심인 VR/AR/MR등의 시각 체계를 분석할 알고리즘을 구축하고자 한다.

2. 이론적 고찰

문자의 탄생이후 디지털 시대로 접어들면서 정보전달의 포화현상는 텍스트를 새로운 관점에서 바라보게 하는 방법론이 대두되었고 시각화(visualization)의 방법으로 인포그래픽스(infographics)등이 활용되고 있다. Ramsay는 Algorithmic Criticism을 통해 텍스트를 비평적으로 유용한 방향으로 변형(deformance)하는데 컴퓨터 테크놀로지가 유용할 수 있다고 주장한다[3]. 반면 1968년에

Aristid Lindenmayer 라는 사람에 의해 개발된 문자열 재작성 시스템인 L-System은 1984년에 Alvy Ray Smith에 의해 컴퓨터 그래픽에 도입되어 식물의 성장등을 (procedural) 모델링하는 데 유용하게 쓰이고 있다[4]. 국내 연구로(김주섭, 2013)는 텍스트 중 시 라는 문학 장르에 국한하여 알고리즘 기반 모델링(procedural modeling)을 사용하여 각각의 시를 그 고유의 특성을 반영하는 자연의 유기적인 나무형태로 디지털 공간에서 재창조해 내는 방법을 제안하였다[5]. 특히 (김주섭, 2013)에 따르면 L-System은 심볼들과 심볼들을 대체하는 규칙으로 이루어져 있다고 설명한다. 박진완의 ’Visual Genealogy’에서는 한국의 족보를 시각화하여 나타냄으로써 기능성이나 심미성 보다는 그 안에서 새로운 이야기를 창출해내는 용도로 시각화되었다[6]. 반면 (임상국, 2019) [5G기반 VR/AR/MR/Hologram의 공간에서 나타나는 21세기형 시각 알고리즘 구축][7]에서는 근대적 시각체계인 라깡의 시선도해를 과정별로 세분화하고 정보전달의 명확한 이해를 돕기 위한 문자열 재작성 시스템, 즉 알고리즘 기반 모델링(procedural modeling)을 사용하여 시선도해를 텍스트화 하였다.

과거 데카르트의 근대적 시각체계는 오랜 세월 절대적인 권력처럼 여겨졌다. 데카르트의 시각체계는 크게 원근법적 시각체계, 옵스큘라적 시각체계, 파노라마적 시각체계로 설명한다. 하지만 그러한 고전적 시각체계에 관해 라깡은 시선도해를 통해 변화된 4가지의 시각체계로 재정의 하였다. 그 결과물을 (임상국, 2019)에서는 다시금 텍스트로 재해석하는 과정을 통해 21세기 시각체계를 새롭게 설명하고자 하였다. Table 1은 그 결과 중 “응시”에 관한 사례이다.

Table 1. L-System - Visual Algorithm for "Gaze"

(임상국, 2019)의 논문에서는 라깡의 시선도해를 통해 21세기 시각체계를 원근법적 시각체계, 옵스큘라적 시각체계, 응시에 관한 시각체계, 파노라마에 관한 시각체계인 4가지 시각유형으로 분류하였다. 그 시각체계를 문자열 재작성 시스템을 통해 과정별로 세분화하고 정보전달의 명확한 이해를 돕고자 하였다. 즉 알고리즘 기반 모델링(procedural modeling)을 사용하여 시선도해를 텍스트화 하였다. 이처럼 문자를 이미지로 시각화하거나 또는 이미지를 문자로 전환하는 과정들을 통해 정보전달의 구조적인 이해와 전달을 용이하게 하고자하는 연구들이 있어왔다. 이러한 연구들의 궁극적인 목적은 시각적인 이미지들의 정보전달 측면뿐만 아니라 현대적인 가상 이미지의 폭발적인 증가로 인한 시각체계의 재해석에도 필요한 연구이다.

현대의 첨단 미디어기기는 인간의 다양한 시각체계를 통해 현실과 가상을 공유하며 상호작용한다. 가상의 이미지가 현실이 되어가고 첨단 미디어를 통해 복합현실을 형성해가는 것이다. 지금의 인터렉티브적인 시각체계 속에서 이러한 연구들은 다양한 형태로 우리의 시각체계를 설명하고 있다. 스티브 목스타칼니스는 <실리콘 환상(Silicon Mirage)>이란 저서에서 ‘가상현실은 사람이 그 속에 빠져 들어갈 수 있는, 컴퓨터가 만들어낸 상호작용적(Interactive) 3차원 환경’으로 정의했다[8]. 가상공간에서의 상호 작용은 여러가지 측면에서 확인할 수 있는데, 가상공간(VR)기술적 접근방법의 유형 사례를 Fig. 1을 통해 살펴보면 착용장치탑재형 가상현실 (Head mounted VR), 몰입형 가상현실(Cave based VR), 카멜레온형 (Chameleon type VR) 등 세 가지로 구별할 수 있다[9].

Fig. 1. Examples of Types of Virtual Space (VR) Technical Approaches.

또한 복합현실은 다양한 현실이 함께 공존하게 되는 기술로서 실제현실, 가상현실, 증강현실이 공존한다. 따라서 광학적 투과(optical see-through)방식, 디스플레이를 통한 인터렉티브 방식을 취하고 있다. 이처럼 다양화 되고 있는 미디어의 정보 전달방식은 이제 시각적인 차원을 넘어 몸을 통한 인터렉티브적인 형태로 발전되고 있다. 인터렉티브 방식에 있어서 가장 중요한 부분은 Fig. 2의 피지컬 컴퓨팅을 통한 몸의 지각이다. 매체의 발달과 더불어 몸은 다양한 방면에서 중점적인 연구 대상이 되었고 예술 분야에서도 몸을 이용한 관객 참여라는 키워드는 최대 관심사이다. 본다는 것은 이제 시각적인 현상을 넘어 몸으로 느끼는 시대가 되었고 단순한 시각적 프레임 관점에서 몸의 인지적 관점으로서의 프레임 확장이 등장한다.

Fig. 2. Three Interactive Ways Through the Body.

즉, 인간과 미디어 사이의 소통관계는 컴퓨터라는 새로운 매개체를 통해 좀 더 직접적인 소통과 교감을 인지하고 몰입감을 더해간다. 시각적 관계에서 바라보던 객관적 관찰자 입장에서 몸의 움직임을 통한 인지적, 주관적 관점으로의 전환이다. 이러한 현상들은 다양한 형태로 나타나고 있는데 특히 미디어아트 분야에서 나타나는 시각적, 인지적 체계를 살펴보면 그 특징들을 명확하게 알 수 있다.

3. 미디어 아트에서 나타나는 시각체계의 문자열 재작성

디지털 예술에서 나타나는 인터렉티브한 디지털 영상 재현방식은 크게 3가지로 나뉜다. 첫번째는 ‘매체 간(間) 인간형’으로 관람자가 작품을 감상할 때 바라보는 위치에서 관람자의 동작을 컴퓨터가 인식해서 작품과 서로 교감하고 몰입하는 형태, 두 번째는 ‘교감형’ 으로 관람자가 작품을 바라보며 직접 화면(작품)을 만지면서 그 반응을 통해 작품이 완성되는 형태, 세 번째는 ‘매체 속 인간형’으로 관람자가 작품 속으로 들어가 몸의 움직임을 통해 서로 교감하며 작품을 완성해가는 형태이다. 그러한 특징들을 라깡의 시선도해를 바탕으로 시각체계를 도판화 하면 다음과 같다[10]. 그중에서 Table 2은 매체와 인간의 상호작용을 통한 인터렉티브적인 유형화의 3가지 방식이다.

Table 2. Interactive visualization

도표 1. 에서도 나타나듯이 일반적인 전시관람 방식에서 관람자의 참여란 매체를 바라보고만 있는 관찰자의 입장이었다. 관람자는 작가가 만들어 놓은 시각체험 방식을 관찰하듯이 바라만 보는 형태였다. 하지만 최근에는 관람자의 움직임을 컴퓨터 센스를 통해 인지하고 작품이 그에 반응하거나, 관람자가 직접 작품을 만져서 소통하는 형태로 나타난다. 관람자의 동작이나 손(터치)으로 시작된 움직임은 몰입감(촉감)으로 발전하였고 그 몰입감(촉감)은 관람자와 작품(작가)이라는 두 개의 주체가 스크린과의 상호작용을 통해 하나가 되는 현상으로 나타난다. 더 나아가 관람자는 작품 속에서 움직이며 상호작용을 통해 함께 작품을 완성시켜 나가고 있다.

이처럼 근대적 시각체계의 아우라는 우리의 일상속에서 여전히 존재하지만 첨단미디어의 발전과 더불어 우리의 시각체계는 급속히 변화되고 있다. 또한 가상과 현실이 공존하고 있는 21세기에 와서는 그 시각적, 물리적 프레임의 경계가 확장되어 현실과 가상의 구분이 모호하다. 즉 다양한 미디어의 발전과 활용에 있어서 근대적 시각체계만으로는 설명하기 힘든 상황이다. 본다는 것은 이제 시각적 개념에서 몸을 통한 인지적 관점으로 변화되고 있음을 알 수 있다. 몸을 통해 본다는 것은 그 과정에서 오는 오감을 통한 인지적 습득과정을 이해하고 인간의 오감이 몰입되어 가는 경로를 체계화하는 것이다. 또한 그 과정에서 서로 상호작용하는 관계를 통해 몰입감은 더욱 강력해 지는 것이다.

이러한 특징들을 바탕으로 본 연구에서 제안하는 작품 속 상호작용 관계를 문자열 재작성 방식으로 알고리즘화 해보면 다음과 같다. 첫 번째 유형인 Table 3. ‘매체 간(間) 인간형’에서 나타나는 프레임 확장의 특징과 시각체계의 변화 관계를 보면 관람자는 작품 속에 등장하는 또 다른 존재(작품의 움직임)를 ‘응시’한다. 그것은 관람자가 시선주체로써 작품의 움직임을 바라본다. 작품 속 움직임과 관람자의 몸에 움직임이 동일함을 인지한다. 움직임을 인지하며 시각적 몰입을 통한 상호작용으로 나타난다. 이러한 시각경로를 문자열로 재작성하면 다음과 같다.

Table 3. Cross-human humanoid​​​​​​​

두 번째로 Table 4 ‘교감형’ 시각체계에서 나타나는 특징으로서 중요한 점은 관람자가 손을 통한 텃치에서 재현되는 움직임을 통해 스스로 작품을 만들어가고 그러한 움직임을 인지하고 재현하는 컴퓨터 기기의 보이지 않는 역할들 속에 작가라는 주체적 시선이 숨어있는 관계이다. 이러한 보이지 않는 3가지(관람자, 작가, 컴튜터)의 시선이 스크린이라는 가상과  현실의 교차점에서 2중적으로 소통된다. 이러한 시각경로를 문자열로 재작성하면 다음과 같다.

Table 4. Sympathetic​​​​​​​

앞서 밝혀진 과정들의 특징을 살펴보면 근대적 시각체계의 방식에서 나타나는 특징과는 다른 점을 알 수 있다. 관람자는 시선주체로써가 아닌 작품을 바라보고만 있던 객관적 입장에서 처음으로 작품과 관람자의 몸에 움직임을 통해 시선 주체로써 교감하고 소통하게 된다는 것이다. 객관적인 관계로만 형성되어 있던 관람자의 시선과 작품 간의 관계는 미디어의 개입으로 좀 더 주관적이고 적극적인 몰입감을 유도하고 상호작용을 통한 2중적 소통방식을 재현한다. 하지만 여전히 근대적인 시각체계와 동일하게 현실(관람자)과 가상(스크린)은 서로 마주보는 관계로써 분리되어 나타난다.

마지막으로 Table 5 ‘매체 속 인간형’은 관람자의 몸이 스크린 속으로 들어가 버리는 형태로 나타난다. 즉 근대적 시각체계에서 나타나던 시선 주체의 상실은 매체의 시선(컴퓨터 센서)과 관람자의 시선(동작)이 일치되는 현상으로 나타난다. 관람자는 영상작품 프레임 속에서 미디어 장치(컴퓨터 센서)에 의해 관람자의 움직임이 인식되고 반응을 통해 작품은 재창조된다. 시각적 관점에 따라 관람자는 시선주체의 상실이 아닌 매체와 인간의 시선 일치로 볼 수 있다. 또한 프레임 확장의 관점에서도 결국 몸이 프레임이 되는 확장 형태로 나타나는 것이다. 이러한 현상은 최근에 나타나는 다양한 실감형 미디어에서도 보여지는 특징들로써 근대적 시각체계에서는 볼 수 없는 특징들을 가지고 있다.

Table 5. Humanoid in the media​​​​​​​

앞서 제시한 3가지 사례들을 통해 미디어 아트에서 나타나는 새로운 시각체계를 문자열 재작성 방식을 통해 텍스트화 하였다. 그 결과로써 근대적 시각체계에서는 나타나지 않는 이중적 시각체계가 나타남을 알 수 있었다. 그 원인으로써 미디어의 개입을 들 수 있는데 관람자와 작품의 관계가 아닌 컴퓨터나 새로운 미디어의 개입은 우리의 보는 관점을 바꿔놓았다. 그러한 경로를 텍스트로 재배열함으로써 복잡한 이중적 시각체계를 구체화 할 수 있었다. 또한 이러한 시각체계의 인지과정 경로를 Table 6에서 라깡의 시각성 도판으로 유형화해 보았다.

Table 6. Interactive visual plate​​​​​​​

Table 6에서 21세기 시각체계의 사례 중 인터렉티브적 시각체계를 라깡의 시선도해를 통해 유형화 한 결과를 통해서도 알 수 있듯이 21세기 디지털 시각체계의 특징인 움직이는 이미지[11]와 관람자의 참여는 컴퓨터와 같은 미디어가 관계하여 인터렉티브적인 시각체계를 형성하는 동시에 이중적 시각체계를 구축하였다. 또한 이러한 3가지 시각체계를 문자열 재작성 방식인 L-System을 활용하여 관람자와 매체 간 시각 알고리즘을 알기 쉽게 기술해 보았다.

4. 결론

본 논문에서는 HMD기반의 미디어 시각성 분석을 위해 미디어 아트에서 나타나는 3가지 인터렉티브적 시각체계를 문자열 재작성 방식인 L-System을 응용하여 텍스트화 하였다. 그 결과로써 도표 2.3.4의 시각인지 절차에 관한 문자열에서도 알 수 있듯이 근대적 시각체계의 관찰자적인 시각방식이 아닌 시선 주체로써의 참여형태로 변화한 것을 알 수 있다. 앞서 밝힌 L-System을 이용한 인터렉티브적 알고리즘 분석사례를 통해 디지털 예술에서 나타나는 라깡의 시선도판 중 매체와 인간의 상호작용을 통한 인터렉티브적 유형화는 ‘매체 간(間) 인간형’, ‘교감형’, ‘매체 속 인간형’으로 나타났다. 본 연구에서는 그 결과를 통해 문자열 재작성 방식인 L-System을 이용하여 21세기형 시각체계를 텍스트로 알고리즘화 하고자 하였다. 그 중 대표적인 시각재현 원리인 ‘매체간(間) 인간형’ 을 문자열 재작성 시스템인 L-System을 통해 알고리즘화 하면 다음 Table 7과 같다.

Table 7. Algorithm of Interaction Visual System Using L-System​​​​​​​

본 연구는 근대적 시각체계에서 고정화 되었던 우리의 시각체계가 디지털 시대를 맞이하면서 이중적이고 복합적인 형태로 발전되고 있음을 밝히는 계기가 되었다. 급 변화하는 가상현실 미디어 기술 속에서 디지털 시각 알고리즘의 원리나 동작 과정을 가시화하는 알고리즘 시각화 자료(Algorithm Visualization)의 도입은 다양한 형태로 현대의 시각문화를 습득하는 새로운 방법을 제시한다. 또한 새로운 영상미디어 기기의 학습 효율을 제고하고 쉽게 이해하는 개념으로써 큰 역할을 할 것이라 여겨진다. 이러한 시각경로 분석을 통해 다양한 hmd기반의 미디어 기기를 분석하고 그 인지 과정 속에서 나타나는 특징들을 이해한다. 그 결과물들은 우리의 삶의 시각체계속에서 새로운 디지털 시대의 시각성을 형성하고 사용자의 입장과 미디어의 역할에 관한 확장된 연구로 이어질 수 있다.

또한 가상현실 기술의 발전을 통한 현대 사회의 융합적인 시각문화에 대한 이해를 돕는 가이드라인으로 활용될 것이다. 끝으로 본 연구를 통해 현재 급증하고 있는 HMD기반의 다양한 시각재현 미디어 기기들의 시각체계 알고리즘 분석을 위한 토대를 마련하였다. 앞으로 그 결과물을 통해 다양한 가상현실 HMD기기의 시각체계에 적용해보고자 한다. 더불어 21세기 새로운 3D시각체계로써의 가상현실 공간을 이해하기 위한 이론적 기반을 구축하였고 3차원 UI/UX에 있어서 인간과 매체 간 상호작용 관계에 관한 연구의 초석이 될 것으로 기대해 본다.