Construction of HMD-based Interactive Realistic Media Algorithm Using L-System

L-System을 이용한 HMD기반 인터렉티브 실감형 미디어 알고리즘 구축

Abstract

5G-based HMD technology grew rapidly in the context of the environment change of convergence technology media and mobile networks in the fourth industrial era. It has also grown into a core technology that transforms our digital visual system. However, there is no research or system that can understand and verify radical visual system changes. Therefore, it is necessary to have an engineering understanding and verification of the diffusion of HMD media imaging devices. Beyond the distinction between virtual and real, research is urgently needed on the new three-dimensional interface of the 21st century through viewer participation. For this reason, research on the algorithm structure of interactive video media using L-System is an essential process and will be a guide to understanding the virtual reality interactive environment.

1. 연구의 배경 및 목적

5G시대에 접어들면서 융합 기술 매체와 네트워크 환경의 변화와 더불어 인공지능, 빅데이터, 가상현실 AR/VR 로봇 등에 관한 논의는 4차 산업혁명시대 가장 큰 사회적 이슈로 등장하였다. 그 핵심 기술 속에는 데이터 마이닝(Data Mining)에 대한 이해도가 필수적이다. 데이터 마이닝(data mining)은 대규모로 저장된 데이터 안에서 체계적이고 자동적으로 통계적 규칙이나 패턴을 찾아내는 것이다. 다른 말로는 KDD(데이터베이스 속의 지식 발견, knowledge-discovery in databases)라고도 일컫는다. 데이터 마이닝은 데이터 분석이 필수적으로 작용하는 분석 기술로써 그 수요는 앞으로 더욱 증가할 것으로 판단한다. 따라서 융합형 네트워크 시대 데이터 마이닝 분야의 전문 인재 양성에 대한 필요성은 4차 산업 국가 기술경쟁력 확보를 위해 지속적으로 제기되고 있다[1].

융합형 기술 매체와 모바일 네트워크 환경의 변화는 우리의 공감각적 삶의 일부가 되었고 이제 디지털 컨버전스(Digital Convergence)시대로 나아간다. 그 속에서 현대인의 ‘시각체계’는 새로운 형태의 프레임 확장과 시각체계의 변화로 진화되고 있다. HMD기반의 새로운 시각체험 기기는 관람자 참여를 이용한 인터액션적 시각체계를 형성하였다. 하지만 급변하는 미디어환경의 변화를 이해하고 분석할 수 있는 이론적 체계는 턱없이 부족한 상황이다. 즉 21세기 시각체계는 근대적 시각체계인 원근법으로 이해하고 설명하기에는 적합하지 않은 복합구조를 가지게 되었다. 따라서 오늘날의 새로운 미디어기기를 이해하고 시각체계를 이론화하는 과정은 현대를 설명하고 삶의 구조적 변화를 가시적으로 형상화하기 위한 필수요인이다. 이러한 시대적 특성을 고려할 때 데이터 마이닝(data mining)을 통한 디지털 시각 알고리즘의 원리나 동작 과정을 가시화하는 알고리즘 시각화 자료(Algorithm Visualization)의 도입은 현대의 시각문화를 이해하는 학습 효율을 제고할 수 있다[2].

메시지를 전달하기 위해 문자의 경우에 정보의 저장과 전달을 신뢰할 수 있다는 점에서 큰 장점이 있다[3]. 그러나 디지털 시대로 접어들면서 정보전달과 저장에 있어서의 포화 현상이 대두되었고 해결방안으로 텍스트 데이터의 시각화(visualization)방법론인 인포그래픽스(infographics)등이 활용되고 있다. 텍스트 데이터의 시각화는 우선 정보의 직관적 전달이 목적인 경우가 가장 일반적 기능이다. 반면 정보의 명확성이 불분명하고 관람자의 시각적 관점에 따라 이해도가 떨어질 수 있다. 그러나 공학적 원리를 설명하는데는 텍스터 방식의 알고리즘이 일반적인 표현방식이다. 따라서 예술적 관점의 이미지를 공학적 방식의 알고리즘 텍스터로 적용해 봄으로써 관람자의 시각정보를 명확히 하고 정보의 이해도를 높이고자 한다.

2. 이론적 고찰

2.1 근대적 시각의 알고리즘

1968년에 Aristid Lindenmayer 라는 사람에 의해 개발된 문자열 재작성 시스템인 L-System은 1984년에 Alvy Ray Smith에 의해 컴퓨터 그래픽에 도입되어 식물의 성장 등을 (procedural) 모델링하는데 유용하게 쓰이고 있다[4]. 관련 국내 연구로는 텍스트중 시 라는 문학 장르에 국한하여 알고리즘 기반 모델링(procedural modeling)을 사용하여 각각의 시를 그 고유의 특성을 반영하는 자연의 유기적인 나무형태로 디지털 공간에서 재창조해 내는 방법을 제안하였다[5]. Ramsay는 Algorithmic Criticism을 통해텍스트를 비평적으로 유용한 방향으로 변형(deformance)하는데 컴퓨터 테크놀로지가 유용할 수 있다고 주장한다[6]. 그리고 박진완의 ’Visual Genealogy’는 한국의 족보를 시각화하여 나타냄으로써 기능성이나 심미성 보다는 그 안에서 새로운 이야기를 창출해내는 용도로 시각화되었다[7].

본 연구에서는 전통적 시각원리를 이미지(도표)로 재현한 라깡의 시선도해를 텍스트로 재 구성하고자 한다. 라깡의 시선도해는 근대적 시각체계를 그림으로 이해하기 쉽게 표현한 것으로 본 연구자가 디지털 시대의 시각체계로 확장한 연구사례이다. 하지만 21세기 다중적인 디지털 시각체계를 이해하기에는 정보 시각화된 그림도표만으로는 어려움이 많다고 생각된다. 따라서 근대적 시각체계 중 “응시(Gaze)”에 관한 시각원리를 설명하는데 문자열 재작성 시스템인 L-System의 원리를 적용해보고자 한다. 즉 텍스트를 이미지로 시각화한다는 점에서 착안하여 역으로 시각화된 이미지를 텍스트로 전환하여 문자열로 재작성하는 것이다.

문자의 경우 정보의 저장과 전달을 신뢰할 수 있다는 점에 착안하여 시각화된 이미지를 문자열로 재작성함으로써 디지털 시각성에 대한 이해도를 높이고자 한다. 그 결과로써 L-System을 이용한 텍스트의 시각화에서 나타나는 알고리즘화 과정을 재구성하고 시각화된 이미지의 텍스트화를 구축하고자 한다. 그 사례로써 연구자의 5G기반 VR/AR/MR/Hologram의 공간에서 나타나는 21세기형 시각 알고리즘 구축에서 근대적 시각체계인 라깡의 시선도해를 과정별로 세분화하고 정보전달의 명확한 이해를 돕기 위한 문자열 재작성 시스템, 즉 알고리즘 기반 모델링(procedural modeling)을 사용하여 시선도해를 문자화 하였다[8]. Table 1은 그 4가지 실험결과중 “응시”에 관한 사례이다. 도표에서 나타나듯이 “응시(Gaze)”는 라깡이 제시한 시선도해의 한 사례를 본 연구자가 알고리즘화한 사례이다. 즉 AR에서 나타나는 관람자의 시선처리 방식을 라깡의 시선도해를 이용하여 시각화한 후 다시 그 시각경로를 순서화하고 텍스트로 표현하였다. 이러한 일련의 과정들을 통해 이미지에 대한 정보전달을 명확히 하고 이해도를 높일 수 있다.

Table 1. L-System - Visual Algorithm for "Gaze"

가상현실에서의 새로움은 실제 혹은 가공의 세계를 단순히 그럴듯하게 재현하는 것이 아니라 가상세계와 관람자의 상호작용에서 찾을 수 있다. 셔먼(William Sherman)에 따르면 관람자와 가상세계와의 상호작용은 가상현실 경험에 있어서 핵심이다. 그는 가상현실이 관람자의 물리적 움직임에 반응하지 않는다면 그것을 가상현실이라고 부를 수 없다고까지 본다[9]. 또한 스티브 목스타 칼니스는 <실리콘환상(Silicon Mirage)>이란 저서에서 ‘가상현실은 사람이 그 속에 빠져 들어갈 수 있는, 컴퓨터가 만들어낸 상호작용적(Interactive) 3차원 환경’으로 정의했다. 따라서 가상현실 영상은 해석을 통해 의미를 얻는 것이 아니라 시각적·청각적·촉각적 경험을 통해 의미를 얻는다는 점에서 기존의 언어와는 차이가 있다[10].

가상공간에서 상호 작용은 여러 가지 측면에서 확인할 수 있는데, Fig. 1과 같이 가상공간(VR)기술적 접근방법의 유형 사례를 살펴보면 착용장치 탑재형 가상현실 (Head mounted VR), 몰입형 가상현실(Cave based VR), 카멜레온 형 (Chameleon type VR) 등세 가지로 구별할 수 있다[11]. 각 사례들에서 알 수 있듯이 HMD기반의 다양한 기기들은 각각의 특성에 따라 단순한 가상현실 체험을 넘어 공감각적 경험이 주는 상호작용적(Interactive) 3차원 환경인 것이다. 따라서 물리적 환경에서의 상호간의 반응을기반으로 3차원 환경을 어떻게 받아들일 것인가에 관한 관람자의 시각 알고리즘을 이해하는 것은 매우 중요한 문제라고 할 수 있다.

Fig. 1. Examples of Types of Virtual Space (VR) Technical Approaches.

2.2 L-System을 이용한 HMD기반의 알고리즘화 사례

근대적 시각체계에서는 고정적이었던 시각성이 움직이는 이미지의 등장을 통해 우리의 시각성은 시각 주체로써의 다양한 변화를 가져왔다. 앞서 제시된 사례를 바탕으로 21세기 디지털 시각체계를 유형화한 후 hmd기반의 융합형 미디어 방식에서의 시각체계를 4가지로 세분화하고 그 결과를 알고리즘화 하였다. 라깡의 시선도해를 통해 AR형, VR형, MR형, 홀로그램형으로 분류한 융합형 미디어 사례들을 시각적으로 유형화하면 Table 2와 같은 원리로 재현할 수 있다.

Table 2. A Case of Visual System in Converged Media Method

Table 2 융합형 미디어 방식에서의 시각체계 사례는 21세기의 미디어에서 나타나는 특징으로써 작가의 작품 속 소실점이 아닌 움직이는 이미지를 관람자는 바라보게 된다. 그 움직임은 컴퓨터라는 미디어와 연계하여 동적인 이미지를 재현하는 이중적 시각체계를 형성한다는 것을 알 수 있었다. 그중에서 VR기기의 시각체계원리를 문자열 재작성 시스템인 LSystem을 통해 알고리즘화하면 다음 Fig. 2와 같다.

Fig. 2. Algorithm of VR Visual System using L-System

2.3 인터렉티브형 시각체계와 알고리즘 구축

현대적 시각체계의 가장 큰 특징으로 이중적 시각체계를 들 수 있다. 앞서 제시된 Table 3에서도 나타나듯이 우리의 시각은 2차원을 넘어 3차원으로 향해가고 있다. 이러한 복합현실은 다양한 현실이 함께 공존하게 되는 기술로 실제현실, 가상현실, 증강현실이 공존한다. 이처럼 최근의 융합미디어는 광학적 투과(optical see-through)방식과 디스플레이를 통한 인터렉티브 방식을 취하고 있는 것이 특징이다.

Table 3. Three Cases of Interactive Type

인터렉티브 방식에 있어서 가장 중요한 부분은 Fig. 3에서 보듯이 피지컬 컴퓨팅을 통한 몸의 지각이다[12]. 매체의 발달과 더불어 관람자의 몸은 다양한 방면에서 중점적인 연구 대상이 되었다. 예술 분야에서도 구경꾼으로써의 관람자가 몸을 이용한 관객참여라는 키워드는 작가들의 최대 관심사이자 예술에 대한 관객 외면에 대해 고민해야 할 숙제였다. 즉 작품 속 관람자의 몸은 인터렉티브적인 참여로써 자연적 자아이자 말하자면 지각의 주체이기 때문이다[13]. 본다는 것은 이제 몸으로 보고, 느끼는 시대가 되었고 단순한 시각적 프레임 관점에서 몸의 지각적 관점으로서의 프레임이 등장한다.

디지털 인터렉티브형 융합 미디어의 사례를 살펴보면 Table 3과 같은 3가지 형태로 분류할 수 있다. 우선 관람자는 작가의 작품을 마주 보며 미디어작품 속 자신을 주체로써 인식한다. 두 번째로 관람자는 작가의 작품을 직접 손으로 만지면서 미디어 작품의 변화를 제어하고 작가의 작품과 공유한다. 마지막으로 관람자는 작품 속에서 작가, 미디어와 함께 작품을 완성해간다.

디지털 예술에 있어서 라깡의 시선 도해를 바탕으로 도판화한 사례들 중에서 Table 4는 매체와 인간의 상호작용을 통한 인터렉티브 유형의 시각화로써 1)매체 간(間) 인간형, 2)교감형, 3)매체 속 인간형의 3가지 유형으로 나눠진다[14].

Table 4. Interactive visualization

21세기 디지털 시각체계의 특징인 움직이는 이미지와 관람자의 참여는 컴퓨터라는 미디어가 관계하여 인터렉티브형 시각체계를 형성하는 동시에 이중적 시각체계를 구축한다[15]. 이제 관람자의 참여는 마주 보는 위치에서 하나의 작은 손동작에서 시작되어 작품(미디어) 속 존재(관람자의 모습)와의 동일시로 이어진다. 다음으로 관람자는 작품(미디어)과 접촉(터치스크린)을 통한 촉감으로 발전하였고 그 촉감은 두 개로 나눠진 주체(현실의 관람자와–미디어 속 가상의 관람자)가 경계(스크린)에서 만나 소통하게 된다. 마지막으로 관람자는 작품 속으로 들어가 자신이 작품(주체)이 되는 상황으로까지 이어지는 것이다. 이러한 현상을 예술적 관점에서 표현해 보자면 현실 속 관람자와 가상재현에 주체로서의 작가(재현매체로서의)는 처음으로 서로를 미디어와 몸의 감각을 통해 인식하고 교감하게 된다. 앞서 제시된 인터렉티브형 사례분석을 토대로 그 결과들을 라깡의 시각성 도판으로 재현하면 Table 5와 같은 결과로 나타난다.

Table 5. Interactive visual plate

3. L-System을 이용한 인터렉티브형 알고리즘

급변화하는 가상현실 미디어 기술속에서 디지털 시각 알고리즘의 원리나 동작 과정을 가시화하는 알고리즘 시각화 자료(Algorithm Visualization) 도입은 현대의 시각문화를 이해하는 학습 효율을 제고하고, 활용하는 개념으로써 큰 역할을 할 것이라 여겨진다.

본 논문에서 제안한 HMD기반의 실감형 미디어는 1)매체 간(間) 인간형, 2)교감형, 3)매체 속 인간형의 3가지 유형을 분석사례로 선정하였다. 제시된 3가지 유형은 인간과 실감형 미디어간의 관계 속에서 가장 보편적인 시각, 촉각, 공감각적인 관계로써 활용되는 인터렉션적인 미디어의 사례이다. 그 3가지 사례를 통해 디지털 시각성 분석을 위한 인터렉티브형 알고리즘을 문자 시각화인 L-System을 이용해 구현하였다. 그 시각재현 원리 중 ‘매체 간(間) 인간형’ 을 문자열 재작성 시스템인 L-System을 통해 시각구조화 하면 다음 Fig. 4와 같다.

Fig. 4. Interactive visual structure using L-System

이러한 시각 경로를 문자열로 재작성하면 다음과 같은 시각구조를 가진다. 따라서 그 원리를 바탕으로 3가지 분석사례의 인터렉티브형 시각체계를 문자열로 알고리즘화하면 다음과 같다. 첫 번째 Table 6은 ‘매체 간(間) 인간형’에서 나타나는 프레임 확장의 특징과 시각성 변화와의 관계에서 관람자는 작품 속에 등장하는 또 다른 존재를 ‘응시’한다. 즉 양안으로 구성된 현대적 시각체계 속에서 시선 주체로서 스크린을 향한 주체의 이동과 몸을 통한 객관적 성찰로 볼 수 있다.

Table 6. ‘Medium-medium humanoid algorithm’

두 번째로 Table 7은 ‘교감형’ 시각체계에서 나타나는 특징으로서 중요한 점은 관람자의 손가락끝이 화면과 접촉했을때 꼭짓점에서 재현되는 움직임을 통해 스스로 작품을 만들어가고, 그러한 움직임을 지각하고 재현하는 컴퓨터 기기의 보이지 않는 역할들속에 작가라는 주체적 시선이 숨어있는 관계이다. 이러한 보이지 않는 3가지의 시선이 스크린이라는 가상과 현실의 교차점에서 주체는 수용된다. 즉 직접적인 몸의 교감을 통해 주체의 탈 중심화가 실현된다.

Table 7. Sympathetic algorithm

마지막으로 Table 8은 ‘매체 속 인간형’은 관람자의 몸이 스크린 속으로 들어가 버리는 형태로 나타난다. 즉 시각성에서 나타나는 시선 주체의 상실은 매체의 시선과 관람자의 시선이 일치되는 현상으로 볼 수 있다. 따라서 관점에 따라 시선주체의 상실이 아닌 매체와 인간의 시선 일치로 볼 수 있다. 그리고 프레임 확장의 관점에서도 결국 몸이 프레임이 되는 확장 형태로 나타나는 것이다.

Table 8.‘Humanoid in media’algorithm

끝으로 앞서 분석한 결과들을 L-System을 이용한 인터렉티브형 시각체계로 알고리즘화하면 다음 Table 9와 같은 결과들로 나타난다.

Table 9. Algorithm of Interaction Visual System Using L-System

*A; Interaction type algorithm, 1) ‘Medium-medium humanoid algorithm’, 2) Sympathetic algorithm, 3) ‘Humanoid in media’ algorithm

4. 결론

지금까지 디지털 예술에서 나타나는 라깡의 시각성 도판 중 실감형 매체와 인간의 상호작용을 통한 인터렉티브형 유형화 사례 3가지를 살펴보았다. 즉 ‘매체 간(間) 인간형’, ‘교감형’, ‘매체 속 인간형’의 3가지 사례를 활용해 21세기 시각성 도판으로 시각화하고 시선도해화 하였다. 그 결과를 토대로 문자열 재구성 방식인 L-System을 이용한 인터렉티브형 시각체계로 알고리즘화 하였다.

최근 미디어의 변화는 가상과 현실을 오가며 느낄 수 있는 실감형 매체들이다. 전통적 방식인 관람자들의 정적인 관람방식이 아닌 상호작용을 통한 교감형으로 변해가고 더 나아가 관람자가 창작가가 되어가는 형태로 나타나고 있다. 이러한 일상의 변화 및 문화의 융합 현상은 앞으로 더 급진적으로 나아갈 것으로 예상된다. 본 연구를 통해 급증하는 HMD기반의 다양한 시각재현 방식인 실감형 미디어 기기들의 시각재현 알고리즘 분석을 위한 토대를 마련하고자 한다. 또한 예술적 관점에서의 근대적 시각체계인 라깡의 시선도해를 이해하는 시각재현 원리를 공학적 관점의 알고리즘으로 재구성하였다. 이러한 결과는 21세기 새로운 시각체계로써의 가상현실 공간에 대한 이해를 돕기 위한 이론적 기반과 HMD기반의 다양한 실감형 미디어를 구조적으로 설명할 수 있게 되었다. 다음 연구에서는 다양한 실감 미디어의 사례들을 앞서 제시한 알고리즘 방식을 통해 텍스터화 함으로써 3차원 UI/UX에 관한 연구의 초석이 될 것으로 기대해 본다.