Production Technology for Multi-face Convergence Performance

This paper is a thesis on media art technology for high-tech performances and exhibitions. After creating an interactive stroke in VR, it is projected in real time through a media facade technique. Among our traditional dramas emphasizing linear movements, movements were extracted from the Bongsan mask dance, and the movements of the lines were used in a media art performance called 'Multi-face Convergence'. When motion data enters the virtual space, geometry consisting of faces is created in the VR space. The created strokes can be set with various brush types, and when performing, a stroke with a red fire effect that matches a dynamic movement was used. It was made to be able to harmonize with the dancers performing the Bongsan mask dance. The medium called VR has characteristics that are not suitable for melting into a performance, but in this performance, it has overcome its limitations by using a technique called media façade. We propose the world's first performance technique that combines interactive strokes with traditional dance performances.

Multi-face Convergence 공연을 위한 제작 기술

본 논문은 첨단 공연 및 전시를 위한 미디어아트 기술에 대한 논문으로 틸트 브러쉬를 사용하여 가상현실 속에서 인터랙티브 스트로크를 생성하도록 한 후 이를 미디어 파사드 기법을 통하여 공연에 실시간으로 투사하였다. 우리의 전통 극 중 봉산탈춤에서 선적인 움직임을 추출하였으며, 틸트 브러쉬로 구현된 선의 움직임을 'Multi-face Convergence'라고 이름을 붙인 미디어아트 공연에 사용하였다. 모션 데이터가 가상공간에 들어오면 면으로 이루어진 지오메트리가 가상현실 공간에 생성되게 된다. 생성된 스트로크는 다양한 브러쉬 타입을 설정할 수 있으며, 공연 시에는 역동적인 움직임에 어울리는 붉은 불의 이펙트가 가미된 스트로크를 사용하였다. 가상현실에서 구현된 인터랙티브 스트로크는 1인 관객을 위한 가상현실 디바이스인 HMD(Head-mounted Display)를 넘어 다수의 관객들이 감상할 수 있도록 하기 위하여 미디어 파사드 기술을 사용하여 공연 공간에 투사하였으며 봉산탈춤을 추는 무용수와 동시에 어우러질 수 있도록 하였다. 가상현실이라는 매체는 폐쇄성이 높은 매체로 공연에 녹아들어 표현하기에는 적절치 않은 특성을 가지고 있지만, 본 공연에서는 미디어 파사드라는 기법으로 그 한계를 넘어섰다. 본 연구는 세계 최초로 인터랙티브 스트로크를 전통춤 퍼포먼스에 결합하여 퍼포머가 표현하는 선의 현상을 미디어 파사드 기술로 공연장에 투사하는 공연 기술 방식을 제안한다.