Research of real-time image which is responding to the strings sound in art performance

무대 공연에서 현악기 소리에 반응하는 실시간 영상에 관한 연구

Recent performing-art has a trend to be new cultural contents style which mixes various genre not just traditional way. Especially in stage performance, unique performance is playing using high technology and image. In sound performance, one of technology, a new experiment is trying which re-analyze the sound and mixes the result with image. But in public performance we have a technical difficulty with making visualization regarding the sound in realtime. Because we can not make visualization with instant sound from performers and audience it is difficult to interact smoothly between performer and audience. To resolve this kind of restriction, this paper suggests Real-time sound visualization. And we use string music instrument for sound source. Using the MaxMSP/Jitter based the Midi, we build image control system then we test and control the image with Korg Nano Kontrol. With above experiment we can verify verious emotion, feeling and rhythm of performer according to performance environment and also we can verify the real time interactive image which can be changed momently by performer's action.

최근 문화공연은 전통적인 공연예술의 틀을 벗어나 여러 장르를 도입하여 새로운 문화콘텐츠를 만들고 있으며, 특히 무대를 갖는 공연에는 영상예술과 첨단기술을 이용한 이색적인 공연이 나타나고 있다. 그 중에서도 무대 공연은 소리를 이용한 퍼포먼스가 행해지는 공연 같은 경우, 소리를 재해석하여 영상과 결합시킨 실험적인 공연이 나타나고 있다. 하지만 아직 대중 공연예술에서는 실시간 소리에 따라 영상을 시각화하는 과정이 자동화 되지 않고 있다. 이 경우 연주자와 관객이 즉흥적으로 내는 소리를 실시간으로 보여줄 수 없기 때문에 영상과 관객, 그리고 공연자의 상호교류가 이루어질 수 없다. 본 논문에서는 공연영상을 위한 실시간 사운드 시각화(Real-time sound visualization)를 실험함으로써 즉흥적인 공연 환경과 소통하는 영상 시각화를 제안한다. 영상 시각화는 공연예술에서 사용되는 악기 중 현악기를 중심으로 한다. 미디 환경을 기반으로 하는 맥스엠에스피/지터(MaxMSP/Jitter)를 이용하여 사운드 신호에 따른 영상 제어 시스템을 구축하고 코르그 나노 컨트롤(Korg Nano Kontrol) 기기를 활용하여 영상을 실험 및 제어한다. 이를 통해 공연 환경에 따라 미묘하게 달라지는 공연자의 감정과 박자감 그리고, 공연자의 행태에 따라 즉흥적으로 변화하는 실시간 인터랙티브 영상을 확인할 수 있다.