A Study on Audio-Visual Interactive Art interacting with Sound -Focused on 21C Boogie Woogie

Art is the product from the combination of politics, economy, and social and cultural aspects. Recent development of digital media has affected on the expansion of visual expression in art. Digital media allow artists to use sound and physical interaction as well as image as an plastic element for making a work of art. Also, digital media help artists create an interactive, synaesthetic and visual perceptive environment by combining viewers' physical interaction with the reconstruction of image, sound, light, and among other plastic elements. This research was focused on the analysis of the relationship between images in art work and the viewer and data visualization using sound from the perspective of visual perception. This research also aimed to develop an interactive art by visualizing physical data with sound generating from outer stimulus or the viewer. Physical data generating from outer sound can be analyzed in various aspects. For example, Sound data can be analyzed and sampled within pitch, volume, frequency, and etc. This researcher implemented a new form of media art through the visual experiment of LED light triggered by sound frequency generating from viewers' voice or outer physical stimulus. Also, this researcher explored the possibility of various visual image expression generating from the viewer's reaction to illusionary characteristics of light(LED), which can be transformed within external physical data in real time. As the result, this researcher used a motif from Piet Mondrian's Broadway Boogie Woogie in order to implement a visual perceptive interactive work reacting with sound. Mondrian tried to approach at the essence of visual object by eliminating unnecessary representation elements and simplifying them in painting and making them into abstraction consisting of color, vertical and horizontal lines. This researcher utilized Modrian's simplified visual composition as a representation metaphor in oder to transform external sound stimulus into the element of light(LED), and implemented an environment inducing viewers' participation, which is a dynamic composition maximizing a synaesthetic expression, differing from Modrian's static composition.

사운드에 반응하는 시청각적인 인터랙티브 아트에 관한 연구

미술은 한 사회의 정치, 경제, 사회, 문화가 만들어낸 시대적 산물이다. 최근의 디지털 매체의 발전은 예술에서 표현을 확장하는데 기여하였다. 디지털 매체는 이미지뿐만 아니라 소리나 물리적 지각 반응을 예술 창작의 한 요소로써 활용하는 것을 가능하게 한다. 또한 디지털 매체는 이미지, 소리, 빛, 그리고 다양한 조형 요소들 간의 재 융합이나 관객의 물리적 반응의 결합을 통해서 작품과 관객과 상호소통적인 공감각적이고 시지각적인 환경을 창출하도록 돕는다. 본 연구에서는 최근에 소리에 반응하는 다양한 미디어아트 작품들이 제작되고 있는데, 주로 관객이나 외부의 자극으로부터 발생되는 소리의 물리적 데이터를 시각화하는 작업에 초점을 두고 시지각적 관점에서 소리의 반응에 따른 데이터의 시각화와 작품의 이미지와 관객의 반응 관계 등을 분석하였다. 외부의 소리로부터 생성되는 물리적 데이터는 여러 가지 관점에서 분석될 수 있다. 예를 들면, 음성이나 외부 소리의 고저(pitch), 음량, 또는 주파수 분석을 통해서 데이터 분류가 가능하다. 본 연구자는 관객의 음성이나 외부의 물리적 자극을 통해서 발생되는 소리의 주파수를 분석하여 이에 상응하여 발광하는 LED기반 시각화 연구를 통해서 최근 새로운 미디어아트의 가능성을 모색하고, 실시간으로 생성될 수 있는 물리적 데이터들을 빛(LED)의 환영적 특성으로 변환함으로써 우연하게 관객에 반응하여 생성되는 다양한 시각이미지의 연출 가능성을 탐구하였다. 결과적으로 연구자는 사운드에 반응하는 시지각적인 인터랙티브 작품을 구현해보기 위하여 피에트 몬드리안(Piet Mondrian, 1872~1944)의 브로드웨이 부기우기(Broadway Boogie Woogie, 1942~3)작품을 모티브로 삼았다. 몬드리앙은 회화의 본질적인 표현 요소들을 단순화하는 작업으로 불필요하다고 생각된 요소들을 하나씩 제거하여 색, 수직선, 수평선으로 대상을 추상화시킴으로써 그 대상의 본질에 다가가고자 하였다. 연구자는 몬드리앙의 이러한 단순화된 구성을 외부의 소리 자극을 단순화하여 빛(LED)의 요소로 재현하는 시각적 표현의 메타포로 사용하였고, 몬드리앙의 정적 구성에서 빛과 소리의 공감각적인 표현을 극대화하는 동적 구성으로의 관객의 참여를 유도하는 환경을 구현해 보았다.