A Study on the Audiovisual Art of Nam June Paik with Focus on Musical Synesthesia

백남준의 오디오비주얼아트 연구 : 음악적 공감각을 중심으로

Abstract

Analyzing various works of Nam June Paik who pioneered the world of video art, we can find a number of audiovisual art pieces - in a broad sense - with the characteristics of "intermedia" that are not clearly identified as one genre. Especially, his career as a musician becomes an important clue for us to discuss the unique originality found in Paik's works. Nevertheless, examples of research that specifically explore how Paik's musicality is reflected in his artistry and could be deeply understood is still rare. This article examines Paik's audiovisual art world, and reviews how his musicality is expressed through the characteristics of media and form, as well as contributed to the ultimate technical and aesthetic realizations of his pieces from the perspective of musical synesthesia. The fact that Paik expanded the concept of music through technology, and fused different media to visualize music, is an important achievement in the context of aesthetic, synesthetic music in the field of audiovisual art.

1. 서론

백남준(Nam Jun Paik, 1932-2006)의 작품을 분석해보면, 음악이나 미술, 영상 등으로 명확하게 분류되지 않는, 광의(廣義)의 오디오비주얼아트(audiovisual art) 작품들을 다수 발견할 수 있다[1]. 백남준의 예술세계를 이해하기 위해 그의 작품영역 안에 많은 비중을 차지하고 있는 ‘오디오비주얼아트’의 의미와 특성을 탐구하는 것이 필요하며, 이를 위해 그의 음악성이 오디오비주얼아트의 형식을 통하여 표출된 일련의 과정을 이해하는 과정이 요구되고 있다. 그러나, 그의 비음악적 형식의 작품에 등장하는 음악적 표제나 백남준이 언급한 ‘작곡‘ 또는 ‘악보’의 의미를 탐구하며, 그 예술성의 근원이 된 음악의 의미와 역할에 대한 연구를 심화할 필요성이 있음에도, 이와 관련된 연구는 부족한 실정이다. 그가 생각하는 음악의 개념이 그의 오디오비주얼아트 전 영역에 독창적인 아이디어를 제공하고 있으며, 현대예술에서 다루어지고 있는 복합감각(multimodality)이나 공감각(synesthesia)의 영역을 관통하고 있음을 생각할 때, 백남준의 오디오비주얼아트와 음악성의 관계는 반드시 고찰되어야할 부분이다.

백남준의 오디오비주얼아트 영역은, 사용된 매체와 형식, 기술, 미학적 측면에서 복합적ㆍ융합적 성격을 특성으로 하기에, 명확한 이해를 위한 방법으로, 본 논문에서는 음악적 공감각의 개념을 도입하여 설명한다. 이를 통해 ①매체와 형식적 측면의 분석과 ②기술적ㆍ미학적 측면의 분석을 진행하며, 액션뮤직에서 음악전시로, 설치작품이자 악기에 해당하는 TV시리즈와 피아노에서, 다시 신디사이저로 진행하는 백남준의 예술활동의 여정을 따라 분석ㆍ연구하고자 한다. 본 연구논문은 백남준의 오디오비주얼아트에 관한 기초연구로, 음악의 예술적 의미 정립과 범주적 확장의 과정을 통하여 백남준 예술세계를 이해하고, 그의 예술적 통찰과 독자적 창의성에 한발 더 다가가기 위한 것이다.

2. 음악의 본질과 공감각으로의 확장

비디오아트의 대가 백남준에 관한 연구는, 국내에서 백남준아트센터의 설립(2008년 10월)과 더불어 소속 연구소의 연구활동으로 활기를 띠기 시작하였으며, 여타의 비디오아티스트와 구별되는 음악가로서의 경력에 주목한 상당량의 기록들이 발굴되었다. 그의 음악가로서의 경력이, 그의 작품활동에 영향을 준 것은 사실이나, 그의 음악성이 작품에 어떻게 반영되었고, 작품에 대한 이해를 어떻게 도울 수 있을지 구체적으로 밝힌 연구는 아직 부족한 실정이다. 그동안 백남준의 업적이 주로 시각예술분야의 배경을 가진 학자들에 의하여 연구되어왔기에, 기본적으로 유사한 시각에 기초하여 분석된 것 또한 그 이유일 것이다. ‘모든 예술은 음악의 상태를 갈망해야 한다.”는 모더니스트의 열망을 다른 방향으로 굴절시킨 것이 뒤샹(Henri-Robert-Marcel Duchamp, 1887-1968)의 미학이며, 바로 이 같은 흐름이 포스트-다다 예술(post-Dada art)을 거쳐 마침내 백남준의 작품 속에 반영되었다.’는 미술사학자, 쇼-밀러(Simon Shaw-Miller, 1960-)의 의미있는 견해[2]는, 백남준의 미학을 이해하기 위해, 먼저 그의 음악성을 이해하는 과정이 선행되어야 하며, 백남준의 예술세계에서 음악은 무엇이고, 그의 음악성이 오디오비주얼아트 영역의 예술적 창의성에 어떠한 영향을 주었는가를 고찰하는 과정이 필요함을 시사한다.

2.1 백남준과 음악, 크로스모달리티

음악은 일반적으로 인성(人聲)이나 악기음향 등의 재료를 취하는 소리 예술로 인식되기에, 인간의 오감 중, 오직 청각과 관련된 예술영역으로 간주되어 왔는데, 백남준은 이러한 음악에 대한 고정관념과 관습화된 형식에 갈증을 느꼈다. 실제로, 음악작품의 구현은, 다양한 감각과 실천의 단계를 아우르는 복잡한 과정이다. 음악의 영역에서, ‘작곡’은, 시간의 흐름에 대응하는 이벤트의 조합에 관한 구체적인 구상이다. 작곡의 과정을 통해 생성되는 ‘악보’(score)는 연주정보를 기록한 일종의 완결된 시나리오로, 시각화된 음악작품으로 간주된다. 악보에 수록된 시각정보를 해독하여 신체를 움직임으로써 연주정보(음악적 지시사항)를 실행에 옮기는 ‘연주’의 과정(액션뮤직(action music), 해프닝(happening))과 이를 통해 행해지는 음악감상의 과정은 유기적으로 연결되어있다. 또한 연주의 과정에서 정밀한 제어를 위해 동원되는 햅틱(haptic)은, 촉감을 이용해 도구를 제어하는 기술과 관계되는 것으로, ①무게나 형상 등을 근육이 감지하는 경로와 ②표면의 질감, 온도 등을 피부가 감지하는 경로를 통해 인지된다[3]. 오늘날 스마트폰이나 게임의 인터페이스와도 관계되며, 특별히 음악의 영역에서는 악기를 대체하는 뮤직인터페이스(music interface)나 뮤직콘트롤러(music controller) 등과 직접적 관련이 있다. 백남준이 생각하는 음악은, 시각, 청각, 촉각 등, 신체의 다양한 감각이 동원되고 실험되는 음악, 그 자체였다. 이처럼 청각적 상상력이 음악적 계획으로서 시각화 되고, 신체의 움직임을 통해 청각화 되며, 그 과정에서 실시간으로 이루어지는 청각정보의 피드백에 따라 미세한 촉각이 동원되며, 감상자에게는 특별한 심상(이미지)으로서 인지되는 음악의 영역에서, 감각기관 간의 지속적인 소통이 이루어지는 과정은 당연하고 자연스럽다. ‘교차감각’, ‘감각전이’ 등으로 번역되는, 크로스 모달리티(cross-modality)는 서로 다른 두 감각 간의 소통 및 상호작용을 일컫는 것으로, 음악의 영역에서 크로스모달리티의 작용은 꾸준히 행해져 왔다. 오늘날 청각과 시각의 상호작용성이 더욱 주목받고, 커뮤니케이션 효과와 사용자의 몰입도를 증강시키는 요인[4]으로서 실용적 목적으로 조명되며 특별히 부각되고 있지만, 예술의 영역에서는 일찍이 크로스모달리티의 성향을 보인 예술가들에 의하여 다양한 영역과 장르에서 확인되었으며, 특별히 창작의 단계에서 소재나 주제를 착안하는 과정에 도움을 얻는 것으로 알려져 왔다.

미술영역에서, 스스로 악기연주나 음악감상을 즐겨하였던 까닭에 음악으로부터 회화적 영감을 취하고, 음악작품의 제목 또는 음악용어를 회화작품의 제목에 붙였다고 알려진 화가들은 다수 존재한다. 익히 알려진, 마네(Edouard Manet, 1832-1883), 세잔(Paul Cézanne, 1839-1906), 고갱(Paul Gauguin, 1848-1903), 고흐(Vincent van Gogh, 1853-1890), 칸딘스키(Wassily Kandinsky, 1866-1944), 마티스(Henri Matisse, 1869-1954) 등이다. 음악영역에서는, 명승지 ‘핑갈의동굴’이 위치한 ‘헤브리덴’(Hebriden) 군도에서의 영감을 음악으로 옮겨, <핑갈의동굴 서곡(헤브리덴)>(Overture (Fingal's Cave),1830)을 작곡한 멘델스존(Jakob Ludwig Felix Mendelssohn-Bartholdy, 1809-1847)[5]처럼, 자연의 아름다운 경치나 특별한 색채감에서 비롯된 시각적 자극, 인상 등을 음악으로 옮기고 표제를 붙인, 바그너(Richard Wagner, 1813-1883), 드뷔시(Claude Achille Debussy, 1862-1918), 슈트라우스(Richard Strauss, 1864-1949)와 같은 작곡가들이 존대한다. 나아가 작곡가 스크리아빈(Alexander Scriabin, 1872-1915)과 같이 색광피아노(Color Keyboard)를 도입하여 소리와 색(빛)의 결합은 물론, 무용(동작), 언어를 넘어서 후각, 미각, 촉각의 요소까지 활용할 계획[6]을 세운 경우도 있다. 신비주의(mysticism)에 입각한 독특한 화성체계(mystic chord)를 구축하고, 청각의 영역으로 간주되었던 음악을 시각적 요소와 연계한 스크리아빈의 계획은, 비록 후각과 미각, 촉각의 영역으로까지 실행에 옮겨지지는 못하였으나, 음악의 영역을 오감의 영역으로 확장하고자 시도하였다는 점에서 상당한 의미를 갖는다. 예술가의 아이디어를 실행에 옮기기 위한 방법론적 고려로서의 기술적 문제를 생각해볼 때, 기술적 해결이 이루어진 청각(소리)와 시각(색)의 결합은 실행에 옮겨졌으나, 후각, 미각, 촉각으로의 확장을 가능케 할 기술에는 도달하지 못한 것으로 해석될 수 있다.

백남준은, 음악으로부터 회화적 영감을 얻어 미술가로 활동한 전자나, 시각적 자극이나 인상을 음악으로 옮겨 음악가로 활동한 후자에 속하기 보다는, 음악가로 출발하여 크로스모달리티의 과정을 실험하고, 스크리아빈과 같이 음악의 영역을 다양한 감각통합의 영역으로 확장하여 나아가고자 했던 부류에 속한다. 백남준은 미학적 영역에서뿐만 아니라, 기술적 측면에서도 전자TV나 비디오 신디사이저 등을 통해 크로스모달리티의 영역을 실험(청각정보를 시각정보로 동기화)하고, 기술을 통해 스크리아빈과 같은 감각통합의 비전을 실행에 옮겼을 뿐만 아니라, 궁극에는 시각예술의 영역에서 청각예술의 비전을 실천함으로써 음악적 공감각을 발현한 독창적인 존재가 되었다.

2.2 백남준의 음악성과 공감각

전통음악의 관습에 항거하였던 백남준은, 기존 음악의 틀을 벗어나고자 끊임없이 노력하였다. 민속적ㆍ무조적 성향을 띤 초기 전통방식의 순수 음악작품으로부터, 파격적 양식과 주법이 곁들여진 실험음악, 음악적ㆍ비음악적 요소가 공존하는 콜라주(collage )형식의 테이프 음악, 해프닝을 포함한 음악적 표제의 액션뮤직, 모든 감각을 위한 <총체 피아노>(Klavier Intégral, manipulated piano with various items, 1958-1963)에 이르기까지, 그의 파격적인 행로는 음악에 대한 파괴나 거부가 아닌, 음악 그 자체에 대한 끊임없는 연구와 실험으로 해석된다. 그는 기존의 음악체계를 자신의 예술활동에 활용하는 것을 초월하여, 다양한 감각을 통해 표출되는 음악, 크로스모달리티의 실천을 통한 음악적 공감각을 통해, 음악이 나아가야할 새로운 길을 열었다.

공감각은, 하나의 감각양상(sensory modality)에 주어진 자극이, 자동적으로 다른 감각양상의 지각적 경험을 촉발하는 현상[7]으로, 대표적인 예로, 음 자극(청각)으로 인해 색채 감각(시각)이 야기되는 색청(色聽, coloured hearing)을 들 수 있다. 하나의 감각자극이 또 다른 감각을 활성화시킨다는 점에서, 다중감각지각(multisensory perception)이나 복합감각과도 구분된다[8]. 그럼에도 최근 장르나 매체 융합의 성격을 띤 작품에 관하여 이루어진 분석, 비평, 연구의 사례들에서, 복합감각과 공감각의 개념이 혼용ㆍ혼재된 경우를 볼 수 있다. 문학과 예술의 영역에 국한되는 특정 경향이나 미학적 기법으로서의 공감각에 관한 다양한 시각과 견해 차이가 있을 수 있겠으나, 이 같은 혼용ㆍ혼재의 사례들은 융복합 영역의 예술 분류체계를 자칫 모호하게 만들 수 있다. 이러한 모호성은, 공감각의 생물학적 기원 및 공감각 구현에 관계된 기술적 측면의 분석적 시각을 통해, 보다 명확하게 정리될 수 있다. 복합감각과 달리, 공감각은 일종의 감각전이(sense transference) 현상에 속하기 때문이다. 원인이 되는 물리적 자극과 감각지각 간의 일대일 대응을 초월한 2차적 감각이 야기되므로, 감각의 통합에 해당하는 복합감각과 달리, 공감각은 감각 "교차"(crossing)로 이어진다는 점에 주목할 필요가 있다[1]. 2차적 감각에 대응하는 외부자극이 없음을 인지하고 있다는 점에서는, 환각이나 환청과도 구분된다. 생물학적으로는, 신경세포들의 가지치기 과정이 온전히 진행되지 않아, 서로 다른 감각을 담당하는 영역들이 연결된 채 남아있는 경우나, 신호전달과정에서 신경세포들이 이웃한 경로로 잘못 전달된 경우[9]로, 일종의 돌연변이에 해당하나, 공감각을 가지고 있었을 것으로 추측되는 위대한 예술가들의 사례로 볼 때, 예술적으로 발현된 공감각에 관한 인식은 상당히 긍정적이다. 백남준은 공감각자는 아니었지만, 오랜 시간 음악가로서 음악(어쿠스틱음악과 전자음악)의 본질과 그 가능성을 탐구한 결과, 이 음악적 연구의 소산을 시각예술의 영역에서 실험함으로써 다양한 측면에서 ‘음악적 공감각’ 실현의 아이디어를 얻은 것으로 보인다. 이 같은 예술적 공감각의 접목은, 여타의 비디오아티스트와 확연히 구분되는, 그의 예술적 독자성을 확보하는데 결정적인 역할을 하였다.

3. 백남준의 오디오비주얼아트와 음악적 공감각

3.1 오디오비주얼아트의 역사와 의미

오디오비주얼아트는 현재까지도 다양한 실험이 진행되고 있는 분야인 까닭에, 사전적 정의나 명확한 범위가 수록된 문헌을 찾아보기 어렵다. 추상미술(abstract art) 또는 키네틱아트(kinetic art)의 성격을 가진 미술과 음악의 관계에 관한 실험이 이루어지는 예술의 분아로 이해되며, 비주얼뮤직(visual music), 추상영화(abstract film), 사운드인스톨레이션(sound installation), 사운드비주얼라이제이션(sound visualization), 이미지소니피케이션(image sonification) 등의 광범위한 영역을 아우르는 분야로 인식되고 있다. 이탈리아 미래주의 미술가 데페로(Fortunato Depero, 1892-1960)와 루솔로(Luigi Russolo, 1885-1947)에 의해 1915년에 제작된, 사운드와 움직임, 색의 다중감각 경험을 위한 예술적인 기계(art machine)가 존재하며, 1970년대 초반 베르토이아(Harry Bertoia, 1915-1978)가 복합감각과 관계된 Fig. 1[10]의 7점의 음향조각(sound sculptures)을 제작한 것이 시초가 되었다[11].

Fig. 1. Bertoia's sound sculptures with sketches.

베르토이아의 작품과 같이 조각의 형태와 설치의 형식을 띤 것으로부터, 오늘날 흔히 볼 수 있는 모니터(또는 프로젝터)와 스피커를 활용한 작품까지, 그 형식은 매우 다양하며, 오감 중 큰 비중을 차지하고 있는 시각과 청각에 관계된 까닭에, 예술적 감성을 극대화하는 힘이 있다. 백남준의 시대를 거쳐, 꾸준히 진화하고 있는 현대 오디오비주얼아트 영역은, 시각요소와 청각요소가 병치(竝置)관계에 있는 복합감각 작품을 포함하여, 비물질에 해당하는 음악(사운드)을 단순히 물질화(가시화)하거나, 이미지 정보를 사운드로 변환하기 위한 수준을 넘어서는 것으로, “청각 영역과 시각 영역의 상호관계에 의한 예술적 결과(퍼포먼스의 형태) 또는 예술적 결과물(전시작품의 형태)의 영역”에 속하는 포괄적 개념으로서, 깊이 있는 예술적 가치와 의미를 지닌다.

3.2 매체와 형식을 통한 음악성 표출

전통적 음악 궤도로부터의 이탈은, 백남준에게 음악의 개념적ㆍ표현적 확장이 시작되었음을 의미하였다. 1959년 첫 선을 보인 액션뮤직(행위음악, action music)인, Fig. 2[12]의 <존케이지에게 바치는 경의: 테이프리코더와 피아노를 위한 음악>(Homage a John Cage: Music for Tape Recorder and Piano)은 연극적 성격을 가진 음악적 해프닝으로, 음악적 소재와 비음악적 소재가 경계 없이 공존하는 혁신적인 라이브 퍼포먼스 형식의 전위음악 작품이다. 악기 대신 몸으로 연주하는(행위) 음악의 형식으로, 음악적 형상화의 발현으로서, 청취보다는 관람을 필요로 하는 ‘보는 음악’으로의 실험에 해당된다.

Fig. 2. Homage a John Cage: Music for Tape Recorder and Piano.

액션뮤직에 이어, ‘음악전시’ 개념을 도입한 백남준은, 1963년 독일 부퍼탈(Wuppertal)에서 <음악의 전시-전자 텔레비전>(Exposition of Music–Electronic Television)이라는 전시명으로 첫 개인전을 열었다. 본 전시회의 초안이 담긴 일종의 스케치이자 악보인, Fig. 3[13](1972년 재구성)의 <20개의 방을 위한 심포니>(Symphony for 20 Rooms, 1961)는 20개의 방에서 발생할 음악적·비음악적 해프닝에 대한 지침을 명기한 것이다[14]. 이 작품은 슈톡하우젠(Karlheinz Stockhausen, 1928-2007)과 케이지(John Cage, 1912-1992)의 실험작곡으로부터 영향을 받아 감각적 오케스트라를 구성한다는 ‘융합적 작곡법’의 작품사례로도 알려져 있다[2].

Fig. 3. Symphony for 20 Rooms.

공간적으로 독립된 각각의 방과, 동시에 하나의 전시장 내에 집적화된 네트워크의 관계는, 오케스트라 편성을 위한 ①파트보와 ②총보에 해당하여 ‘심포니’라는 제목에 부합하며, 각 방에 설치된 작품들은 오케스트라의 악기로 볼 수 있어, 이 작품은 ‘악기의 공간적 배치까지도 포함하는 오케스트라 총보’로 해석 가능하다. 백남준이 전시공간 기획과 연출을 시도한 첫 기록으로서 그 자체로도 하나의 작품이며, 개인전 <음악의 전시>를 통해 실행에 옮겨질, 액션뮤직의 오케스트라버전이었다.

이 같은 아이디어는 2년 뒤, 관객의 행위가 소리 생산과 연결되고, 복합적 환경에서 울려 퍼지는, 즉, 백남준의 음악과 그의 건축적 형식이 소리 공간화를 통해 하나의 작품이 되는[2] 실질적 구현을 통해, Fig. 4[15]의 <음악의 전시-전자 텔레비전>으로 현실화 되었다. 3층 건물로 구성된 파르나스 갤러리(Parnass Gallery)의 다양한 공간에, 소리를 내는 오브제로서 전시된, 수도꼭지(물소리), 벽시계(똑딱거림), 테이프리코더(재생음향), 그리고 Fig. 5[16]의 <총체 피아노>(연주음향) 등은 복합감각을 사용한 작품들로, 시각적 요소와 함께 다채널로 의도된 하나의 음악작품이기도 하다.

Fig. 4. Exposition of Music–Electronic Television.​​​​​​​

Fig. 5. Klavier Intégral.​​​​​​​

Fig. 6[13]의 <쿠바 TV>(Kuba TV)나 <한 점 TV>(One point TV) 등과 같이, 사운드가 이미지의 움직임을 촉진시키는 원천으로 작용하여 시각화 된 소리를 감상하도록 고안된 TV작품들은, 기술을 사용해 공감각을 구현한 작품들이다. 여기서 사운드는 생성적 기능을 담당하며[2], 이를 수행하는 것은 시각요소이다. 그의 첫 개인전은, 복합감각과 공감각을 통해 다양한 매체와 형식을 아우른 음악의 형상화, ‘음악의 전시’에 해당한다.

Fig. 6. Paik with < Kuba TV >.

백남준은 플럭서스(fluxus)¹⁾ 관련 신문에, ‘실험 TV 전시회의 후주곡’이란 제목의 전시후기를 게재하고, 이 글을 통해, “내 텔레비전 작업은 나라는 인격체의 표현이 아니라 물리적 음악(physical music)일 뿐이다.”라고 선언했다. ‘시각으로 전이된 음악(소리)’이라는 공감각적 개념은 ‘물리적 음악’이라는 표현과 더불어, 훗날 그의 작업이 어떠한 방향으로 전개될 것인가를 암시한 내용으로서 주목할 만 하다. 이후 1969년, 백남준은 5명의 예술가들과 함께, 비디오를 예술적 매체로 인식하는 시발점이 된, 미국 최초의 비디오아트 텔레비전 프로그램 <매체는 매체다>(The Medium is the Medium)의 작업에 참여하여, 옴니버스 비디오 형식으로 구성된 프로그램의 마지막 작품으로 <전자 오페라 No. 1>(Electronic Opera No. 1)을 제작하여 선보이게 된다. 이 과정을 통해 비디오 신디사이저의 필요성을 절감[17]한 그는, 기술적 연구를 심화하게 되고, 이를 통해 오디오비주얼아트의 영역에서 음악적 형상화와 관계된 아이디어를 더욱 구체화하게 된다. 기술을 통해 음악적 공감각 표현의 자유를 얻은 그는, 이른 바 모든 수단으로 표현되는 음악, 음악 그 자체를 넘어선 음악의 세계로 나아가게 된다.

3.3 음악적 공감각의 기술적ㆍ미학적 고찰

작품 <총체 피아노>의 건반이 수행한 다양한 작업들은, 모든 감각을 위한 음악으로의 탐구가 이미 진행 중에 있음을 의미한다. 해당 피아노가 그 원형으로부터 상당부분 훼손되고 개조되었음에도 불구하고 여전히 ‘악기’로서 전시되고 연주 가능했다는 점에서, 오감 중 시각과 청각 외에도 촉각으로 이어지는 ‘햅틱’으로의 연결고리를 가지고 있었던 것으로 해석된다. 나아가 그는 후각이나 미각으로까지 확대되는 모든 감각의 음악을 구상했으나, 후각과 미각으로의 연계는 더욱 높은 레벨의 기획과 기술을 필요로 했기에 이를 실현하는 것은 쉽지 않았을 것으로 보인다. 평론가 쾨프닉(Lutz Koepnick, 1963-)은, 백남준의 첫 개인전 <음악의 전시>가 듣기의 매체에 중점을 둔 것이며, 더 이상 들리지 않아 몸을 피아노에 갖다 대고 온몸으로 듣고 있는 후기시절의 베토벤(Ludwig van Beethoven, 1770-1827)을 연상케 한다 하였다. 쾨프닉은 신체가 곧 매체가 되는 것, 신체의 감각들을 듣기의 매체로 탐구했다는 점에서, 이 전시가 매우 중요한 의미를 갖는다 하였다[2]. 백남준 또한 “소리로 해석되지 않는 그래픽 음악은 새로운 예술 형태로서 무한한 가능성을 제시한다.”고 이야기한 바 있는데,[18] 음악적 공감각의 구현을 기술적으로 실험하고 성과를 거둔 그가, 더 이상 소리를 필요조건으로 하지 않는 음악, 음악의 한계를 뛰어넘은 궁극의 음악으로서, 음악적 공감각의 미학적 경지를 탐구하게 된 것으로 이해된다.

백남준은 전자음악(electronic music)에 대한 관심으로, 1958년부터 슈톡하우젠(Karlheinz Stockhausen, 1928-2007)과 함께 쾰른(Köln) 소재 서독라디오방송국(WDR: Westdeutscher Rundfunk)의 전자음악 스튜디오에서 작업하여 전자음악에 관한 상당한 지식과 기술을 습득하였고, 괴츠(Karl Otto Götz, 1914-2017)로부터 자극 받아, 스스로 TV실험에 착수한 뒤 상당한 기술을 축적하였기에, 첫 개인전 <음악의 전시-전자 텔레비전>에 다양한 TV작품들을 전시할 수 있었다. 특별히 백남준의 TV 작품에서 이루어진 사운드와 이미지에 관한 작업은, ‘감각의 전이’ 현상을 미디어를 통해 구현할 기술적 해결책을 가지고 있었기에 가능한 일이었다. ‘보는 음악(소리)’에 관련된 기술은, 라디오의 음량에 비례하여 스크린에 나타나는 점의 크기가 커지도록 의도한 <한 점 TV>, 녹음기 테이프에 저장된(녹음된) 음악을 틀면, 변조된 배선으로 연결된 TV 스크린 위에 음악에 따른 다양한 반응이 그려지도록 의도한 Fig. 6의 <쿠바 TV> 등에 사용되었다. 이들 작품에서 사운드는 작품의 원천적 소재를 제공하므로[2], 오늘날 음악의 느낌을 실시간 영상으로 표현하는 비주얼뮤직이나, 브이제잉(VJing)의 초기 버전에 해당한다. 백남준은 여기에 그치지 않고, 동영상을 실시간으로 편집할 수 있는 비디오 신디사이저를 구상하며, 기술적인 부분의 협업을 위한 협업자를 물색한다. 이후 백남준과 일본 공학자 아베(Shuya Abe, 1932-)가 함께 제작하여 공개한, Fig. 7[19]의 <백-아베 비디오 신디사이저> (Paik-Abe Video Synthesizer, 1969/1972)는 그 자체로서 하나의 설치작품이자, 오디오비주얼아트를 위한 획기적인 도구였다.

Fig. 7. Paik-Abe Video Synthesizer.​​​​​​​

이 기기는 뉴욕(New York) 소재, 보니노 갤러리(Bonino Gallery)에서 열린 전시 <전자예술 III> (Electronic Art III, 1971)에 소개된 이후, 백남준의 다양한 비디오 작품제작에 사용되었다. ‘누구든지 피아노의 건반처럼 영상을 연주할 수 있는 기계를 만드는 만들겠다.’는 백남준의 의도가 반영된 이 ‘다용도 컬러 TV 합성기’(versatile color TV synthesizer)를 그는 ‘비디오 피아노’라 불렀다. 이 기기는 영상을 연주하는 하나의 악기로 볼 수 있으며, 그의 작품계보에서 볼 때, <총체 피아노>의 연장선상에 있는 작품으로 분석하여야 마땅할 것이다. ‘모든 감각을 위한 피아노’로 소개된 <총체 피아노>가 오늘날 음악영역에서 미디(MIDI) 신호를 통해 음악(사운드)과 타 미디어의 영역을 동기화하는 작업을 가능케 하는 마스터키보드(master keyboard)나 뮤직콘트롤러(music controller)의 기원이 되는 것이라면, <백-아베 비디오 신디사이저>는 음악적 재료를 선택적으로 취하여 자체적으로 합성하고 편집할 수 있는 기능을 가진 사운드 신디사이저(sound synthesizer)의 개념에 해당한다고 봐야할 것이다.

<백-아베 비디오 신디사이저>는 ①저장된 비디오테이프의 내용과 ②카메라의 실시간 촬영 이미지를 영상재료로 취할 수 있으며, 이는 오늘날 음악영역에서 ①저장된 샘플링 음원과 ②실시간 마이킹 음원을 사용하는 것에 해당한다. 백남준은 전작 TV 시리즈를 통하여, 오디오 신호발생기의 주파수를 이용해 TV 스크린 위에 움직이는 추상적 이미지를 생성하거나, 마이크 입력 또는 라디오 음원을 이미지와 연동하는 등의 실험을 진행하여, <백-아베 비디오 신디사이저>에서도 필요에 따라 사운드가 영상을 제어할 수 있도록 하였다. 서로 다른 감각의 병치 관계로서의 ‘복합감각’이 ‘멀티미디어’에 가까운 개념이라면, ‘공감각’은 교차감각이나 감각의 전이로 연계되는 개념으로 ‘인터미디어’에 가까운 개념일 것이다. 그동안 복합감각은, 베르토이아의 음향조각이나 백남준의 <총체 피아노>처럼 눈으로 지각할 수 있는 형태(시각)와 귀로 지각할 수 있는 소리(청각)의 조합으로 구현 가능하였으며, 공감각을 구현하는 것에 비하면 상대적으로 낮은 레벨의 기술을 필요로 하는 것이었다. 그러나 공감각은 감각기관 대 감각인상의 1:1 대응을 초월하는 2차적 감각인상을 추가로 생산할 수 있는 기술을 필요로 하였으며, 동시에 이 과정은 자동화되어야한다는 문제가 있었기에 쉽지 않았다. 백남준에게 이 과정은, ‘사운드의 시각화’에 해당하는 것으로, 실험적 TV작품들을 연구하기 시작하면서부터 한동안 그의 주된 관심사로 자리하였다. 백남준이 다양한 방법의 ‘사운드 시각화’에 성공한 것은, 백남준의 오디오비주얼아트 영역에서, 음악적 공감각을 기술적으로 실현한 중요한 업적이 된다.

<백-아베 비디오 신디사이저>에 의한 첫 작품은, 1970년 보스턴(Boston) WGBH 방송국의 지원으로 제작ㆍ방영된 4시간 분량의 생방송 프로그램 <비디오 코뮨>(Video Commune)(Fig. 8)[20]이다. 프로그램의 부제는 ‘Beatles from beginning to end-An experiment for television’으로, 그룹 비틀즈(Beatles)의 기존 음악이 영상의 배경으로서 지속된다. 실시간 비디오 피아노로 제작된 본 콘텐츠는, 영상과 음악으로 구성된 콘텐츠였음에 틀림없으나, 백남준의 음악적 아이디어는 이미 영상의 옷을 입고 있었고 백남준은 특별히 음악 작곡 및 제작에 관여하지 않았다. 영상에 등장하는 실사 이미지는 현실성을, 추상적으로 표현된 가상의 이미지는 비현실성을 반영한다.

Fig. 8. Video Commune.​​​​​​​

<백-아베 비디오 신디사이저>는 뉴욕의 WNET 방송국을 통해 방영된 <글로벌 그루브>(Global Groove, 1973)와 <미디어셔틀–뉴욕/모스크바>(Media Shuttle-New York/Moscow, 1977)을 포함하여 그 밖의 백남준의 다양한 오디오비주얼아트 제작에 사용되었다. 개천절(10월3일)을 의미하는 1,003대의 TV 수상기를 쌓아올린 비디오 타워 작품 <다다익선>(多多益善, 1988)이나, 336대의 TV, 50대의 DVD 플레이어, 거대한 다색 네온 튜빙으로 구성된 Fig. 9[21]의 작품 <전자초고속도로>(Electronic Superhighway: Continental U.S., Alaska, Hawaii, 1995) 등의 다채널 비디오설치 작품을 통해서도, 우리는 거대한 오케스트라 편성 내에 공간적 배치된 각각의 비디오 콘텐츠가 빛과 움직임의 비트를 통해, 다양한 속도와 리듬, 다이나믹, 모방과 대조, 협화와 불협화를 연주하는 과정을 감상할 수 있다.

Fig. 9. Electronic Superhighway: Continental U.S., Alaska, Hawaii.​​​​​​​

다음의 쇼-밀러의 견해는, 이후 백남준이 직접매체 사용의 자유를 얻어, 소리 없는 음악으로서의 음악적 형상화에 이르는 과정을 보여준다. “백남준에게 ‘음악성’은 매우 혁신적인 방식으로 음악을 바라보는 것이었기에, ‘음악성’에 근원을 둔 예술의 영역 안에서, 공간과 시간, 그리고 음악과 예술을 모두 결합한 작가가 되었으며, 오늘날 ‘음악성’이 상당히 복잡한 개념이라는 점은 그의 예술활동을 상당부분 뒷받침하고 있다. 음악이 더 많은 것을 의미할 수 있음에도 불구하고 종종 소리로서만 인식하게 되었기에, 심지어 자신의 음악이 소리와 연관되지 않도록 결정을 내렸다는 백남준은, 음악이 어떻게 다양한 현상들의 묶음으로 형성되는지에 더 관심이 있었기에, 음악의 사회적, 철학적, 물리적, 실질적, 그리고 음악형성의 가장 근본이 되는 물질적 측면 등, 각각의 측면들이 백남준을 통과할 수 있도록, 프리즘으로서 역할을 했다고 평가된다.”[2] 백남준에게 있어, 소리는 더 이상 음악의 전제조건이 아니었기에, 시각매체를 통해 ‘음악적 표현의 한계를 넘어선 음악’ 그 자체를 구현할 수 있었으며, 오늘날의 관객은 실제로 기술적ㆍ미학적 견지의 이해를 통해, 형상화된 음악적 공감각을 체험하고 음악의 다차원성을 경험함으로써, 백남준을 여타의 비디오아티스트와 구별되는 특별한 존재로 여기게 된다.

4. 결론

연구에서는 백남준의 오디오비주얼아트 영역에 나타난 예술적 측면의 공감각적 특성에 관하여 고찰하였다. 특별히 그가 학문적으로 깊이 연구하고 적극적으로 활동하였던, 음악가로서의 활동 경력과 기간을 고려함에도, 그의 예술의 근간이 된 음악의 의미와, 이 음악이 오디어비주얼아트의 분야로 표출된 과정과 해석을 구체적으로 다룬 연구가 부족하기에, 그의 예술활동과 작품에 나타난 음악적 공감각의 특성을 ①음악으로부터 가져온 매체적ㆍ형식적 특성과 ②음악적 공감각 구현과 관계된 기술적ㆍ미학적 측면에서 분석ㆍ연구하였다.

4.1 기술에 의한 음악의 확장, 공감각적 투영으로서의 음악의 시각화

백남준에 대해 연구한 많은 학자들의 생각 가운데, 유럽에서 처음으로 백남준의 전시를 기획했던 큐레이터, 헤르조겐라스(Wulf Herzogenrath, 1944-)의 다음 견해는 주목할 만하다. “백남준이 첫 번째 개인전을 통해 보여주고자 했던 것은 시각예술이 아니라 소리를 내는 오브제와 선 수행을 위한 도구들이었고, 백남준은 스스로도, 자신의 작품은 회화나 조각이 아니라 ‘시간’예술이라는 점을 명시해야한다고 밝혔다.”[22] 백남준의 예술은, 그의 강력한 메시지들이, 시간성에 기반 한 음악으로부터 가져온 매체적ㆍ미학적 특성에 실려 시각적으로 전달되고 있다는 점에서, ‘확장된 음악의 공감각적 투영’이며, 이 같은 성격은 일반적인 예술장르를 통해 구분 짓기 어려운 시각화된 음악으로서 ‘인터미디어’의 성격을 강화하고 있다. 또 “백남준이 신체의 모든 감각들을 듣기의 매체로 탐구했다.”는 비평가 쾨프닉(Lutz Koepnick, 1963-)의 견해[2]는, 음악의 확장이 예술영역에서의 복합감각 및 공감각과 관련된 실험적인 주제로 파생될 수 있으며, 예술적 구현의 방법적ㆍ기술적 측면에서 의공학 및 기타 과학기술의 분야와 긴밀히 연관될 수 있음을 의미한다. 다양한 매체와 복합적인 형식을 통해, 확장된 음악의 총체적 감각에 접근하고자 하였던 백남준은, 청각, 시각, 촉각의 감각들을 피드백의 개념을 통해 융합시키고자 노력[23]하고자 기술을 적극적으로 활용한 선구적인 예술가였다.

녹음술의 발달 이후, 현대인은 고정된 매체에 저장된 ‘완료된 연주’, ‘완성된 음악’의 감상, 즉, 반복연주(일종의 노동이라고도 할 수 있는)의 단계를 생략한 음악감상을 즐겨왔다. 여기에 더하여 오늘날의 학자들은, 소리로서의 청취 과정이 없는 음악감상이나 진동을 매개로 한 음악청취 등 다양한 경지의 음악감상에 대한 실험과 연구를 진행한다. 쇼-밀러는 “옛날부터 많은 작곡가들은 연주라는 중간 단계 없이 타인의 영혼에 직접적인 접근을 원했었다.”[2]라 하였는데, 이것은 오늘날 ‘음악의 의미’와 ‘음악듣기’와 관계된 연구주제로 파생될 수 있는 흥미로운 내용이다. 진동으로 변환된 소리 주파수를 조절하여 음의 높낮이를 표현하면, 청각장애인이 촉각을 통해 이를 멜로디로 인지함으로써 리듬과 함께 감상하도록 고안된 ‘뮤직시트’(Music Seat)[24]와 같은 다양한 듣기의 예 등, 공기분자의 진동과 관계된 소리의 속성이, 진동을 감지하는 ‘촉각’과 연결된다면, 청각장애인의 음악청취를 위한, 실용적 목적의 연구로부터 예술적 목적의 실험적 연구로까지 연계될 수 있다. 촉각과 관계된 음악의 확장에 관한 연구는, 앞으로 이와 관련된 적극적인 기술의 개입을 통해, 예술적ㆍ실용적 목적의 활발한 실험이 이루어질 전망이다.

4.2 미학적 견지에서의 음악적 공감각 실현

쾨프닉은, ‘백남준의 시각적 스크린에 대한 실험에서 음악적 요소가 한 몫을 했다면, 그것은 그의 음악적 배경에서 비롯된, 미적 경험의 시간성에 대한 깊은 관심 때문일 것이다.’라고 언급하며, 시각적인 것의 리듬, 비트 및 박자, 움직이는 이미지들의 계속 변화하는 템포 등[2]을 그 증거로 설명하였다. 음악 예술에서의 음(note) 또한 하나의 음보다는 복수의 음을 시차를 두고 연결한 선율(melody) 또는 복수의 음이 동시 발생하는 화성(chord)과 그 화성의 시차를 둔 전개(chord progression)의 개념으로 접근할 때 예술적으로 더 큰 의미를 갖는 것과 같이, 시각예술에서 색채의 경우, 단 한 가지 색보다는 두 가지 이상의 색을 조합하여 배색의 개념으로 접근할 때 다양한 의미의 성립과 감정 유발[25] 등에 용이할 것이다. 나아가 백남준이 사용한 영상의 다채널 운용 및 중첩을 포함한 다양한 효과와 다중모니터의 사용 등은, 백남준 스스로 축적한 내적 예술자원이었던 시간의 예술로서의 ‘음악’으로부터 예술적 영감과 창의성을 이끌어낸 증거의 일부이며, 아이디어 구현을 위해 물리적 매체를 다루는 과정에서 시각적으로 투영된 음악을 실험하고 경험하게 된 과정으로 풀이될 수 있다. 그가 창의적인 시각으로 음악의 본질을 꿰뚫고 이를 다양한 미디어와 기술을 통해 형상화하고자 했던 열망은, 음악적 공감각과 관련된 기술적ㆍ미학적 실험을 통해 실천되고 실현되었다. 백남준의 생애를 통하여 행하여진 다양한 예술활동과 그 작업의 결과물로서의 작품들은, 작품재료의 물성이나 구현에 사용된 직접매체를 기준으로 보는 시각에 따라, 크게 ‘음악 - 음악과 시각 - 시각’의 흐름을 따르는 것으로 보일 수 있다. 그러나 이러한 시각으로 접근하게 될 경우, 백남준의 예술에서 오디오비주얼아트의 영역은 협소해지며, 그의 예술세계를 온전히 이해하는 것으로부터는 멀어지게 된다. 백남준의 오디오비주얼아트는 그 자체가 영상(시각)의 옷을 입은 음악(청각)이었다는 점에서 음악적 공감각의 발현으로 해석되며, 이 과정에 기술이 적극 개입되었다. 그는 소리를 시각화할 수 있는 기술적 수준에 도달한 이후에도, 단순히 소리를 시각화하는 단계의 공감각 구현에 그치지 않았고, 미학적 견지의 음악적 공감각을 추구함으로써 다양한 미디어를 융합한 시각적 결과물로 확대하여 펼쳐보였다. 음악이, 영상과 동등한 레벨에 있지 아니하며, 작품 전체를 지휘하는 상위개념으로서 원천적인 아이디어를 제공하고 있다는 점은, 그의 작업의 창의성 및 독자성과 연계되는 중요한 부분으로 자리한다. 오디오비주얼아트의 영역을 통하여 행해진, 백남준의 예술적 비전과 기술적 도전의 실천은, 미래를 이끌어갈 현대의 예술가들에게 감각의 통합을 위한 공감각의 예술적 구현에 대한 창의적 아이디어를 제시하고 있다.