1. 서론

음악 연주를 위한 도구인 악기의 역사는, 인간의 신체활동을 통해 물리적 진동을 생성한 후 소리를 얻는 방식으로부터, 1950년대부터 전기회로를 통하여 신호를 생성, 변형, 증폭하여 소리를 얻는 ‘음원 합성’(sound synthesis)의 시대로 진화하였다. 그 과정에서, 피아노와 유사한 건반을 활용하여 전통적인 방법으로 연주가 가능한, 일종의 악기로서의 신디사이저¹⁾(synthesizer)가 탄생한다. 음원의 구조가 고정되어 있어 음색 변화를 기대하기 어려운 기존 전자악기에 비해, 신디사이저는 건반으로 오실레이터(oscillator, 발진기)의 주파수를 조절하는 것은 물론, 음색을 변화시키는 다양한 요소를 사용자의 의도에 따라 제어할 수 있다는 점에서 차별성을 가진다. 비디오아트 분야에서 독창적인 업적을 남긴 백남준(Nam June Paik, 1932-2006)의 역작 중 하나인 <백-아베 비디오 신디사이저>(Paik-Abe Video Synthesizer, 1969/1972)는, 이러한 “오디오” 신디사이저의 개념을 비디오아트의 영역에 실현함으로써, 오디오비주얼아트 역사에 전환점을 마련한 선구적인 예술적 성과로 평가된다.

컴퓨터와 더불어 등장한, 디지털 매체 기반의 예술형식으로서의 디지털아트는, 아날로그 기반의 미디어아트 영역과 구분하여 뉴미디어아트로 분류되며, 예술적 결과물의 물리적 상태가 그 원료의 물성에 기인하는 아날로그아트와 달리, 탈물질화된 특성을 갖는다. 이러한 디지털아트의 특성은 서로 다른 감각기관과 서로 다른 물성을 중심으로 발전해 온 예술장르 간의 융합에 매우 유리한 환경을 제공하였기에, 청각과 시각이라는 서로 다른 두 감각기관에 관계하는 오디오비주얼아트의 영역 또한 디지털 시대를 통해 비약적인 발전을 거듭하였다. 오디오비주얼아트와 관계된 여러 가지 실험과 발전이 현재에도 진행 중에 있기에, 그 명확한 사전적 정의를 찾기 어려운 실정이나, 단순히 사운드(소리)와 이미지(영상)의 두 요소 합산 형식에 의한 작품으로부터, 요소 간 다양한 역할관계와 표현양식에 주목한 예술적 성과에 이르기까지, 오디오비주얼아트에 관한 이해의 범위는 광범위하다. 이 같은 성격의 오디오비주얼아트 영역에 존재하는 다양한 형식과 기술을 섭렵한 작품들 중, 예술을 위한 창의적 도구이자, 그 자체로서 오디오비주얼아트 작품이기도 한, 백남준의 ‘비디오 신디사이저’의 존재는 혁신적이며 독보적이다. 유사한 시기에 발명된 비디오 신디사이저 중에서도 유독 백남준의 비디오 신디사이저는 실시간 상호작용 예술을 가능케 한 오디오비주얼아트의 혁신적 도구였다는 점에서 탁월하며, 미학적 견지에서 ‘음악의 시각화’를 위한 궁극의 장치로서 청각과 시각에 해당하는 두 축의 특별한 관계에 주목할 필요성을 가진 독자적 성과이기도 하다. 본 연구는 <백-아베 비디오 신디사이저>에 대한 예술적ㆍ기술적 측면의 분석을 연구의 범위로 하여, 시청각 예술의 관점에서 작품에 제시된 오디오(음악)와 비주얼(영상)의 관계를 고찰하는 방법으로 전개되었으며, 백남준의 오디오비주얼아트와 관계된 예술사적 가치와 의미를 정립하기 위한 목적으로 진행되었다.

2. 오디오비주얼아트와 신디사이저

2.1 오디오비주얼아트의 기원과 도구로서의 신디사이저

오디오비주얼아트의 역사에 대한 다양한 관점이 존재하나, 이탈리아 미래주의 계보의 루솔로(Luigi Russolo, 1885-1947)와 데페로(Fortunato Depero, 1892-1960)가 1915년 디자인한, 소리, 색, 움직임의 다중감각(multisensory) 경험을 위한 예술기계(art machines)를 그 기원으로 보는 견해가 있다[1]. 이후 1950년대, 전통적 갤러리 시스템을 허물기 위해, 소리와 시각요소, 퍼포먼스를 결합하여 활동한 해프닝(happening) 예술가들과, 소리와 움직이는 조각(kinetic sculpture), 빛을 결합한 작가 기어(Walter Giers, 1937-2016), 복합감각과 관계된 7점의 음향조각(sound sculptures)을 제작한 베르토이아(Harry Bertoia, 1915-1978)를 거쳐, 라이브 녹음과 반복연주가 가능한 움직이는 조각으로 퍼포먼스 영역에서 활동한 폰타나(Bill Fontana, 1947-) 등에 의해 현재에 이르고 있다. 신디사이저는 ‘둘 이상의 것을 합쳐, 하나를 이룸’을 의미하는 ‘합성’에 어원을 둔 기기로, 소리와 시각요소를 활용한 융합적 성격의 광범위한 예술장르에 해당하는 오디오비주얼아트의 역사는, 신디사이저의 탄생으로 인하여 큰 전환점을 맞이하게 된다.

오늘날 ‘신디사이저’란 단어를 검색하면, 청각(음악)영역에 관계된 신디사이저(musical synthesizer)의 정의와 함께 전자악기(또는 디지털악기) 카테고리에 속한 다양한 모델과 제품 소개가 주를 이루어, 음악을 위한 도구로서의 악기를 의미하는 용어로 널리 사용됨을 알 수 있다. 본 논문은 이 같은 음악을 위한 도구로서의 신디사이저로부터 비디오 신디사이저에 이르는 내용을 포함하고 있기에, 구분이 필요할 경우, ‘오디오 신디사이저’와 ‘비디오 신디사이저’로 구별하여 명명하기로 한다.

2.2 오디오 신디사이저의 탄생배경과 구조

소리를 합성하는 신디사이저의 개발은, 미국의 전기기술자 그레이(Elisha Gray, 1835-1901)가 발명한 초기 전기악기인 <뮤지컬텔레그래프>(Musical Telegraph, 1876)를 통해 준비되었다[2]. 그레이는 스스로 진동하는 전자기 회로에서 생성되는 소리를 발견하여, 기본적인 단음발진기(single-note oscillator)로 이 기기를 제작하게 되었다[3]. 그러나 전자악기에 관한 첫 번째 특허를 취득한 자는 카힐(Thaddeus Cahill, 1867-1934)로 기록되며, 1897년에 취득한 카힐의 특허는 발전을 거듭하여 1901년 가산합성(additive synthesis)²⁾이 가능한 <텔하모니움>(Telharmonium)으로 완성된다[4]. 소리를 합성할 수 있다는 점에서, 신디사이저의 원류로 보는 것이 합당하다.

오늘날에 가까운 오디오 신디사이저의 구조는, 1955년 미국의 RCA(Radio Corporation of America) 소속 음향기술자 올슨(Harry Olson)과 벨라(Herbert Belar)에 의해 최초로 개발된 거대한 크기의 를 시작으로 본다[5]. 소리 생성과 변형에 관여하는 각 요소별 제어가 가능하도록 설계된 RCA 신디사이저는, 기본적으로 ①음원(音源)을 발생시키는 부분, ②배음을 가감하는 부분, 그리고 ③음에 시간적 음량변화를 주는 세 부분으로 구성되어 있어[6], 현대의 신디사이저 구성과 유사하다. ①의 과정을 통하여 음정이 부여된 재료를 준비하고, ②의 과정을 통하여 음색을 제어한 후, ③의 시간 대응 음량변화 과정을 통하여 제공하는 방식이다. Fig. 1과 같은 아날로그 신디사이저의 구조도를 통해, 내부의 오디오 신호 흐름과 구조를 간략히 파악할 수 있다. 음의 3요소인 음높이, 음색, 음량을 각각 VCO(voltage-controlled oscillators, 전압제어발진기), VCF(voltage-controlled filters, 전압제어필터), VCA(voltage-controlled amplifiers, 증폭기) 회로로 제어하는 구조로, VCO로 음의 근원이 되는 파형을 만들면, VCF를 통해 음색을 가공하고, VCA에서 음량의 변화를 제어하여 합성하는 방식이다.

Fig. 1. Signal path of analog synthesizer.

외형적으로는 건반부를 포함한 신디사이저(백남준의 <총체 피아노>(Klavier Intégral, manipulated piano with various items, 1958-1963)³⁾의 발전된 형태로 볼 수 있음)의 형태를 떠올리는 경우가 많으나, 건반부를 포함하지 않은 모듈 타입(module type, rack type)의 신디사이저도 존재하며, 단음 연주만 가능한 모노포닉(monophonic) 신디사이저와 복수음 연주가 가능한 폴리포닉(polyphonic) 신디사이저 등 추가적 세분화된 분류가 가능하다. 이 같은 신디사이저의 발명과 발전은, 실존하는 악기의 소리를 모방하여 대체하기 위한 연구로부터 새로운 음원의 개발로, 하드웨어 형태의 모듈 타입으로부터 소프트웨어 형태의 가상악기(VSTi) 개발로 그 범위가 확장되어, 음악예술에 막대한 영향을 끼쳤다. 1964년경부터 개발이 시작된 <백-아베 비디오 신디사이저>는, 이 같은 청각영역에서의 신디사이저를 영상의 영역에서 실현한 것으로, Fig. 1과 같은 오디오 신디사이저의 구조를, 영상을 제어하는 비디오 신디사이저의 영역으로 가져올 수 있다면, 시간에 대응하는 다양한 변화값을 가진 음악의 속성을 시각예술의 영역으로 옮겨 극대화할 수 있을 것으로 기대하였을 것이다.

2.3 비디오 신디사이저의 탄생배경과 구조

19세기 인쇄술의 발달과 사진의 등장에 이어, 20세기 영화와 애니메이션의 등장은 비디오ㆍ미디어아트를 통한 다양한 표현예술을 촉발하였고, 2차 세계대전 이후의 다다 및 초현실주의 운동에서 나타난 매체의 변화는 백남준의 비디오아트로 이어져, 사운드와 빛 등 비물질적 요소를 활용하는 예술의 영역으로 전개된다[7]. 1950년대에 제작된, 라포스키(Ben F. Laposky, 1914-2000)의 작품 (1952-1956)의 화면 속 이미지는, 시간에 따라 움직이고 변형하는 아날로그 전기신호의 상호작용으로 이루어져있다. 당시 화면의 그래픽 출력을 캡처할 수 있는 이미지 파일 형식이 없었기에, 인쇄하거나 다운받을 수 없었고, 단편적인 이미지의 기록으로서 오직 사진술을 통한 기록만이 가능했다[8]. 이처럼 브라운관에 투사된 영상을 직접 조작하며 다른 카메라로 재촬영을 하는 방식으로밖에 영상효과를 구현할 기술이 없었던 당시의 예술계에, 비디오합성기의 출현은 획기적인 변화를 가져왔다. 기술의 발전과 밀접한 상관관계를 갖는 예술의 속성상, 어떠한 장르와 형태의 예술도, 작품의 제작 및 실행, 보존에 있어, 기술의 영향으로부터 자유로울 수 없기에, 이 같은 예술적 도구의 출현은 예술의 창의성을 촉진시키는데 큰 역할을 하였다. 오디오 신디사이저가 청각예술의 세계에 가상의 재료로서의 소리를 제공하였다면, 비디오 신디사이저는 시청각예술의 세계에 가상의 재료로서의 영상을 추가로 제공한 셈이다. 지금의 관점에서 보았을 때, 비디오 신디사이저의 출현은 일종의 증강현실(augmented reality)에 해당하는 시각적 재료를 예술의 영역에 제공한 것에 해당한다.

1969년 시겔(Eric Siegel, 1944-)은 컬러 텔레비전 1대를 사용하여 이미지를 뒤틀어 변형시키고, 흑백 이미지를 채색시킬 수 있는 추가적 방안을 고안하였으며[9], 벡(Stephen Beck, 1950-)은 1970년에 <벡의 직접 비디오 신디사이저 1번>(Beck Direct Video Synthesizer #1)을 제작하여 1972년까지 발전시켰다[10]. 샌딘(Dan Sandin, 1942-)은 1973년에 <이미지 가공기>(Sandin Image Processor)를 완성하였고, 1970년대에 에트라(Bill Etra, 1947-2016)와 러트(Steve Rutt, 1945-2011) 역시 비디오 모니터에 출력되는 비디오의 이미지를 조작하는 방식을 사용하여 <러트에트라 신디사이저>(Rutt/Etra Video Synthesizer)를 제작하였다[11]. 이처럼 비디오 신디사이저에 관한 연구가 활발히 진행되는 가운데, 백남준은 인터뷰와 저서를 통해 “인생에는 되감기 버튼이 없다."(There is no rewind button for life.)는 시간의 ‘불가역성’(不可逆性)에 관한 의견을 피력하며, 비디오아트가 갖는 시간성의 의미와 가치를 더욱 확고히 하는 차별화된 도구의 필요성을 강조하였다. 기록 및 보존에 대한 인간의 욕구가 인쇄술과 사진술(시각), 그리고 녹음술(청각)의 발명을 촉발한 이후, 비디오 미디어의 발명으로 이루어진 ‘가역성’(可逆性)의 획득과, 이중시제(실시간으로 현재 진행(재생)되고 있는 과거)로의 접근 가능성은 백남준에게 상당히 매력적인 요소로 다가왔으며, 이 같은 상황은 그의 비디오 신디사이저 개발의 원동력이 되었다.

2.4 비디오 신디사이저의 분류

비디오 신디사이저 영역에서 활발한 활동을 도모한 비디오아티스트 벡은 1975년, 그의 글 ‘이미지 가공과 비디오 혼합’(Image Processing and Video Synthesis)[12]에서 당시 비디오아티스트에 의해 사용되고 있는 다양한 이미지 가공기기를 다음의 Table 1과 같이 네 가지로 구분하였다.

Table 1. Categories of video image instruments

<백-아베 비디오 신디사이저>는 위의 구분 중, 1번 타입에 해당되는 것으로, TV 카메라 입력신호의 흑백 시그널에 채색을 가하거나 형태를 변화시키는 방식으로 다이나믹한 영상제작이 가능하였다. 카메라로 입력되는 신호를 즉석에서 조작(연주)하여 표준 TV 시그널을 통해 방송할 수 있도록 하여, 실시간 상호작용성(real-time interactive)을 갖는 방송용 콘텐츠를 제작할 수 있는 유일한 방식이었다.

3. <백-아베 비디오 신디사이저>의 구조와 특성

<백-아베 비디오 신디사이저>는 백남준과 일본 공학자 아베(Shuya Abe, 1932-)가 함께 제작한 비디오 이미지 합성 기기이다. “10년간의 전자음악 시대가 지나면, 반드시 전자TV의 10년이 도래할 것이며, 이것은 역사적 필연이다.”[13]⁴⁾라는 백남준의 선언은, 그의 예술적 아이디어 실현을 위한 주된 미디어가 음악에서 TV와 비디오로 이동하고 있음을 시사한다. 이 같은 생각의 연장선상에서 탄생한, Fig. 2[14]. <백-아베 비디오 신디사이저>는 방송산업에서 활용 가능한 이미지 합성기의 일종으로 1969년 제작되어, 1971년 뉴욕 보니노 갤러리(Bonino Gallery)에서 열린 <전자예술전 III>(Electronic Art III)에 출품되었고, 이후 여러 비디오 작품 제작에 사용되었다. 이 기기는 관람객을 작품 제어에 참여시키고 사운드를 이미지 제어의 요소로 활용했던, <참여 TV>(Participation TV, 1963)와 <자석 TV>(Magnet TV, 1965)의 본질적 내용을 조합[15]하여 가지고 있다.

Fig. 2. Paik-Abe Video Synthesizer.

물론 오늘날의 기준으로 볼 때, 이 선구적인 도구의 결과물은 조잡한 포토샵(Potoshop)처럼 보일 수도 있겠으나, 자신의 예술적 아이디어 실현에 필요한 기술의 발전과 도구의 발명을 기다릴 수 없었던 백남준 스스로 연구하여, 포토샵과 같은 소프트웨어가 존재하기 약 20년 전에[16] 일구어낸 성과임에 주목할 필요가 있다.

3.1 의 구조

백남준의 아이디어 스케치와 설계 자료들을 통해 그의 의도에 기반 한 분석과정을 진행하는 것은 <백 -아베 비디오 신디사이저>의 이해를 위해 중요하다. 아래의 Fig. 3[17]은, <백-아베 비디오 신디사이저>에 대한 개략적인 구조도로, 7개의 외부 비디오 입력과 그에 상응하는 게인(gain) 제어기, 비선형 증폭기를 포함하는 설계가 포함되어있다. 기본적으로 채색을 위한 기기이며, 비디오 피드백(video feedback)과 자기 스켄 변조(magnetic scan modulation), 비선형 혼합 채색(non-linear mixing followed by colorizing)을 활용한 새로운 이미지 생성기에 해당됨을 알 수 있다[17].

Fig. 3. Schematic diagram.

기본적 구성은, 7개의 카메라 입력 별 서로 다른 색상으로의 교차 배선에 기초하며, 배선이 중복되는 경우 새로운 색이 생성되도록 의도하고 있다. 추가 처리 과정을 통하여 전체 색조를 제어할 수 있도록 휴 노브(Hue knob)가 장착되어 있으며, 영상제어를 위한 사운드 입력 외에도 별도의 사운드를 추가할 수 있었다. 해당 장비의 영상처리를 위해 주요 역할을 수행하고 있는, 카메라 입력 별 색 대응의 구성은 Fig. 4[17]과 같다.

Fig. 4. Color matrix configuration.​​​​​​​

<백-아베 비디오 신디사이저>는 채널별 독립 제어를 가능케 하여 다양한 조합을 만들어내고, 이 같은 다채널의 비디오 결과물을 합성하기 위한 기기로 요약 해석되며, 해당 과정에서 몇 개의 입력 카메라는 비디오 피드벡 루프(video feedback loop)로, 나머지 입력 카메라는 오디오 신호에 의해 변조되는 자기스캔 처리기(magnetically scan processed)로 보내진 뒤 통합될 수 있는 구조로 설계되어있다.

이 같은 방식의 조합은, 배경이 되는 비디오 영상과 채색된 콜라주(collage) 이미지의 자유로운 결합(Fig. 5)[18]을 가능케 함으로써 풍부한 볼거리를 제공하며, 오케스트레이션 영역에서 음악의 내용구성을 전경, 중경, 배경의 다양한 레벨로 구분하여 작업하고 분석하는 방식과 상통한다. 이미지 변조를 위해 오디오 신호를 사용한 점은, 앞선 TV 작품들로부터 이미 실험된 부분으로, 음악을 선행 미디어로 활용해온 그의 작품경향을 포함하여, 음악과 영상의 공감각적(synesthetic, 청각이 시각으로 전이된 감각전이) 관계맺음으로 해석될 수 있다.

Fig. 5. Video still from Paik's .​​​​​​​ < Global Groove >

3.2 이미지의 샘플링과 실시간 상호작용 비디오

생활주변의 익숙한 모습을 담은 영상 또는 특별한 의미를 가지고 있지 않은 무작위 영상을 비디오아트의 소재로 취한 콜라주적 성격은, <백-아베 비디오 신디사이저>를 사용한 작업과 나아가 백남준의 비디오아트 영역에 적용된 형식적 특성으로, 그의 비디오아트를 ‘영상 콜라주 음악’이나 ‘시각화된 콜라주 음악’으로 해석 가능케 한다. 재료의 성격적 측면에서 보았을 때, 음악 영역에서 구체음악(구상음악, musique concrète) 또는 소음예술(art of noises)의 개념과 맞닿아 있는 이 같은 특징은, 삶과 예술의 경계를 허물고 통합하여 다다이스트의 정신을 실천하고자 한, 그의 의지에 부합한다. 백남준은, 악음(樂音)만이 음악의 소재가 될 수 있다는 오래된 신념은 깨진지 오래이고, 소음도 음악의 탁월한 소재(재료)가 될 수 있음을, 그의 비디오아트를 통해 보여주었다. 서로 무관한 듯 보이는 각각의 비디오 클립을 재료삼아, 형식의 틀 안에 배치하고 나름의 질서와 조화와 균형을 찾아가는 과정을 통해, 미술영역의 콜라주적 재료를 취하고, 시간에 기반 한 음악영역으로 들어와, 일종의 작곡(作曲)을 행하였다. 콜라주적 촬영영상을 재료로 취한 과정은, Fig. 1의 [VOC]에 해당하는, 오실레이터나 제너레이터(generator)를 쓰지 않고, 기록된(저장된) 자연음을 음원으로 사용하는 음악영역 샘플링의 확장된 개념으로서, ‘이미지의 샘플링’에 해당한다.

클라비룩스(Clavilux, 1919)를 발명한 윌프레드(Thomas Wilfred, 1889-1968)나, 애니메이션 영화 <판타지아>(Fantasia, 1940)를 통해 클래식음악을 추상영상으로 시각화하고, 루미그래프(Lumigraph, 11955년 특허출원)라는 기기를 개발한 오스카 피싱어(Oskar Fischinger, 1900-1967)는 음악에 맞춰진 빛과 색의 시각효과를 스크린에 투사하는 방식으로 시각적 음악을 선보였다. 1940년대에 휘트니 형제(John Whitney(1917-1995), James Whitney(1921-1982))는 녹음된 음향과 필름 프레임에 직접 그려 넣은 이미지를 차후 합성하는 방식으로 작업하였으며, 뷰트(Mary Ellen Bute, 1906-1983)는 1954년 오실로그래프(oscillograph)로 음파의 진동을 시각화된 형태의 움직임으로 옮겨 청각과 시각의 연동을 자동화하였다. 백남준의 비디오 신디사이저는 생방송을 위한 장비였다는 점에서 이들과 크게 차별화되며, 카메라를 통해 입력되는 실사 이미지의 샘플링(sampling)과 라이브 믹싱(live mixing), 실시간 상호작용 비디오(real-time interactive video) 제작이 가능한 장비로서 구별되었다.

카메라 입력 영상을 실시간으로 편집하는 <백-아베 비디오 신디사이저>의 기능은, 실시간 예술의 형식을 비디오 영역에 실현한 예에 해당하며, 백남준이 이 과정에서 마이크 대신 카메라를 사용하여 재료로 취한 것은 사운드를 대체한 영상이었다. 그는 앞선 TV 시리즈 작품과 마찬가지로, 비디오 신디사이저의 실시간 처리과정에 의도적으로 행인(방청객, 대중)의 개입을 유도함으로써, 그간 일관되게 지향하여 온 관객참여예술에 대한 의지를 ‘상호작용 비디오’ 작업을 통해 획득하였으며, 이미지의 샘플링 작업이나 실시간 기반의 상호작용 작업과정을 기계화ㆍ자동화함으로써, 보다 체계적으로 다양한 예술적 이미지들을 대량 생산할 수 있었다. 사진을 특정대상의 존재(existence)에 비유한다면, 시간에 대응하는 사운드나 동영상은 실존ㆍ현존(presence)에 가깝다할 것이기에, 이 같은 샘플링 작업은, 음악과 미술의 영역에 크나큰 생동감을 부여한다. 또한 존재하는 것을 대상으로 삼기에, 가상현실(virtual reality)보다는 일종의 증강현실로서의 매력을 갖는다. <백-아베 비디오 신디사이저>는 비디오 합성의 영역에서 촬영 영상을 재료로 취하는 합성방식의 실험적 연구에, ‘실시간 상호작용 비디오’(real-time interactive video)의 가능성을 추가한 매력적인 도구가 되었다.

3.3 이미지를 재료로 하는 다채널 음악제작 도구

<총체 피아노>의 건반을 연주함으로써 행해졌던 다양한 공감각적 예술작업들은, <백-아베 비디오 신디사이저>에 이르러, 영상신호를 처리하는 다채널회로를 통하여 신디사이저 기기 안에서 행해지고 있었다. 이는 ‘피아노의 건반처럼 누구든지 영상을 연주할 수 있는 기계를 만들겠다.’는 그의 의도를 <백아베 비디오 신디사이저>에 투영한 결과이다. Fig. 6[13]는 비디오 신디사이저에 관하여 백남준이 작성한 6단계(six stages) 구성 차트로, 여러 대의 모니터로 보내진 시그널 소스가 서로 다른 타입의 전자적 변형을 위한 처리과정을 거쳐, 혼합된 방식으로 변형ㆍ채색되고, 건반에 의해 제어되고, 3대의 컬러비디오테이프로 보내지는 과정을 담고 있다. 비디오 신디사이저와 관계된 다양한 자료들을 통해, 그가 원하는 멀티레벨의 합성영상을 제작하기위해 적어도 7개에서 8개의 독립된 채널을 필요로 했음을 알 수 있다.

Fig. 6. Flow chart for video synthesizer.​​​​​​​

다채널의 영상을 받아들여 실시간으로 독립된 편집을 가한 뒤, 하나의 영상으로 합성했던 구조는, 음악 영역의 다채널(멀티트랙) 음악제작 시스템에 준하는 형식이다. 음악제작 과정에서 독립적으로 진행된 채널별(트랙별) 작업물이 믹싱(mixing)의 과정을 통해 최종적으로 하나의 음원으로 버무려지듯, 백남준의 비디오 신디사이저도 그러하였다. 백남준은 이 기기를 통하여 결과적으로 영상을 7개까지 중첩(혼합)할 수 있었고, 1980년대 MTV 비디오에서 큰 인기를 끌게 될 영상효과를 앞당겨 대중에게 선보일 수 있었다[19]. 그는 1969년 ‘다재다능한 컬러 영상합성기’(Versatile Video Synthesizer)라는 제목의 글을 통해 Fig. 7[15]과 같이 언급하며, ‘그래픽 음악’(시각화된 음악), 또는 ‘공간성을 획득한 음악’이자 ‘시간성을 가진 영상’으로서의 오디오비주얼 아트에 대한 그의 발명품의 역할을 피력하였다. 이 글에는 오늘날 널리 사용되고 있는 다양한 시각효과와 이미지 처리 기술 대한 백남준의 비전이 담겨있었다.

Fig. 7. Extract from 'Versatile Video Synthesizer'.​​​​​​​

백남준의 <백-아베 비디오 신디사이저>는 사운드와 이미지에 관계되는 오디오비주얼아트를 위해 진일보한 기술을 접목한 선구적 도구임에 틀림없으나, 우리가 이 도구를 이해하기위해 더욱 주목해야할 부분은 오디오비주얼아트를 구성하고 있는 두 개의 축인, 청각과 시각의 상호관계 있다. 그의 도구는 단순히 입력된 사운드와 이미지의 현란한 편집과 이들의 합산을 위한 기계가 아닌, 이미지를 재료로 취한 악기로서의 신디사이저였기 때문이다. 본 논문이 음악제작을 위한 오디오 신디사이저에 대한 고찰로 시작된 점도 바로 이 같은 이유에서다.

3.4 의 오디오비쥬얼아 트적 특성과 비전

<백-아베 비디오 신디사이저>는 단순한 영상효과를 실험하기 위한 도구가 아닌, 영상의 움직임이나 속도, 영상의 중첩에 의한 화성적 표출, 영상의 불연속 지점이 만들어내는 비트(beat) 등을 통한 ‘음악적 형상화’를 위한 하나의 악기였다. 물론 <백-아베 비디오신디 사이저>의 설계상에 실제로 사운드에 관계된 부분이 존재하긴 하나, 보스턴(Boston)의 WGBH 방송국을 통해 방영된 <비디오코뮨>(Video Commune, 1970)과 <전자오페라2>((Electronic Opera No.2, 1972), 뉴욕의 WNET을 통해 제작된 <글로벌 그루브>(Global Groove, 1973)와 <미디어셔틀–뉴욕/모스크바>(Media Shuttle-New York/Moscow, 1977)) 등의 영상제작 중심에 이 기기가 있었다는 점을 고려할 때, 그의 비디오작품 전반에 실제로 다양한 음악이 사용된 예가 존재하나, 사운드는 오히려 부분적으로 영상을 제어하는 용도로 사용되었을 때 영상을 연주하고자했던 목적에 근접하게 되며, 콘텐츠에 삽입된 음악은 이 관계에서 핵심적인 부분은 아니었음을 알 수 있다. 기존 음악을 사용한 백남준 콘텐츠의 경우, 영상에 필요한 음악과 사운드를 제공하는 형식보다는, 음악에 필요한 영상을 제공하는 현대의 뮤직비디오(music video)에 가까운 형식을 취하고 있음에도 불구하고, <백-아베 비디오 신디사이저>를 통한 작업에서 볼 수 있는 바와 같이, 작품의 내용이 음악적인(음악화된) 영상(시각) 제작에 집중 되어있음을 알 수 있다.

여기서 더 나아가 우리는, 사운드가 콘텐츠(작품)의 제작에 있어 결정적인 역할을 수행하였음에도 불구하고, 소리를 직접 매체로 사용하지 않은 ‘소리 없는 음악’의 형식까지도 가능케 하는, 오디오비주얼아트의 속성까지도 생각해볼 수 있다. 따라서 백남준의 <백-아베 비디오 신디사이저>와 이를 통해 생산한 다양한 작품으로서의 콘텐츠에 있어, 오디오비주얼 아트의 두 축인 사운드와 이미지는 동등한 혹은 대등한 위치에 있지 아니하면서, 오히려 더욱 긴밀한 관계를 맺고 있다. 백남준의 생애를 통하여 그의 예술활동이 전개됨에 따라, 비디오로 이식된 음악의 속성은 점차 상위 개념으로서 작품을 지배하는 우위에 존재하게 되고, 작품구현을 위한 직접매체로서 영상의 비중은 훨씬 커짐을 알 수 있다. 청각예술(음악)이 가지고 있는 매체적ㆍ구조적 특징이 시간성을 획득한 시각예술에 해당하는 비디오아트 작품영역에 지속적인 아이디어를 공급하고 있다는 점에서, 백남준의 작품은 여타의 비디오아트와 구별되는 독창성을 획득하게 된다. 이것은 음악을 통해 예술을 시작함으로써 상당히 오랜 기간 어쿠스틱음악과 전자음악 분야에서 많은 실험과 연구를 진행한 이후, TV라는 매체를 거쳐 비디오아트로 진출한 백남준의 특별한 이력과 관계되는 중요한 특성이다.

4. 결론

음악사학자 쇼-밀러(Simon Shaw-Miller, 1960-)는 ”미술가 뒤샹(Henri-Robert-Marcel Duchamp, 1887-1968)의 작업으로부터 시작된 ‘확장된 개념으로서의 음악성’이 예술가 백남준에게 이어졌고, 백남준의 미학을 이해하기 위해 그의 음악성을 이해하는 과정이 필요하다“고 주장하였다[20]. 백남준의 생애를 통해 만들어진 수많은 유무형의 작품들을 살펴보면, 그 예술적 표현의 도구가 무엇이었던 간에 그의 모국어가 ‘음악’이었음을 간파할 수 있으며,[21] 그의 오디오비주얼아트의 본질이 ‘확장된 음악’임을 이해할 수 있다. 백남준에게 ‘음악’은, 하나의 특정 감각영역(청각-소리)에 국한되지 않는 확장된 개념으로, ‘시간’ 또는 ‘시간이라는 무빙워크(moving sidewalk)’ 위에 얹어진 인간의 다양한 예술활동 또는 그 산물로 이해되는 것이기 때문이다[22]. 음악이 가진 '재현'의 속성은, 이미 시간에 기반 한 움직이는 영상(비디오)으로 이식되었기에, 실제로 백남준의 ‘시각화된 음악’의 영역에 이르게 되면, 더 이상 표현을 위한 직접수단(매체)으로서의 사운드는 불필요한 것일 수도 있다. 이러한 관점에서, 우리는 백남준의 예술세계를 이해하기 위해, 광의의 오디오비주얼아트와 비주얼뮤직(visual music)의 개념에 대해 생각지 않을 수 없다.

<백-아베 비디오 신디사이저>에 대한 오디오비주얼아트적 고찰을 실행하기 위한 본 연구는, 예술가의 아이디어와 그 예술적 아이디어를 실현하기 위해 필요했던 기술, 그리고 그 기술의 결과로 만들어진 도구에 대해 분석하고, 이 도구를 통해 제작됨으로써 세상 밖으로 나온 작품으로서의 콘텐츠를 종합적으로 이해하기 위한 것이다. 그러한 관점에서 <백-아베 비디오 신디사이저>는 오디오 신디사이저의 아이디어를 영상의 영역으로 옮긴 혁신적 합성도구이자 작품 그 자체였으며, 당시의 비디오 신디사이저들과 비교하여 뚜렷이 구분되는 독창성을 가진 악기이도 했다. 아날로그 신디사이저에서 행해진 오실레이터를 활용한 합성재료의 사용은, 그의 워뷸레이터(wobbulator) 등의 실험을 통한 TV 시리즈 작품 연구를 통해 이미 충분히 실험ㆍ연구되었으며, 백남준은 그의 비디오 신디사이저를 통해 움직이는 실사 이미지를 재료로 취하는, 본격적인 이미지 샘플링과 실시간 상호작용 비디오의 영역을 구현함으로써, 당시의 비디오아티스트들과 구별되는 독창성을 획득한다. 백남준이 제시한, 이미지를 재료로 하는 다채널 음악제작 도구로서의 비디오 신디사이저의 가능성은, 나아가 오디오비주얼아트 안의 사운드와 이미지의 관계를 새롭게 정립하는데 기여하였다. 단순히 동등한 레벨의 사운드와 이미지를 병합하는 단계를 벗어나, 음악의 속성을 이식한 영상을 위한 악기로서, 사운드와 이미지의 공감각적인 관계를 이끌어낸 점은 오늘날 공감각이 예술의 화두가 되고 있는 시점에 중요한 의미를 시사한다. 감각의 전이를 이끌어내기 위한 기술의 활용 면에서, 그가 직접적으로 사운드 신호를 영상제어의 수단으로 활용한 점에 주목할 수 있으나, 미학적으로는 <백-아베 비디오 신디사이저> 이후 이어지는 비디오아트 작업을 통해 ‘영상의 옷을 입은 음악예술을 행했다’는 점에 더욱 주목할 필요가 있다. 악기 연주와 작곡가로 활동한 음악가이자, 악기를 파괴한 액션뮤직의 예술가, 악기를 해체했던 설치미술가, 그리고 영상을 연주한 비디오아트의 대가로서의 백남준의 행보는, 오늘날 오디오비주얼아트가 나아가야할 의미 있는 방향을 제시해주고 있다.