A Study of Sound Expression in Webtoon

Webtoon has developed the method that makes it possible to express sound visually. Also we can also hear sound in webtoon through the development of web technology. It is natural that we analyze the sound that we can hear, but we can also analyze the sound that we can not hear. This study is based on 'dual code' in cognitive psychology. Cartoonists can make visual expression on the basis of auditive impression and memory, and readers can recall the sound through the process of memory and memory-retrieval. This study analyzes both audible sound and inaudable sound. Concise analysis owes the method to film sound theory. Three main factor, Volume, pitch, and tone are recognized by frequency in acoustics. On the other hand they are expressed by the thickness and site of line and image of sound source. The visual expression of in screen sound and off screen sound is related to the frame of comics. Generally the outside of frame means off sound, but some off sound is in the frame. In addition, horror comics use much sound for the effect of genre like horror film. When analyzing comics sound using this kinds of the method film sound analysis, we can find that webtoon has developed creative expression method comparing with simple ones of early comics. Especially arranging frames and expressing sound following and vertical moving are new ones in webtoon. Also types and arrangement of frame has been varied. BGM is the first in using audible sound and recently BGM composed mixing sound effect is being used. In addition, the program which makes it possible for readers to hear sound according to scroll moving. Especially horror genre raise the genre effects using this technology. Various methods of visualizing sound are being created, and the change shows that webtoon could be the model of convergence in contents.

웹툰의 사운드 표현에 관한 연구

웹툰은 출판만화에서 사운드를 시각적으로 표현했던 방법을 발전시켜왔으며, 웹 기술의 발전을 토대로 직접 소리를 들려주기까지 한다. 직접 들리는 소리는 당연히 사운드 분석의 대상이 된다. 그러나 들리지 않는 사운드도 분석 대상이 될 수 있다. 본 연구는 들리지 않는 소리를 분석할 수 있다는 것의 이론적 토대를 인지심리학의 이중부호 개념에 둔다. 작가는 자신의 청각적 기억을 시각적으로 기호화할 수 있고, 독자는 기억과 인출의 과정을 통해 시각화된 기호를 보고 사운드를 떠올릴 수 있다. 이와 같은 웹툰의 들리지는 않지만 떠올릴 수 있는 사운드와 직접 들리는 사운드 두 경우를 본 연구는 함께 분석대상으로 한다. 구체적 분석을 위해서는 이론적 성과물이 있는 영화 사운드 분석 방법을 활용할 수 있다. 소리를 구성하는 세 요소인 음량, 음조, 음색은 음향학에서는 주파수 등으로 설명되고 직접 들을 때는 느낌으로 알지만, 시각적으로는 사운드를 표현한 글자나 이미지의 선의 굵기와 위치, 음원의 이미지 등으로 알 수 있다. 내화면 사운드와 외화면 사운드의 시각적 표현은 만화의 칸과 관련이 있다. 일반적으로는 칸 외부로 외화면 사운드를 표현하지만 웹툰에서는 듣는 자를 강조하는 방법으로 칸 내부에 외화면 소리를 표현하기도 한다. 그리고 영화의 호러 장르가 장르 효과를 높이기 위해 사운드를 많이 사용하는데 웹툰에서도 호러 장르가 같은 효과를 위해 사운드를 많이 사용한다. 이러한 영화 사운드 분석 방법을 활용해 사운드를 이미지로 표현한 작품들을 분석해볼 때, 초창기 출판만화에서부터 시작한 사운드의 청각적 표현들이 계속 발전해서 웹툰에서 창의적으로 표현되고 있음을 알 수 있다. 특히 세로 이동을 활용한 칸의 배치 및 소리표현의 방식들은 웹툰이 보여준 새로운 방법들이며, 칸 모양도 훨씬 다양해졌다. 직접 들려주는 소리로는 BGM이 가장 먼저 사용되었는데 최근에는 한 회의 분위기에 맞춰 음향효과까지 섞어 맞춤 작곡된 곡들이 사용된다. 그리고 스크롤 이동에 맞춰 소리를 들려주는 프로그램이 개발되면서 특정 순간의 음향효과나 특정 장면에 어울리는 음악들을 들을 수 있게 되었다. 특히 호러 장르에서는 특정한 이미지와 공포를 불러일으키는 사운드를 같이 사용하여 장르적 효과를 배가시킨다. 이렇게 웹툰에서는 다양한 사운드 시각화 방법이 계속 창조되고 있으며 기술과 접목된 새로운 시도들이 이루어지고 있다. 이러한 발전은 웹툰이 하나의 문화콘텐츠로서의 융합의 장이 될 수 있음을 보여준다.