Lighting Control using Frequency Analysis of Music

음악의 주파수 분석을 이용한 조명 제어

Abstract

Music affects sensitivity and emotion of human, emotional power of the music has been applied to various fields. Especially, to visualize as well as listen to music is able to create various atmosphere. In this paper, we proposed sensitivity control system for interaction with people to merge music and lighting. Because existing FT(Fourier Transform) has not information about the time, to analyze information of changed signal according to the time is difficult. In order to solve such a problem, we use STFT(Short Time Fourier Transform) method to analyze music signal. and also, we classified music for three genre and compared the frequency characteristics according to genre, and control the color, brightness of LED light based on the frequency components within analysis range. Unlike existing LED lighting control study using music, we had color control of emotional lighting and brightness control using variation amount of music signal in this paper. Proposed lighting control system will be able to utilize various industry fields as well as emotional lighting.

음악은 사람의 감성, 감정에 영향을 끼치며, 최근 음악의 정서적인 힘은 여러 분야에 응용되고 있다. 특히, 음악을 듣는 것뿐만 아니라 시각적으로 가시화하여 여러 분위기를 연출할 수 있다. 본 논문에서는 음악과 조명을 연계하여 사람과의 상호작용을 위한 감성 제어 시스템을 제안한다. 기존의 FT(Fourier Transform)는 시간에 대한 정보를 가지고 있지 않기 때문에 시간에 따라 주파수 성분이 변하는 신호의 정보를 효율적으로 분석하기 어렵다. 이와 같은 문제점을 해결하기 위해 음악 신호 분석은 STFT(Short Time Fourier Transform)을 사용하였고, 세 가지의 장르로 음악을 분류하여 장르에 따른 주파수 특성을 비교해 보았으며, 분석된 범위내의 주파수 성분을 바탕으로 컬러 LED조명의 색상과 밝기 제어를 하였다. 기존의 음악을 이용한 LED조명 제어 연구와 다르게 감성적인 조명의 색 제어와 음악 신호의 변화량을 이용하여 밝기 제어를 하였으며, 제안된 조명 제어 방식은 감성 조명뿐만 아니라 여러 산업분야로 활용 될 수 있을 것이다.

1. 서 론

최근 음악은 생활에 있어 필수적인 부분이 되고 있다. 음악은 사람의 감성, 감정 등에 많은 영향을 끼치며, 이러한 음악의 정서적인 힘은 문학, 의학, 공학 등 여러 분야에 응용 되고 있고, 음악의 신호를 분석하여 사람에게 어떤 영향을 끼치는지에 대한 많은 연구들이 진행되고 있다[1-3]. 또한 이러한 음악을 바탕으로 듣는 것뿐만 아니라 시각적인 효과를 더하여 사람에게 효과적으로 느낌을 전달하기 위한 연구가 진행되고 있다[4,5]. 특히나 기존 의 조명과 다르게 제어가 용이하고, 다양한 색상을 표현할 수 있다는 장점을 가진 LED(Light Emitting Diode)가 보급됨에 따라 응용분야가 다양해지면서 디스플레이뿐만 아니라 조명분야에 적용을 하여 조명과 사람간의 다양한 상호작용을 위한 많은 연구가 진행되고 있다. 또한 사람의 기분, 분위기, 활동 등을 파악하여 적합한 조명을 제공해주기 위한 감성 조명에 대한 연구가 활발히 이루어지고 있다[6,7].

본 논문에서는 음악을 듣는 것뿐만 아니라 사람에게 시각적으로도 적합한 분위기를 제공할 수 있는 방법에 대해서 연구하였다. 이전에 음악과 조명을 연동하기 위한 많은 연구가 있었다. 소리 신호의 스펙트럼을 가시광선의 스펙트럼으로 맵핑하여 색상을 추출하고, 이를 바탕으로 조명을 제어하는 연구가 있었으며[8], Theyer의 2차원 분위기 모델을 이용해 음악의 분위기를 추출하여 그 분위기와 가장 어울리는 색을 맵핑하여 조명의 색으로 표현하고, LED DRIVER를 이용하여 조명을 제어하는 연구도 있었다[9]. 또한, DSP보드를 이용하여 처리된 음악신호를 이용하여 주파수의 크기로 조명의 밝기를 조절하고, Random algorithm과 Chromatic Circle로 조명의 색을 제어하는 연구가 진행 되었다[10,11]. 하지만, 기존의 음악을 이용한 조명 제어 시스템은 표현하는 조명의 색과 조명의 밝기를 인간의 감성, 감정을 고려하지 않고 연구 되어왔다.

본 논문에서는 음악을 세 가지 장르로 분류하고 각 장르의 특징을 분석하기 위해서 STFT(Short Time Fourier Transform)을 이용하여 시간에 따른 주파수 성분의 변화에 대해 분석하였고, 이를 바탕으로 컬러 LED에 적용하여 음악 장르에 따라 감성적인 측면을 고려해 조명을 제어하였다. 본 논문의 2장에서는 조명 제어 전체 시스템의 구성 및 하드웨어 구성을 소개하며, 3장에서는 음악 분석을 위한 방법을 제안하고, 4장에서는 조명 제어 방법을 소개한다. 그리고 5장에서는 실험 결과를 보여주며 마지막으로 결론 및 향후에 대해서 기술한다.

 

2. 시스템 구성

본 논문에서는 시간영역의 소리(Audio Signal)를 주파수영역으로 변환하기 위해 STFT(Short Time Fourier Transform)를 이용하여 음악을 분석하고, 분석된 음악을 바탕으로 LED 조명 제어방법을 제안하여 이를 조명 제어(Control Signal)에 적용해 보았다. 본 논문에서 제안된 시스템의 구성은 소리(Audio Signal)를 STFT(Short Time Fourier Transform)를 통해 주파수 분석을 하고, 이를 바탕으로 조명을 제어하는 시스템으로 그림 1에 전체 시스템의 다이어그램을 나타냈다.

그림 1.시스템 구성 다이어그램

그림 2는 실시간으로 오디오 신호를 푸리에 변환하고, 주파수 분석을 통해 조명 제어 신호를 생성하기 위해 제작한 오디오 신호 캡처 보드이며, 그림 3은 3채널의 8비트 PWM(Pulse Width Modulation)을 이용하여 DMX512 프로토콜에 의해 제어 되는 조명 컨트롤러이다. 본 연구에서는 네 종류의 색상을 제어하기 위해 두 개의 조명 컨트롤러를 사용하였다.

그림 2.오디오 신호 캡처 보드

그림 3.조명 컨트롤러

 

3. 음악 분석

3.1 분석 방법

FT(Fourier Transform)는 시간영역의 신호를 주파수영역의 신호로 변환해주는 방법이다. 하지만, 기존의 FT는 시간에 대한 정보를 가지고 있지 않기 때문에 음악, 지진, 뇌파 데이터와 같이 시간에 따라 주파수 성분이 변하는 신호의 정보를 효율적으로 분석하기가 어렵게 된다. 따라서 이와 같은 문제점을 해결할 수 있는 방법이 필요하다.

STFT(Short-Time Fourier Transform)는 분석하고자 하는 신호에 Window 함수를 적용하여 일정 구간의 짧은 시간에 대해서 FT를 수행하는 방법으로 시간영역의 신호를 시간-주파수-크기 축의 그래프로 나타낼 수 있어 신호의 시간, 주파수의 정보를 동시에 분석할 수 있으며, STFT의 수식은 식 (1), (2)와 같이 나타낼 수 있다[12].

여기서, w(t)와 w[n]은 Window 함수이며, f(τ)와 f[n]은 분석하고자 하는 신호이다. 적용된 Window 함수는 식 (3)과 같이 나타낸 Hamming Window 함수이며, N은 Window의 길이이고, n = 0,1,2,..., N-1이다.

3.2 음악 분석

음악은 박자, 가락, 음성을 여러 가지 형식으로 조화하고 결합하여 목소리나 악기를 통하여 사상이나 감정을 느끼거나 불러일으키게 하는 것을 의미한다. 또한, 음악은 클래식, 재즈, 발라드, 힙합 이외에도 많은 장르를 가지고 있으며, 장르별로 음악을 구분하는 연구 또한 많이 진행되고 있다[13,14]. 하지만 이렇게 다양한 장르를 모두 구분하기 위해서는 매우 복잡하고, 고차원의 특징들을 이용한 음악에 대한 분석이 필요하며 실시간으로 조명을 제어해야 하는 상황에서는 사용하기가 쉽지 않다. 따라서 본 논문에서는 크게 세 가지 범주로 장르를 분류하였다. 음악의 장르는 박자의 빠르기, 사용된 악기, 지역에 따라 구분이 되는데, 이를 고려하여 박자의 빠르기가 느리고, 사용된 악기의 소리와 목소리가 강하지 않은 음악을 잔잔한 음악으로 분류했으며, 박자의 빠르기가 빠르고, 사용된 악기의 소리와 목소리가 아주 강한 음악을 락 음악으로 분류했고, 잔잔한 음악과 락 음악으로 분류하기에 어려운 음악을 신나는 음악으로 분류하였다.

음악을 분석하기 위해 먼저 음악을 세 가지 장르(잔잔한 음악, 신나는 음악, 락 음악)으로 분류하여 6가지 곡을 표 1과 같이 선정하였고, 이를 Matlab Toolbox중 Signal Processing Toolbox를 이용하여 STFT(Short Time Fourier Transform)을 하였으며, 시간에 따른 주파수 변화를 분석하였다. 사람이들을 수 있는 가청 주파수 대역은 50Hz∼20kHz이나 사람의 목소리, 악기 등은 낮은 주파수에서만 존재하기 때문에 음악의 주파수 대역 중 50Hz∼1.2kHz의 구간에서 10Hz 단위로 샘플링 하여 분석하였고, 분석 구간은 20초로 설정하였다.

표 1.음악 분석에 사용된 장르별 음악분류

먼저 잔잔한 음악인 “어반자카파-river”의 도입부분을 분석해 보았다. 그림 4의 (a)는 ‘어반자카파-river’를 시간-주파수-크기의 축으로 나누어 50Hz∼5kHz까지 분석한 결과이다. 시간-주파수-크기의 축그래프에서 보듯이 1.2kHz의 이상의 주파수에서는 신호가 존재하지 않음을 알 수 있었다. 사람의 목소리나 리듬을 만들어주는 악기들은 대체로 50Hz∼1.2kHz의 주파수에 분포하고 있기 때문에 좀 더 낮은 주파수를 분석해 볼 필요가 있었고, 그림 4의 (b)는 50Hz∼1.2kHz로 범위를 줄여서 시간-주파수 축으로 나타낸 그림이다.

그림 4.어반자카파의 ‘river’ 곡에 대한 분석

이 음악은 배경음악이 피아노만 있으며, 낮은 남자의 목소리로 노래가 이어지는 부분이다. 그림 4의 (b)와 같이 1kHz 이상의 신호는 거의 존재하지 않는 것을 확인할 수가 있었고, 200Hz의 낮은 주파수 대역에서 amplitude가 큰 신호가 나타나는 것을 볼 수 있었다. 같은 장르인 “2AM-이 노래”의 경우에도 배경음악이 피아노만 연주되고 있으며, 낮은 남자의 목소리로 노래가 이어진다. 분석 결과 그림 5와 같이 1kHz 이상의 신호는 거의 존재하지 않고 200∼500Hz 대역에서 amplitude가 큰 신호가 대부분 존재하였으며, 동일한 시간대에 신호가 분포하는 경향을 보이면서 시간에 따른 주파수의 변화도 크지 않는 것을 확인할 수 있었다.

그림 5.2AM의 ‘이 노래’ 곡에 대한 분석

신나는 음악인 “Sistar-loving you”와 “빅뱅-high high”의 경우에는 그림 6과 같이 잔잔한 음악에 비해 넓은 주파수 대역에서 신호가 분포함을 알 수 있었고, 잔잔한 음악과는 다르게 50∼100Hz의 낮은 주파수 대역에서 빠른 비트들이 일정하게 나타나는 경향을 보였다.

그림 6.신나는 음악에 대한 분석

락 음악의 경우 일반적으로 강한 비트가 많이 사용되는데, 그림 7과 같이 “국카스텐-한잔의 추억, 모나리자”를 분석해 보았을 때, 다른 두 장르의 음악보다 1kHz 이상의 높은 주파수 영역에서도 많은 신호가 존재했으며, amplitude 변화의 폭이 아주 큰 것으로 나타났다. 이는 사람의 목소리나 드럼, 베이스, 키보드 등의 악기 소리가 아주 강하고, 다양한 주파수를 가지는 악기를 사용하기 때문에 이러한 경향을 보이는 것으로 분석 되었다.

그림 7.락 음악에 대한 분석

 

4. 조명 제어 방법

앞에서와 같이 실험을 통하여 세 가지 장르에 따라 각각 다른 특징을 가진다는 것을 알 수 있다. 잔잔한 음악과 신나고 경쾌한 음악은 서로 다른 주파수 대역과 amplitude 변화 특성을 가진다. 이러한 특성을 활용하여 각 시간구간에서 amplitude가 가장 큰 주파수 성분과 현재와 이전 시간구간 사이의 amplitude의 변화량에 주목하여 RGBW 조명을 제어하기로 하였다. 본 연구에서 사용한 조명은 네 가지 색상의 LED(RGBW)를 사용하여 음악을 조명과 연동하도록 하였으며, 조명 제어는 DMX512 프로토콜을 이용하여 조명을 제어하였고, 8비트 PWM(Pulse Width Modulation)을 이용하여 밝기 제어를 하며 음악에서 생성된 신호를 DMX512 프로토콜로 변환하여 제어하도록 하였다. 그림 8은 제작된 조명에 대한 제어 예를 보여준다.

그림 8.제작한 조명 시스템의 외형

4.1 조명 제어 프로토콜

본 논문에 제안된 조명 제어 시스템에 사용된 프로토콜은 DMX512 프로토콜이다. DMX512(Digital MultipleX 512)는 디지털 통신 네트워크의 시초로 1986년 USITT(U.S. Institute of Theater Technology)에 의해 처음으로 개발 되었으며, EIA485를 기반으로 2선식 RS-485 통신방법을 사용하여 조명을 제어하는 방법으로 이용되어 왔다[15,16].

DMX512 프로토콜은 프레임 단위로 데이터를 전송하며, 단순하게 ON-OFF 식의 제어가 아닌 조광, 프로그램 제어, 팬(pan), 틸트(tilt), 셔터, 타이머 등의 다양한 효과를 낼 수 있기 때문에 컬러 조명 제어에 많이 사용되고 있다[17]. 그림 9는 DMX512 프로토콜의 프레임 형태를 나타낸다.

그림 9.DMX512 프로토콜의 프레임 형태

4.2 조명 제어

기존의 음악을 이용한 감성 조명 시스템에서 조명의 색을 나타내는 방법은 가시광선의 파장과 오디오 스펙트럼을 매핑 하여 사용하거나[8], 음악의 분위기와 가장 어울린다고 생각하는 색을 선택하였고[9], 또한, Random algorithm과 Chromatic Circle을 이용하여 색을 표현하였다. 하지만, 이와 같은 조명의 색표현은 인간의 감성, 감정과는 무관한 방법이 대부분이다. 본 논문에서는 인간의 감성을 고려하여 조명의 색을 표현하는 방법을 참고하여 사용하였다.

색(color)은 인간의 감각적 반응을 통해서 인간의 감성, 감정 등에 영향을 미치게 한다. 즉, 시각적으로 작용하는 색(color)과 인간의 감성은 서로 관계가 있다는 것을 의미한다[18]. 초록(Green)은 사람의 눈에 가장 편안한 색으로 안정과 위안을 주며, 차분함과 안정함을 느끼게 하는 색이다. 또한, 파랑(Blue)도 스트레스로 인한 긴장을 풀어주며, 편안함과 진정의 효과가 있는 색이다. 하양(White)는 적극성과 밝음을 표현하는 색이며, 빨강(Red)는 역동적인 색으로 생동감, 정열의 의미를 가지며 주장이 강한 색으로 눈길을 끄는 성질이 있다[19]. 본 논문은 이와 같은 색채 감성(color emotion)을 고려하여 주파수대역에 따른 조명의 색을 다음과 같이 지정하였다. 초록(Green)은 가장 낮은 주파수대역의 색으로 지정하였고, 파랑(Blue)은 한 단계 위의 주파수대역의 색으로 지정하였다. 하양(White)은 높은 주파수대역의 색으로, 빨강(Red)는 가장 높은 주파수대역의 색으로 지정하였다. 따라서 음악 분석을 통해 대부분의 신호가 50Hz∼1.2kHz의 범위에 존재하기 때문에 각 조명 색깔 마다 300Hz의 대역을 할당하였다. 이때 50∼300Hz 대역은 초록(Green color), 300∼600Hz 대역은 파랑(Blue color), 600∼900Hz 대역은 하양(White color), 900Hz∼1.2kHz 대역은 빨강(Red color)으로 표현하였다.

조명의 밝기는 음악 장르에 따른 amplitude 변화 특성을 이용하여 제어하였는데, 기존의 조명제어 관련 연구는 필터링 된 신호의 RMS값을 계산하여 세기를 나타내거나[8], 단순히 입력된 음악 신호의 세기를 그대로 사용하였고[11], 조명의 밝기 제어를 하지 않은 것도 있다[9,10]. 본 논문에서는 선행 연구와는 다르게 amplitude의 변화량을 이용하여 조명의 밝기를 조절하는 방법을 적용하였다.

각 색상에서 선정된 주파수에 대해 밝기 정보를 생성하기 위해 입력 받을 수 있는 최대 amplitude를 기준으로 입력된 amplitude의 변화량을 정규화 하였다. 여기서 정규화는 8비트 PWM 값의 범위를 가질 수 있도록 [0,255]의 값으로 정규화 하였으며, 정규화 된 신호를 조명 제어 신호로 바로 사용하면 조명의 변화가 너무 심하기 때문에 이를 감쇄시키기 위해 1차 저역 통과 필터(low pass filter)를 사용하여 서서히 변하도록 조절하였다. 각 LED는 조명 컨트롤러에 연결하여 DMX512 프로토콜의 1∼4번 어드레스에 할당하였고, Green, Blue, White, Red 순으로 어드레스를 부여하였다. 결과적으로 오디오 캡처 보드에서 생성된 조명 신호는 DMX512 프로토콜을 통해 조명 컨트롤러에 의해 해당 LED를 제어하도록 하였다.

이와 같이 조명을 제어함으로서 음악의 장르에 따라 각 색상의 점등 빈도와 밝기의 강약이 달라진다.

 

5. 실험 결과 및 분석

본 논문에서 제안한 조명 제어 시스템을 이용하여 음악을 세 가지 장르로 분류하고, 각 장르별로 열 가지의 음악에 대해 조명을 제어를 해 보았다. 표 2는 실험에 사용한 음악이며, M사의 음원(bit rate : 320Kbps)을 다운로드 받아서 사용하였다.

표 2.실험에 사용된 장르별 음악분류

그림 10은 잔잔한 음악에 대한 분석 결과이며, 그림 11은 신나는 음악에 대한 분석 결과, 마지막으로 그림 12는 락 음악에 대한 분석 결과이다. STFT(Short Time Fourier Transform) 분석 결과 데이터는 음악의 일부분으로 설정하였다.

그림 10.잔잔한 음악 분석 결과

그림 11.신나는 음악 분석 결과

그림 12.락 음악 분석 결과

먼저, 잔잔한 음악인 ‘허각-한사람’, ‘이승철-서쪽하늘’ 외 8곡을 STFT를 이용해 시간에 따른 주파수 변화를 분석한 결과로 잔잔한 음악 대부분이 200Hz의 낮은 주파수에 신호가 대부분 존재하는 것을 확인할 수 있었고, 동일한 시간대에 신호가 반복적으로 나타남을 확인 할 수 있었으며, amplitude 변화의 폭이 아주 작은 경향을 나타냈다. 신나는 음악인 ‘싸이-We are the one’, ‘신화-Brand New’, 외 8곡의 경우 잔잔한 음악에 비해 대부분의 주파수 대역에 신호가 존재하며, 비교적 amplitude 변화의 폭이 큰 것으로 확인되었고, 50∼100Hz의 낮은 주파수 대역에서 빠른 비트들이 일정하게 나타나는 경향을 보였다. 마지막으로 락 음악인 ‘김경호-shout’, ‘박완규-천년의 사랑’, 외 8곡의 시간에 따른 주파수 변화를 분석한 결과 다른 두 장르의 음악에 비해 1kHz 이상에서 많은 신호들이 존재하고, amplitude 변화의 폭이 아주 큰 것을 확인할 수 있었다.

실험을 통해 제안한 방법으로 장르별로 테스트 음악에 대해 조명 제어 실험을 해 보았을 때, 잔잔한 음악은 Green, Blue LED가 주로 점등 되고 White와 Red는 간혹 발생하는 경향을 보였으며, 신나는 음악과 락음악의 경우에는 네 가지 색상이 모두 점등되었으나 락음악의 경우에는 신나는 음악에 비해 amplitude 변화의 크기가 더 크기 때문에 더 밝은 색으로 강하게 점등되는 경향을 보였고 Red가 더 자주 점등되는 경향을 보였다. 그림 13, 그림 14, 그림 15는 테스트 음악에 대한 조명의 반응에 대한 사진이다.

그림 13.잔잔한 음악에 대한 조명의 반응

그림 14.신나는 음악에 대한 조명의 반응

그림 15.락 음악에 대한 조명의 반응

 

6. 결론 및 향후 연구 방향

우리가 흔히 즐겨듣는 음악은 여러 가지 장르로 분류될 수 있다. 발라드, 재즈, 팝, 락 등의 장르를 분류할 수 있으며, 감성을 기준으로 신나고 우울하고 시끄러운 느낌의 음악으로 분류되기도 한다. 본 논문에서는 간단하게 세 가지의 장르로 음악을 분류하고 장르에 따른 주파수 특성을 비교해 보았으며, 이를 조명 제어에 응용해 보았다. 잔잔한 음악은 비교적 낮은 주파수에서 amplitude의 변화폭이 작은 경향을 나타냈고, 신나는 음악은 낮은 주파수 대역에서 반복되는 빠른 비트들이 보이면서 대부분의 주파수대역에 신호가 고르게 분포하는 경향을 나타냈으며, 락음악은 다른 두 장르에 비해 아주 높은 대역의 주파수에서 신호가 많이 존재하는 경향을 나타냈다. 이를 바탕으로 조명의 색상과 밝기를 제어하고, 각 음악 장르에 대한 조명의 반응도 확인하였다. 또한, 음악 장르에 따른 조명의 반응이 감성적으로 나타나 음악과 조명이 어울리는 느낌을 받을 수 있었다.

향후에 보다 많은 음악을 바탕으로 장르에 따른 특성을 분석을 해서 자동 장르분류를 바탕으로 장르별로 다른 조명 제어 방법을 적용할 계획이다. 또한 음악의 감성 분석을 통하여 감성에 적합한 조명 제어 방법에 대한 연구가 필요하다.