A Sound Interpolation Method Using Deep Neural Network for Virtual Reality Sound

가상현실 음향을 위한 심층신경망 기반 사운드 보간 기법

Abstract

In this paper, we propose a deep neural network-based sound interpolation method for realizing virtual reality sound. Through this method, sound between two points is generated by using acoustic signals obtained from two points. Sound interpolation can be performed by statistical methods such as arithmetic mean or geometric mean, but this is insufficient to reflect actual nonlinear acoustic characteristics. In order to solve this problem, in this study, the sound interpolation is performed by training the deep neural network based on the acoustic signals of the two points and the target point, and the experimental results show that the deep neural network-based sound interpolation method is superior to the statistical methods.

본 논문은 가상현실 음향 구현을 위한 심층신경망 기반 사운드 보간 방법에 관한 것으로서, 이를 통해 두 지점에서 취득한 음향 신호들을 사용하여 두 지점 사이의 음향을 생성한다. 산술평균이나 기하평균 같은 통계적 방법으로 사운드 보간을 수행할 수 있지만 이는 실제 비선형 음향 특성을 반영하기에 미흡하다. 이러한 문제를 해결하기 위해서 본 연구에서는 두 지점과 목표 지점의 음향신호를 기반으로 심층신경망을 훈련하여 사운드 보간을 시도하였으며, 실험결과 통계적 방법에 비해 심층신경망 기반 사운드 보간 방법의 성능이 우수함을 보였다.

그림 1. 시스템 흐름도 Fig. 1. System flowchart

그림 2. 심층신경망 구성도 Fig. 2. Structure of deep neural network

그림 4. 스피커와 마이크의 배치 [6] FIg. 4. Array of speaker and microphone

그림 5. 잔향 환경의 음원에 대한 사운드 보간 기법의 스펙트럼 예시 Fig. 5. Spectrum example based on the sound generated by room impulse response

그림 3. 머리전달함수 합성 음원에 대한 스펙트럼 예시 Fig. 3. Spectrum example based on the sound generated by head-related transfer function

표 1. 머리전달함수 기반 합성음원에 대한 사운드 보간 기법의 음성 데이터 RMSE 결과 Table 1. RMSE result of speech data based on the sound generated by head-related transfer function

표 2. 머리전달함수 기반 합성음원에 대한 사운드 보간 기법의 스펙트럼 RMSE 결과 Table 2. RMSE result of spectrum magnitude based on the sound generated by head-related transfer function

표 3. 잔향 환경 음원에 대한 사운드 보간 기법의 RMSE 결과 Table 3. RMSE result based on the sound generated by room impulse response