Abstract
We implement an interactive 3D audio broadcasting terminal which synthesizes an audio scene according to the request of a user. Audio scene structure is described by the MPEG-4 AudioBIFS specifications. The user updates scene attributes and the terminal synthesizes the corresponding sound images in the 3D space. The terminal supports the MPEG-4 Audio top nodes and some visual nodes. Instead of using sensor nodes and route elements, we predefine node type-specific user interfaces to support BIFS commands for field replacement. We employ sound spatialization, directivity/shape modeling, and reverberation effects for 3D audio rendering and realistic feedback to user inputs. We also introduce a virtual concert program as an application scenario of the interactive broadcasting terminal.
본 논문에서는 사용자 제어에 따라 3차원 오디오 장면을 재구성할 수 있는 대화형 오디오 방송단말에 관하여 기술한다. MPEG-4 AudioBIFS 규격에 따라 계층적으로 표현한 오디오 장면의 속성을 사용자 제어에 따라 갱신하고, 주어진 속성을 참조하여 오디오 데이터를 3차원 공간상에 재합성하는 방식을 취한다. 단말은 MPEG-4 Audio 최상위 노드와 몇몇 비디오 노드를 지원하며, 센서 노드와 라우트 요소를 이용하는 대신에 노드 유형에 따른 사용자 인터페이스를 미리 정의함으로써 필드 갱신 BIFS 명령어를 지원한다. 3차원 오디오 데이터를 재생하는 기능은 사용자의 입력에 대한 피드백을 풍부하게 하여 대화형 방송의 효과를 극대화하고, 사실감을 제고하는 데 중요한 역할을 담당한다. 본 단말에서는 3차원 오디오 기술을 이용하여 음상의 위치, 지향성, 모양, 잔향특성 등을 사용자가 제어할 수 있다. 본 논문에서는 가상 합주 프로그램 등의 서비스 예를 통해 대화형 방송단말의 서비스 모델을 제시한다.
