• 전자통신동향분석
• /
• 제37권3호
• /
• pp.52-63
• /
• 2022

Immersive media, also known as spatial media, has become essential with the decrease in face-to-face activities in the COVID-19 pandemic era. Teleconference, metaverse, and digital twin have been developed with high expectations as immersive media services, and the demand for hyper-realistic media is increasing. Under these circumstances, MPEG-I Immersive Media is being standardized as a technologies of navigable virtual reality, which is expected to be launched in the first half of 2024, and the Audio Group is working to standardize the immersive audio technology. Following this trend, this article introduces the trend in MPEG-I immersive audio standardization. Further, it describes the features of the immersive audio rendering technology, focusing on the structure and function of the RM0 base technology, which was chosen after evaluating all the technologies proposed in the January 2022 "MPEG Audio Meeting."

• 전자통신동향분석
• /
• 제34권3호
• /
• pp.13-22
• /
• 2019

Although virtual reality technology may not be deemed as having a satisfactory quality for all users, it tends to incite interest because of the expectation that the technology can allow one to experience something that they may never experience in real life. The most important aspect of this indirect experience is the provision of immersive 3D audio and video, which interacts naturally with every action of the user. The immersive audio faithfully reproduces an acoustic scene in a space corresponding to the position and movement of the listener, and this technology is also called spatial audio. In this paper, we briefly introduce the trend of spatial audio technology in view of acquisition, analysis, reproduction, and the concept of MPEG-I audio standard technology, which is being promoted for spatial audio services.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제14권3호
• /
• pp.1121-1141
• /
• 2020

We propose a robust visual object tracking algorithm fusing a convolutional neural network tracker trained offline from a large number of video repositories and a color histogram based tracker to track objects for mixing immersive audio. Our algorithm addresses the problem of occlusion and large movements of the CNN based GOTURN generic object tracker. The key idea is the offline training of a binary classifier with the color histogram similarity values estimated via both trackers used in this method to opt appropriate tracker for target tracking and update both trackers with the predicted bounding box position of the target to continue tracking. Furthermore, a histogram similarity constraint is applied before updating the trackers to maximize the tracking accuracy. Finally, we compute the depth(z) of the target object by one of the prominent unsupervised monocular depth estimation algorithms to ensure the necessary 3D position of the tracked object to mix the immersive audio into that object. Our proposed algorithm demonstrates about 2% improved accuracy over the outperforming GOTURN algorithm in the existing VOT2014 tracking benchmark. Additionally, our tracker also works well to track multiple objects utilizing the concept of single object tracker but no demonstrations on any MOT benchmark.

• ETRI Journal
• /
• 제38권5호
• /
• pp.829-837
• /
• 2016

In this paper, we introduce extension tools for MPEG Surround, which were recently adopted as MPEG-H 3D Audio tools by the ISO/MPEG standardization group. MPEG-H 3D Audio is a next-generation technology for representing spatial audio in an immersive manner. However, considerably large numbers of input signals can degrade the compression performance during a low bitrate operation. The proposed extension of MPEG Surround was basically designed based on the original MPEG Surround technology, where the limitations of MPEG Surround were revised by adopting a new coding structure. The proposed MPEG-H 3D Audio technologies will play a pivotal role in dramatically improving the sound quality during a lower bitrate operation.

• 한국전자통신학회논문지
• /
• 제10권2호
• /
• pp.233-238
• /
• 2015

본 논문에서는 FTV(Free-viewpoint TV) 서비스에서, 몰입도를 향상시킬 수 있는 유효 잡음 이용 입체 음향효과 방법을 제안한다. 농구장에서 초지향성 마이크 및 무선 마이크를 사용하여 선수와 심판의 연속적인 음향 정보를 획득함으로써 주파수 스펙트럼을 관찰하였으며, 스펙트럼을 분석하여 시청자가 Zoom-in을 할 경우, 유효 주파수 여부를 판단하였다. 따라서 FTV 서비스에서 시청자가 피사체를 향해 Zoom-in 시, 제거대상이었던 잡음을 활용할 필요가 있음을 제시하였다. 본 연구는 향후 FTV의 입체 음향 연구에 활용될 것으로 기대된다.

• International Journal of Internet, Broadcasting and Communication
• /
• 제13권1호
• /
• pp.161-167
• /
• 2021

This paper proposes a new personalized HRTF estimation method which is based on a deep neural network (DNN) model and improved elevation reproduction using a notch filter. In the previous study, a DNN model was proposed that estimates the magnitude of HRTF by using anthropometric measurements [1]. However, since this method uses zero-phase without estimating the phase, it causes the internalization (i.e., the inside-the-head localization) of sound when listening the spatial sound. We devise a method to estimate both the magnitude and phase of HRTF based on the DNN model. Personalized HRIR was estimated using the anthropometric measurements including detailed data of the head, torso, shoulders and ears as inputs for the DNN model. After that, the estimated HRIR was filtered with an appropriate notch filter to improve elevation reproduction. In order to evaluate the performance, both of the objective and subjective evaluations are conducted. For the objective evaluation, the root mean square error (RMSE) and the log spectral distance (LSD) between the reference HRTF and the estimated HRTF are measured. For subjective evaluation, the MUSHRA test and preference test are conducted. As a result, the proposed method can make listeners experience more immersive audio than the previous methods.

• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제9권4호
• /
• pp.420-430
• /
• 2003

본 논문에서는 멀티모달(multi-modal) 인터페이스를 통해 지능적 가상검객과 체감형 검도게임을 할 수 있는 시스템을 제안한다. 제안된 검도게임 시스템은 멀티모달 인터페이스(시각과 청각), 인공지능(AI), 피드백(스크린과 사운드) 등 크게 세 가지 모듈로 구성된다. 첫 번째로, 멀티모달 인터페이스는 시각기반, 3차원 인터페이스를 이용하여 사용자가 자유롭게 3차원 공간에서 움직일 수 있도록 하고, 음성기반 인터페이스를 이용하여 사용자가 현실감 있는 검도게임을 즐길 수 있도록 한다. 두 번째, 인공지능은 가상검객에게 멀티모달 인터페이스에서 입력되는 시각과 음성을 인식하여 가상검객의 반응을 유도한다. 마지막으로, 대형 스크린과 스피커를 통한 시청각 피드백은 체감형 상호작용을 통하여 사용자가 몰입감을 느끼며 검도게임을 경험할 수 있도록 한다. 따라서 제안된 시스템은 전신의 움직임으로 사용자에게 몰입감의 검도게임을 제공한다. 제안된 시스템은 오락 외에 교육, 운동, 예술행위 등 다양한 분야에 적용될 수 있다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제12권12호
• /
• pp.5936-5954
• /
• 2018

Eight out of the top ten the largest technology companies in the world are involved in some way with the coming mobile VR revolution since Facebook acquired Oculus. This trend has allowed the technology related with mobile VR to achieve remarkable growth in both academic and industry. Therefore, the importance of reproducing the acoustic expression for users to experience more realistic is increasing because auditory cues can enhance the perception of the complicated surrounding environment without the visual system in VR. This paper presents a audio downmixing system for auralization based on hardware, a stage of sound rendering pipelines that can reproduce realiy-like sound but requires high computation costs. The proposed system is verified through an FPGA platform with the special focus on hardware architectural designs for low power and real-time. The results show that the proposed system on an FPGA can downmix maximum 5 sources in real-time rate (52 FPS), with 382 mW low power consumptions. Furthermore, the generated 3D sound with the proposed system was verified with satisfactory results of sound quality via the user evaluation.

• 한국통신학회논문지
• /
• 제42권2호
• /
• pp.432-443
• /
• 2017

MPEG-H 3D 오디오 표준은 UHDTV 등의 초고해상도 방송서비스에 대응하는 실감음향 서비스의 제공을 목표로 한다. 이를 위해 본 표준은 다채널 신호, 객체 신호, 장면 기반 신호의 부호화/복호화 기술과 다양한 재생 환경에서 3차원 오디오 제공을 위한 렌더링 기술, 후처리 기술 등 방대한 기술을 통합하였다. 본 표준의 참조 소프트웨어 복호화기는 여러 모듈들이 결합된 구조로 다양한 모드에서 동작이 가능하며, 각 모듈들이 독립된 실행파일로 순차적으로 실행되어 실시간 처리가 불가능하다. 본 논문에서는 MPEG-H 3D 오디오의 코어 복호화기, 포맷 변환기, 객체 렌더러, 바이노럴 렌더러의 각 함수를 동적 라이브러리화 및 통합하여 프레임 기반 복호화가 가능하도록 하였다. 또한 MPEG-H 3D 오디오의 각 모드별 연산량을 측정하여 다양한 하드웨어 플랫폼에서 적합한 모드를 선택하기 위한 참고 자료를 제공한다. 연산량 분석 결과, 한국 방송 표준에 포함된 저연산량 프로파일은 채널 신호로 렌더링을 할 경우 QMF 합성 연산의 2.8배에서 12.4배의 연산량을 가지며, 바이노럴 렌더링을 할 경우 QMF 합성 연산의 4.1배에서 15.3배의 연산량을 가진다.

• 방송공학회논문지
• /
• 제26권5호
• /
• pp.643-651
• /
• 2021

현대인들의 정보습득은 대부분 시각을 통해 이루어진다. 컴퓨터, 스마트폰 등의 스크린은 사람들의 시각을 끊임없이 자극하여 피로감을 증가시킨다. 이러한 사회 현상 속에서 21세기의 최첨단 사운드 시스템의 실감 나고 풍부한 소리는 사람들의 몸과 마음에 다양한 방법으로 영향을 미칠 수 있다. 소리를 통해 인간은 마음을 안정시키고 자신을 관찰할 여지를 제공받게 되는 것이다. 본 논문에서는 ALgruppe와 Rory's PranaLab이 공동으로 실시한 실감음향을 기반으로 한 입체음향요가 수련을 소개하고 실감오디오 시스템에 관한 이해를 도모하고자 하는 목적을 가진다. 실감음향으로 체험하는 입체음향 요가는 단순히 소리의 효과를 누리는 것이 아니라 요가 수련자들이 내면을 들여다보는 자의식을 갖게 하는 강력한 에너지가 됨을 알 수 있었다. 이는 현대사회의 지식의 지평이 요구하는 다학문적 교류에 대한 응답임과 동시에 새로운 문화콘텐츠의 가능성을 알리는 것이다.