• Journal of Satellite, Information and Communications
• /
• v.11 no.4
• /
• pp.102-106
• /
• 2016

With the popularity of smart phones and the help of high-speed wireless communication technology, high-quality multimedia contents have become common in mobile devices. Especially, the release of Oculus Rift opens a new era of virtual reality technology in consumer market. At the same time, 3D audio technology which is currently used to make computer games more realistic will soon be applied to the next generation of mobile phone and expected to offer a more expansive experience than its visual counterpart. This paper surveys concepts, algorithms, and systems for modeling 3D sound virtual environment applications. To do this, we first introduce an important design principle for audio rendering based on physics-based geometric algorithms and multichannel technologies, and introduce an audio rendering pipeline to a scene graph-based virtual reality system and a hardware architecture to model sound propagation.

• Electronics and Telecommunications Trends
• /
• v.19 no.4 s.88
• /
• pp.53-62
• /
• 2004

차세대 방송 서비스는 입체감있는 3차원 AV 콘텐츠와 자연스럽게 사용자와 인터랙션하는 대화형 콘텐츠를 기반으로 하는 실감방송으로 변화되어 갈 것으로 예상된다. 이러한 실감방송 서비스에서는 현장감을 효율적으로 나타낼 수 있는 음상 정위 및 음장 재현 등 3차원 오디오 기술과 사용자 인터랙션을 위한 객체기반 오디오 처리 기술들이 필요하다. 본 고에서는 이러한 현장감과 사용자 인터랙션을 통하여 가상현실에 근접한 서비스를 제공하기 위한 대표적인 3차원 오디오 기술의 개발 동향을 살펴본다. 우선 3차원 오디오 기술의 기본 개념 및 개요를 기술하며, 이러한 3차원 오디오 기술에 기반한 대화형 3차원 오디오 기술 개발에 대한 최근 동향을 살펴보고, 국내에서 개발하고 있는 객체기반 3차원 오디오 기술에 대하여 간략히 설명한다.

• Journal of Korea Multimedia Society
• /
• v.4 no.2
• /
• pp.130-135
• /
• 2001

When a networked virtual reality system handles composite media audio and video as well as three dimensional computer graphics, the quality of the virtual space is greatly affected by the current available network, and end system resources. Even if the network can preserve a certain amount of resources, the required resources change dynamically according to the user\`s navigation of a large virtual space, and then it may decrease the quality of the virtual space. In this paper, a method for resource allocation is proposed and the proposed system copes with the deterioration of quality of virtual spaces in case that the starvation of system resources occurs. The experimental results show that the proposed method is efficient.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2001.04a
• /
• pp.453-456
• /
• 2001

21세기에 새로운 분야로 대두되고 있는 가상현실은 많은 사람들의 흥미를 끌고 있다. 상상 속에서나 가능하던 일들을 현실감과 입체감을 통해 실제처럼 느낄 수 있게 해준다는 것이 가상현실의 가장 큰 매력일 것이다. 가상현실을 요하는 멀티미디어 기기들의 활발한 시장진출로 3D 효과를 가진 오디오/비디오의 하드웨어 구현이 불가피하다. 본 연구에서는 휴대용 기기들에서 실시간 3D 입체음향 효과를 얻을 수 있도록 하드웨어를 구성하였다. 기존의 입체음향 기술에서 사용되는 콘볼루션 방법은 계산량이 많기 때문에 실시간 구현이 어렵다. 그러나 제안된 방식은 FFT를 사용하여 주파수 영역에서 처리함으로써 계산량을 줄여 하나의 프로세서로도 실시간 처리가 가능하도록 하였다. 저가/저전력/소형화조건을 요구하는 휴대용 기기에서 3D 입체 음향 효과를 얻을 수 있는 것이다. DSP는 TI(Texas Instruments)사의 16비트 고정소수점(fixed-point) 프로세서인 TMS320C5416을 사용한다. 구현된 3D 입체음향 칩은 입체음향을 필요로 하는 휴대용 MP3 Player, 가전용 오디오/비디오 등에 응용될 수 있다.

• Broadcasting and Media Magazine
• /
• v.1 no.1
• /
• pp.61-74
• /
• 1996

디지탈 오디오 방송(DAB)과 디지털 텔레비전(DTV), 고선명 텔레비전(HDTV) 방송의 실용화가 다가오면서 대용량의 디지털 오디오 신호를 주관적인 왜곡없이 압축, 복원할 수 있는 고음질 오디오 부호화 방식이 방송음향 기술전반에 응용되고 있다[1][2]. 또한 방송 채널에 있어서도 기존의 스테레오에서 다채널 오디오 시스템으로 진전하면서 가상 현실, 입체음향 등에 필수적인 음장재생 기술이 적용되고 있다[3][4]. 위와 같은 기술은 디지털 오디오 신호처리 기술의 발전이 가져온 결과로 미래의 방송기술을 변화시키고 있다. 본 고에서는 디지털 방송 시스템에 있어서 디지털 신호처리 기술의 응용 분야를 살펴보고 새로운 기술을 소개하기로 한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2017.11a
• /
• pp.8-10
• /
• 2017

지상파 UHD 방송은 시청자에게 기존 HD 방송화면보다 4배 더 선명한 영상 서비스를 제공하며, 광대역 통신망과 결합한 홈포탈(Home Portal) 서비스를 통해서 다양한 부가서비스를 지상파 방송과 함께 제공할 수 있다. 본 논문에서는 지상파 UHD TV 방송과 연계된 360도 가상현실(VR; Virtual Reality) 부가서비스 시스템과 이를 효과적으로 시청하기 위한 사용자환경을 제안한다. 방송의 ESG(Electronic Service Guide)를 통해 시청자는 VR 부가서비스임을 확인하고 스마트 단말기 또는 HMD(Head Mount Display) 등을 이용하여 마치 현장에 있는 듯한 체험을 즐길 수 있다. 제안한 부가서비스는 앱 형태로 스마트 단말기에 설치하여 실행하며 지상파 UHD TV의 ESG 정보로부터 프로그램 편성과 VR 지원여부를 확인한다. 이를 통해, 실시간 방송 뿐 아니라 VOD 형태로 제공되는 다양한 비디오 및 오디오 콘텐츠를 극장에서 보는 것과 같은 빅스크린 모드, 360도 VR 모드, 오디오 청취모드 등 다양한 시청환경에서 감상할 수 있다. 제안한 사용자 환경은 게임엔진을 기반으로 개발되어 가상의 시청 공간에서 장소를 이동하며 영상, 음향 등 미디어 콘텐츠를 감상할 수 있다. 전용컨트롤러를 이용하면 다양한 인터액티브 콘텐츠를 효과적으로 운용하여 감상할 수 있으며, 일반적으로 통용되는 VR 기기 제어 모드도 지원하여 HMD나 일반 스마트 단말기 어느 것을 이용해서도 용이하게 사용자 메뉴를 선택할 수 있다. 제안된 시스템의 시제품은 IBC 2017 및 평창 ICT 체험관을 통해 발표되었다.

• The Journal of the Korea Contents Association
• /
• v.18 no.10
• /
• pp.11-19
• /
• 2018

This paper is about multimodal storytelling experience applying Virtual Reality technology in museum. Specifically, this research argues virtual reality in both intuitive understanding of history also multimodal experience in the space. This research investigates cases regarding use of virtual reality in museum sector. As a research method, this paper conducts a literature review regarding multimodal experience and examples applying virtual reality related technologies in museum. Based on the literature review to investigate the concept necessary with its related cases. Based on the investigation, this paper suggests constructing elements for multimodal storytelling based on VR. Ultimately, this paper suggests the elements of building VR storytelling where dynamic audio-visual and interaction mode combines with historical resources for diverse audiences.

• Journal of the Korea Computer Graphics Society
• /
• v.26 no.4
• /
• pp.9-15
• /
• 2020

Having a virtual talking face along with a virtual body increases immersion in VR applications. As virtual reality (VR) techniques develop, various applications are increasing including multi-user social networking and education applications that involve talking avatars. Due to a lack of sensory information for full face and body motion capture in consumer-grade VR, most VR applications do not show a synced talking face and body. We propose a novel method, targeted for VR applications, for talking face synced with audio with an upper-body inverse kinematics. Our system presents a mirrored avatar of a user himself in single-user applications. We implement the mirroring in a single user environment and by visualizing a synced conversational partner in multi-user environment. We found that a realistic talking face avatar is more influential than an un-synced talking avatar or an invisible avatar.

• Journal of Digital Convergence
• /
• v.13 no.8
• /
• pp.465-472
• /
• 2015

The virtual reality technology is currently used classifying functional types such as the observation operation type, the experimental activity type, the learning information type, the field problem-solving type, and other different types, based on the media's characteristics implementing 3D form of multi-sensory information. Using Virtual Reality, the restoration of the 'Doksu Palace' has been grafted onto J. Keller's ARCS model, suggesting a field restoration concept that reenacts the lives of the people that had been in the field with the cultural heritage and history based on a scenario based scene direction. This paper also summarizes 3 different types of implementation of the field restoration assorting multi-scene direction. Certain limitations exist, due to the fact that a completed prototype hasn't been suggested and that a detailed notion of the housing and 3D audio connection has been omitted.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.333-336
• /
• 2020

6 자유도 오디오 재현 기술은 사용자가 6 자유도를 가지는 콘텐츠 또는 응용에서 음향학적 주변 환경과 사용자의 위치에 맞는 오디오를 재현하는 기술로서, 가상 현실, 게임 등에 적용이 될 수 있다. 6 자유도 오디오는 기존의 고정된 위치에서 재생되는 채널 기반 오디오와는 다른 특징이 있어 오디오 재생 장치와 헤드폰 또는 스피커만으로 수행하던 기존의 오디오 청취 평가 방법으로 비교하고 평가하는 것이 불가능하다. 최근 MPEG 오디오 서브그룹에서는 6 자유도 오디오 재현 기술에 대한 표준화를 진행하고 있으며, 이를 평가할 수 있는 시스템도 함께 제시하고 있으며, 2019 년 12 월에는 제안한 시스템을 활용한 파일럿 테스트가 진행이 되었다. 본 논문에서는 MPEG 에서 진행한 파일럿 테스트 시스템과 평가 방법에 대하여 살펴보고, 본 기관에서 평가한 내용 및 결과에 대해 기술하며, MPEG 에서 제시한 평가 시스템이 6 자유도 오디오 재현 기술의 평가에 적절한지에 대한 의견을 제시한다.