• International Journal of Contents
• /
• 제16권4호
• /
• pp.68-77
• /
• 2020

VR (Virtual Reality) contents make the audience perceive virtual space as real through the virtual Z axis which creates a space that could not be created in 2D due to the space between the eyes of the audience. This visual change has led to the need for technological changes to sound and sound sources inserted into VR contents. However, studies to increase immersion in VR contents are still more focused on scientific and visual fields. This is because composing and producing VR sounds require professional views in two areas: sound-based engineering and computer-based interactive sound engineering. Sound-based engineering is difficult to reflect changes in user interaction or time and space by directing the sound effects, script sound, and background music according to the storyboard organized by the director. However, it has the advantage of producing the sound effects, script sound, and background music in one track and not having to go through the coding phase. Computer-based interactive sound engineering, on the other hand, is produced in different files, including the sound effects, script sound, and background music. It can increase immersion by reflecting user interaction or time and space, but it can also suffer from noise cancelling and sound collisions. Therefore in this study, the following methods were devised and utilized to produce sound for VR contents called "A Midsummer Night" so as to take advantage of each sound-making technology. First, the storyboard is analyzed according to the user's interaction. It is to analyze sound effects, script sound, and background music which is required according to user interaction. Second, the sounds are classified and analyzed as 'simultaneous sound' and 'individual sound'. Thirdly, work on interaction coding for sound effects, script sound, and background music that were produced from the simultaneous sound and individual time sound categories is done. Then, the contents are completed by applying the sound to the video. By going through the process, sound quality inhibitors such as noise cancelling can be removed while allowing sound production that fits to user interaction and time and space.

• 한국항해항만학회지
• /
• 제27권2호
• /
• pp.145-153
• /
• 2003

가상현실 (VR) 시뮬레이터의 임장감 증대방법을 제안했다. 이 방법은 입체영상과 3차원음향 사이의 상호 상승효과에 의하여 인간이 느끼는 현실감을 증대시키기 위한 것이다. 상호 상승효과를 실험하기 위하여 PC 모니터와 LCD 셔터그래스로 구성된 VR 시뮬레이터를 이용하여 5명의 대학생을 대상으로 주관평가를 실시하였다. 실험결과, 입체영상에 3차윈음향을 부가한 경우, 자연감을 나타내는 척도 $I_{nat}$ 가 3.1에서 3.6으로 0.5 상승하고, 음상정위 평가척도 $A_{SL}$ 는 70~75%에서 80~85% 로 10% 상승하는 결과를 나타냈다. 따라서, 이 연구에서 제안한 방법이 VR 시뮬레이터의 현실감을 증대시킬 수 있었다.

• 디지털융복합연구
• /
• 제14권11호
• /
• pp.495-500
• /
• 2016

2016년을 기점으로 VR 시장이 급속도로 성장하고 있으며, 현재 VR 시장에서 가장 중요한 이슈로 떠오르고 있는 것은 VR 콘텐츠이다. 사용자의 몰입감과 상호작용을 최대한 충족시킬 수 있는 제작 기법과 좀 더 다양한 VR 콘텐츠가 필요하기 때문이다. 본 연구는 VR 콘텐츠 중 VR 영상 콘텐츠를 중심으로 몰입감을 지속할 수 있게 하고 향상할 수 있는 시청각 유도의 구성요소들을 국내외 사례 분석을 통해 시청각 유도의 올바른 방향성을 찾아보았다. 그 결과 시청각 유도의 시각적 청각적 구성요소로는 촬영, 편집, 조명, 스티칭, 그래픽, 이펙트, 성우 내레이션, 더빙, 등장인물의 음성, 배경음악 및 효과음 등이 있었고, 다시 기술적 내용적 요소로는 촬영기법, 편집기법, 조명, 스티칭, 그래픽과 이펙트, 사운드 및 효과음, 미장센 중심의 연극적 연출, 등장인물의 대사 및 내레이션, 등장인물과 오브제의 움직임 등으로 나타났으며, 더불어 향후 VR 영상 콘텐츠는 몰입감을 향상할 수 있는 시청각적 구성요소들과 함께 기술적 내용적인 구성요소들이 필요하며 지속적인 연구가 병행되어야 할 것이다.

• 한국전자통신학회논문지
• /
• 제12권6호
• /
• pp.1135-1142
• /
• 2017

본 논문에서는 개인방송서비스에서 실감 음향을 구현할 수 있도록, 화면 변화에 따른 음향 데이터의 변화를 추적하여, 자동적으로 화면과 음향을 믹싱하도록 도와주는 알고리즘을 제안하고자 한다. 실험을 통하여 화면의 회전각도 변화에 따른 음원에서의 고주파 대역에서의 음압 변화를 확인하였고, 소리의 명료도와 관련되는 주파수 대역인 2kHz, 4kHz, 8kHz에서의 음압 변화를 회귀분석을 통하여 각각 -1.17 dB/degree, -2.0 dB/degree, -2.44 dB/degree로 음압의 감쇄 변화 추세를 파악하였다. 이 실험결과는 음압열화를 보완하여 실감음향을 향상시키는 믹싱 알고리즘에 사용되어, 실감 개인방송 서비스 보급에 유용할 것으로 기대된다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제12권12호
• /
• pp.5936-5954
• /
• 2018

Eight out of the top ten the largest technology companies in the world are involved in some way with the coming mobile VR revolution since Facebook acquired Oculus. This trend has allowed the technology related with mobile VR to achieve remarkable growth in both academic and industry. Therefore, the importance of reproducing the acoustic expression for users to experience more realistic is increasing because auditory cues can enhance the perception of the complicated surrounding environment without the visual system in VR. This paper presents a audio downmixing system for auralization based on hardware, a stage of sound rendering pipelines that can reproduce realiy-like sound but requires high computation costs. The proposed system is verified through an FPGA platform with the special focus on hardware architectural designs for low power and real-time. The results show that the proposed system on an FPGA can downmix maximum 5 sources in real-time rate (52 FPS), with 382 mW low power consumptions. Furthermore, the generated 3D sound with the proposed system was verified with satisfactory results of sound quality via the user evaluation.

• 한국자동차공학회논문집
• /
• 제13권2호
• /
• pp.149-156
• /
• 2005

In this paper, the VR(Virtual Reality) simulation system is developed to analyze driver's perceptive response on the ASV(Advanced Safety Vehicle). The ASV is the vehicle of next generation equipped with various warning systems. For the purpose, the VR simulation system consists of VR database, vehicle dynamic model, graphic/sound system, and driving system. The VR database which generates 3D graphic and sound information is organized for the driving reality. Mathematical models of vehicle dynamic analysis are constructed to represent the dynamic behavior of a vehicle. The driving system and the graphic/sound system provide a driver with the operation of a vehicle and the feedback of a driving situation. Also, the real-time simulation algorithm synchronizes the vehicle dynamic model with the VR database. To check the validity of the developed system, a simple scenario is applied to investigate driver's perceptive response time and vehicle acceleration on an emergency situation. It is confirmed that the proposed system is useful and helpful to design the FVCWS(Forward Vehicle Collision Warning System).

• 한국감성과학회:학술대회논문집
• /
• 한국감성과학회 2000년도 추계학술대회 논문집
• /
• pp.222-227
• /
• 2000

본 논문은 VR시스템에서 실시간으로 3D Sound를 Rendering하기 위한 음장재현 시스템구현에 관한 것이다. 2개의 Speaker 또는 헤드폰을 사용하여 음장을 제어할 수 있다. 음장 제어는 레이 트레이싱(Ray Tracing)기법을 이용하여 음장을 시뮬레이션하고 가상 공간의 음장 파라미터를 추출하여 음원에 적용하면서 실시간으로 음장효과를 렌더링한다. 이 시스템은 펜티엄-II 333MHz, 128M RAM, SoundBlaster SoundCard를 사용한 시스템에서 구현하였다. 최종적으로 청취자는 2개의 스피커 또는 헤드폰을 이용하여 3D 음장을 경험하게 된다.

• 대한기계학회논문집A
• /
• 제28권8호
• /
• pp.1116-1124
• /
• 2004

In these days, a vehicle simulator has been developed with a VR(Virtual Reality) system. A VR system must provide a vehicle simulator with natural interaction, sufficient immersion and realistic images. In addition, a VR system must present a driver with the realistic driving situation. To achieve these, it is important to obtain a fast and uniform rendering performance regardless of the complexity of virtual worlds. In this paper, the factors to improve the reality for the VR based vehicle simulator have been investigated. For the purpose, the modeling and the rendering methods which offer an improved performance for complex VR applications as the 3D road model have been implemented and verified. Then, we experiment on the influence of graphic and sound factors to the driver, and analyze each result for improving the reality such as the driver's viewport, the form of texture, the lateral distance of the side object, and the sound effect. These factors are evaluated on the driving system which is constructed for qualitative analysis. The research results could be used for improving the reality of the VR based vehicle simulator.

• 한국콘텐츠학회논문지
• /
• 제17권9호
• /
• pp.173-183
• /
• 2017

본 연구는 VR저널리즘인 뉴욕타임즈의 <난민(THE DISPLACED)>을 중심으로 영상텍스트 분석을 실시하였다. <난민>의 영상텍스트 분석은 앵글, 쇼트(크기, 길이, 이동), 제한된 이용자 주도형 상호작용(시점, 사운드)의 틀로 분석 하였다. 그 결과는 다음과 같다. 첫째, 앵글은 Normal 앵글, Low 앵글 위주로 연출되었다. 둘째, 쇼트는 Medium, Full, Long 쇼트 순으로 연출된 것을 확인 할 수 있었다. 셋째, 쇼트의 길이는 대부분 롱테이크 연출이 많았다. 넷째, 대부분의 영상은 고정된 쇼트로 구성되어졌다. 마지막으로, 제한된 이용자 주도형 상호작용이다. 이는 두 가지 방법으로 나뉘는데 사운드와 독립된 주체의 움직임을 통한 시점유도와 이용자들에게 사실적 상황 인지를 통한 자유로운 시점으로 상호작용을 유도했다. 본 연구는 VR 저널리즘에 대한 보다 심도 있는 논의 전진을 위한 기초 연구라고 할 수 있다.

• 한국음향학회:학술대회논문집
• /
• 한국음향학회 2000년도 학술발표대회 논문집 제19권 2호
• /
• pp.353-356
• /
• 2000

본 논문은 VR시스템에서 실시간으로 3D Sound를 Rendering하기 위한 음장재현 시스템구현에 관한 것이다. 2개의 Speaker 또는 헤드폰을 사용하여 음장을 제어할 수 있다. 음장 제어는 레이 트레이싱(Ray Tracing)기법을 이용하여 음장을 시뮬레이션하고 가상 공간의 음장 파라미터를 추출하여 음원에 적용하면서 실시간으로 음장효과를 렌더링한다. 이 시스템은 펜티엄-II 333MHz, 128M RAM, Sound Blaster Sound Card를 사용한 시스템에서 구현하였다. 최종적으로 청취자는 2개의 스피커 또는 헤드폰을 이용하여 3D 음장을 경험하게 된 다.