• The Journal of the Korea Contents Association
• /
• v.13 no.5
• /
• pp.1-8
• /
• 2013

Focused on the fact that sound is one of the important sensory cues delivering situations such as impact, this paper proposes an auditory interaction design approach for virtual environment. Based on a few sampling of basic material sound for various materials such as steel, rubber, and glass, the proposed method enables design transformations of the basic sound by allowing modification of mode gains that characterize natural sound for the material. In real-time virtual environment, it also provides simulation of modified sound according to the change of impact situation's perceptual properties such as colliding objects' size, hardness, contacting area, and speed. The test results on cognition experiment for discriminating objects' materials and impact situation by sound showed the feasibility of proposed auditory interaction design method.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2015.10a
• /
• pp.1765-1768
• /
• 2015

3D 디스플레이 기술이 발달함에 따라 3 차원 공간에서의 뇌-컴퓨터 인터랙션 기술에 대한 관심이 높아지고 있다. 3D 디스플레이 기술은 사용자에게 실재감과 몰입감을 부여하여 특정 태스크를 수행할 때 사용자 태스크 퍼포먼스를 향상시킬 수 있다. 이와 같은 3D 입체감이 주는 긍정적 효과에 대한 연구는 교육, 주의력 향상, 엔터테인먼트를 목적으로 하는 뇌-컴퓨터 인터랙션 분야에서도 활발히 이루어지고 있다. 뇌-컴퓨터 인터랙션을 구성하는 뇌파성분에는 시각, 청각, 촉각 유발지속전위, 사건유발전위, 사건관련 동기/비동기화 성분, 느린 피질전위 등이 있다. 이 중 시유발 지속전위를 이용한 뇌-컴퓨터 인터랙션 기술은 오브젝트 콘트롤을 위한 사전훈련이 거의 요구되지 않으며 높은 정보전달율을 가지는 것을 특정으로 하기 때문에 최근 널리 사용되고 있다. 그러나 저주파수 대역의 명멸자극이 유발하는 피로감으로 인해 사용시간이 제한적인 한계점이 있다. 따라서, 본고에서는 유발뇌파의 일종인 시유발지속전위를 이용한 뇌-컴퓨터 인터랙션 기술을 소개하고 3D 홀로그램 인터랙션 수행 시 피로감을 최소화할 수 있는 방안에 대해 논의 하고자 한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2020.07a
• /
• pp.413-414
• /
• 2020

본 논문에서는 수중 문화재를 주제로 오감 인터랙션을 활용한 디지로그 전시 기법을 연구한다. 영상을 활용한 디지털미디어가 중심인 기존의 전시 기법에 시각, 청각, 촉각과 같은 다양한 감각기관을 활용한 인터랙션을 추가함으로써 관람객에게 새로운 경험을 제공하고자 한다. 프로젝션 매핑, 증강현실과 같은 디지털 기술과 난파선과 자갈, 실물 크기의 모형 유물과 같은 아날로그를 결합하여 관람객에게 실재감을 주어 효과적인 몰입감(flow)을 유도하고자 한다.

• Journal of Korea Game Society
• /
• v.19 no.2
• /
• pp.135-144
• /
• 2019

This study examined the role of enjoyment in the relationship between perceived auditory feedback (PAF), which provides information about the situation during game play, and user experience factors. 100 undergraduates played a mobile game, 'Classy Royale' and took a survey about their user experience. As a result of analyzing the available data from 98 participants, PROCESS MACRO showed that PAF was positively associated with enjoyment, immersion, and intention to use; enjoyment mediated the effects of PAF on immersion and intention. These results can help game research and development regarding the functional value of audio factors.

• Science of Emotion and Sensibility
• /
• v.23 no.1
• /
• pp.41-56
• /
• 2020

This study suggests multisensory interaction techniques to help visually impaired people appreciate and understand artworks through non-visual senses such as tactile, auditory, and olfactory senses. A user study was conducted on the basis of a qualitative interview about the experience of appreciating artwork through the multisensory interaction system to visually impaired people so as to verify the development of the interaction techniques. The user test shows that the multisensory interactions in artwork generally not only help them appreciate and understand it but also give them satisfaction through artwork appreciation. However, it also indicates that some multisensory interactions caused the visually impaired people confusion and could not be perceived during the appreciation. On the basis of these outcomes, implications in this study are as follows. This study has contributed to providing specific development guidelines and indicators of non-visual multisensory interactions as a technical alternative to improve accessibility to cultural and artistic activities for the visually impaired. Furthermore, this study is expected to contribute to building a technical background, which can provide comprehensive sensory experiences with not only blind people but also non-blind people such as children and the elderly through universal interaction techniques beyond existing visual-oriented fragmentary experience.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.23 no.4
• /
• pp.407-415
• /
• 2019

Hearing - impaired children who have difficulty hearing and hearing go through pronunciation training. The purpose of this study is to provide the pronunciation training system based on digital contents that can be used for repeated hearing training while maintaining interest in hearing - impaired children. For this purpose, we conducted an interview survey for users and experts. Based on the results, we developed a digital content based pronunciation training system. Finally, to verify the effect of the digital service implemented, the user test was conducted for the hearing - impaired children. As a result of the interview, repeated training and interest factors were found to be essential factors affecting pronunciation training. In implementing digital services, we have used fairy tales and a variety of interactive elements to derive children's interests and designed a user flow that can train multiple words and sentences for effective repetition training. As a result of the test, this digital content was evaluated positively.

• Journal of the Korea Convergence Society
• /
• v.11 no.11
• /
• pp.175-182
• /
• 2020

In this study, we introduced the technique of matching classical music using deep learning to design soundscape that can help the viewer appreciate painting and proposed an evaluation index to evaluate how well matching painting and music. The evaluation index was conducted with suitability evaluation through the Likeard 5-point scale and evaluation in a multimodal aspect. The suitability evaluation score of the 13 test participants for the deep learning based best match between painting and music was 3.74/5.0 and band the average cosine similarity of the multimodal evaluation of 13 participants was 0.79. We expect multimodal evaluation to be an evaluation index that can measure a new user experience. In addition, this study aims to improve the experience of multisensory artworks by proposing the interaction between visual and auditory. The proposed matching of painting and music method can be used in multisensory artwork exhibition and furthermore it will increase the accessibility of visually impaired people to appreciate artworks.

• Proceedings of the Korean Information Science Society Conference
• /
• 2005.07b
• /
• pp.550-552
• /
• 2005

실감 재현이 중요한 가상현실 응용에서는 사용자에게 고급 그래픽 환경을 제시하고 사용자의 인터랙션에 즉각적인 피드백을 제공함으로서 실재감과 몰입감을 증대시키는 연구가 진행되어왔다. 실재감, 공간감 전달을 위해 시각과 청각을 함께 활용하는 것이 효과적이나, 가상공간의 특징을 반영한 3차원 사운도 재현 연구는 국내외 통틀어 초기단계에 머물러 있다. 실재감과 공간감을 반영한 3차원 사운드의 재현을 위해서는 음원의 전파, 반사, 잔향 풍의 계산이 사용자의 인터랙션에 따라 새롭게 계산되어야한다. 그러나 사운드 전파경로와 공간을 이루는 모든 폴리곤들과의 충돌을 검사하며 반사 등을 계산하는 것은 실시간성이 중요한 가상현실응용에서는 무리가 따르므로 실 시간성을 보장하기 위한 계산량 축소가 요구된다. 본 논문에서는 다수의 음원이 존재하는 복잡한 가상공간에서의 3차원 사운드를 재현하기 위하여 사운드 신과 계산에 필요한 최소한의 정보를 가지는 오디오 씬 그라프의 공간을 재구성하고 다수의 음원을 대상으로 음원 축소 및 군집화를 적용하여 3차원 사운드효과를 실시간으로 재현하는 알고리즘을 제안한다.

• Proceedings of the Korean Society for Emotion and Sensibility Conference
• /
• 2002.11a
• /
• pp.66-73
• /
• 2002

범용 가상환경 프레임워크 NAVER를 제안하고, 이를 케이브기반 가상현실환경에 적용하여 자동차 시제품 평가 실험에 활용한 사례를 소개한다. NAVER는 다양한 가상현실 어플리케이션을 구현하기 위한 가상환경 프레임워크로, 확장성이 뛰어나고 재구성이 가능하다. NAVER는 Render Server, Control Server, 그리고 Device Server로 구성되어 있으며, 각 서버는 네트워크로 상호 통신하여 각각의 기능을 수행한다. NAVER는 XML 기반 스크립팅 언어를 지원하여 사용자가 자유롭게 가상환경의 여러 가지 객체와 인터랙션을 정의할 수 있도록 설계되었다. NAVER를 케이브 기반 가상현실환경에 적용하여 자동자 시제품평가 실험에 활용하였다. KIST의 케이브 기반 가상현실환경은 4면의 정방형 스테레오 디스플레이 장치, 햅틱 암마스터 장비, 3차원 음향장비 등으로 구성되어 있어, 사용자에서 시각적인 측면에서 뿐만 아니라 촉각, 청각과 같은 여러가지 측면에서 다중현실감을 제시할 수 있다. 자동차 시제품 평가 실험를 통하여 사용자가 실제 자동차가 아닌 가상의 자동차 시제품을 관찰하고, 만져보고, 주행해 봄으로써 더욱 높은 몰입감과 현실감으로 자동차 조작장치의 조작성을 평가할 수 있음을 입증하였다.

• The Journal of the Korea Contents Association
• /
• v.22 no.4
• /
• pp.70-82
• /
• 2022

At the current stage of a semi-autonomous vehicle, there are situations in which the vehicle has to request take-over control to the driver quickly. However, current self-driving cars use only simple messages and warning sounds to notify drivers when handing over control, so they do not adequately convey considerations of individual characteristics or explanations of various emergent situations. This study investigated how visual and auditory information and the efficacy of drivers in self-driving cars can improve efficient take-over requests between the car and the driver. We found that there were significant differences in driver's cognitive load, reliability, safety, usability, and usefulness according to the combination of three visual and auditory information provided in the experiment of the take-over request situation. The results of this study are expected to help design self-driving vehicles that can communicate more safely and efficiently with drivers in urgent control transition situations.