• 한국정밀공학회지
• /
• 제28권5호
• /
• pp.638-647
• /
• 2011

Various approaches directly using vibrations of speakers have been suggested to effectively display the aural information such as the music to the hearing-impaired or the deaf. However, in these approaches, the human can't sense the frequency information over the maximum perceivable vibro-tactile frequency (around 1kHz). Therefore, in this study, an approach via spectral modulation of compressing the high frequency audio information into perceivable vibro-tactile frequency domain and outputting the modulated signals through the designated speakers is proposed. Then it is shown, through simulations of using Short-Time Fourier Transform (STFT) with Hanning windows and through preliminary experiments of using the vibro-tactile display testbed which is built and interfaced with a notebook PC, that the modulated signal of a natural sound composing sounds of a frog, a bird, and a water stream could produce the noise-free signal suitable enough for vibro-tactile speakers without causing Significant interfering disturbances, Lastly, for three different combinations of information provided to the subject, that is, i) with only video image, ii) with video image along with the modulated vibro-tactile stimuli as proposed in this study to the forearm of the subject, and iii) with video image along with full audio information, the effects to the human sense of reality and his emotion to given audio-video clips including various sounds and images are investigated and compared. It is shown from results of those experiments that the proposed method of providing modulated vibro-tactile stimuli along with the video images to the human has very high feasibility to transmit pseudo-aural sense to the human.

• 한국정밀공학회:학술대회논문집
• /
• 한국정밀공학회 2011년도 춘계학술대회 논문집
• /
• pp.971-972
• /
• 2011

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2007년도 학술대회 1부
• /
• pp.881-886
• /
• 2007

오감 융합 정보 시대가 도래한다. 오감 융합은 감각 정보의 전이 기술 개발로 가능하다. 본 연구는 청각 정보의 촉각 정보 전이에 대한 연구이다. WMPlayer10SDK는 마이크로소프트사의 윈도우즈 미디어 플레이어(Windows Media Player, WMP)를 전용 소프트웨어 기반으로 하는 Plug-in 개발툴이다. WMPlayer10SDK 시스템은 WMP 내에서의 비디오와 오디오의 신호 정보를 추출하는 부분을 제공한다. 이를 이용하여 촉각 디스플레이(Tactile Display)장치인 Pos Tactor를 연동하여 음성 신호에서 진동 촉각을 제시하는 시스템을 개발하였다. 음성신호는 8bit, 16bit, 24bit, 32bit로 구분되며 각각의 주파수와 음폭의 Scale을 계산하여 그 수치를 시리얼 통신을 사용하여 통신포트(COM1)에 38400bps로 전달하여 구동하게 하였다. 이를 이용하여 음악을 촉감으로 느끼는 뮤직슈트(music suit)를 개발 하였다. 그러므로 뮤직슈트의 적용된 기술은 청각적 체험을 촉각적 체험을 할 수 있는 오감 융합 기술의 기초 기술로 제공 될 수 있다.