• The Journal of the Acoustical Society of Korea
• /
• v.38 no.4
• /
• pp.427-432
• /
• 2019

In this paper, we propose a home monitoring system using sound event detection based on a bidirectional gated recurrent neural network for the hard-of-hearing. First, in the proposed system, packet loss concealment is used to recover a lost signal captured through wireless sensor networks, and reliable channels are selected using multi-channel cross correlation coefficient for effective sound event detection. The detected sound event is converted into the text and haptic signal through a harmonic/percussive sound source separation method to be provided to hearing impaired people. Experimental results show that the performance of the proposed sound event detection method is superior to the conventional methods and the sound can be expressed into detailed haptic signal using the source separation.

• 한국HCI학회:학술대회논문집
• /
• 2006.02a
• /
• pp.46-51
• /
• 2006

청각 장애인은 집에서 발생하는 여러 가지 소리나 가전 제품의 신호를 감지하지 못하므로 생활의 불편을 상당히 느끼고 있다. 이러한 사람들을 위해 소리 정보를 시각 정보로 변경하여, 사용자들의 시야에 보여주는 것을 목적으로 연구를 시작하였다. 본 연구에서는 집이라는 환경에서 사용자의 위치와 오리엔테이션 정보를 습득하여, 사용자에게 필요한 정보를 시야에 들어오는 범위에 방해되거나 불편하지 않게 표시하는 시스템을 제안한다. 프로젝터에 부착된 카메라를 이용하여 사용자를 인식하고, 사용자를 따라다니며 화면을 디스플레이 하는 기존 방법의 단점들을 해결하기 위해 위치 센서로 사람의 위치와 방향을 파악하여 사용자에게 필요한 정보를 사용자가 현재 바라보는 곳에 디스플레이 하는 방법을 제안한다. 3D 모델로 제작된 집의 구조를 이용하여, 프로젝터의 방향과 초점 제어를 사전에 계산하여 보다 정확한 위치에 정보가 디스플레이 되도록 하였다. 본 논문에서 제안하는 방법이 기존의 PDA 나 PC 모니터를 이용해 정보를 제공하는 방법보다 사용자들이 정보를 인지하는 데 걸리는 시간이 좀더 빠르고 이 방법을 선호하기 때문에, 청각 장애인에게 정보를 제공하는 시스템으로 적합하다는 결론을 도출하였다.

• Proceedings of the Acoustical Society of Korea Conference
• /
• 1998.06e
• /
• pp.27-30
• /
• 1998

본 연구에서는 청각계의 시간 및 주파수 특성을 고려한 과도음의 시간-주파수 신호해석 기법인 VFT-STFT (STFT with Variable Frequency Resollution)을 제안하고자 한다. VFT-STFT은 downsampling와 FFT를 반복적으로 수행하여 주파수 대역에 따라 주파수 및 시간 분해능이 청각계의 특성과 유사한 기존의 VFR-FFT에 그 뿌리를 두고 있다. 그러나, 본 연구에서는 기존의 VFT-FFT 알고리즘에 overlap인자를 도입하여 시간-주파수 해석 결과를 구하고, 2/3-rate resampling에 의해 추가로 구성된 시간-주파수 해석 결과의 일부를 기존의 시간-주파수 해석 결과에 이식시킴으로서 기존의 VFT-FFT가 갖는 overlap과 spectral loss 등의 문제점을 최소화하고자 한다.

• Proceedings of the Acoustical Society of Korea Conference
• /
• autumn
• /
• pp.275-278
• /
• 2004

본 논문에서는 저 비트오율 압축 시 발생되는 신호 왜곡을 인간의 지각적 특성을 이용하여 음질을 개선하는 알고리즘을 제안한다. 저 비트오율 압축 과정에서 손실된 고주파 영역의 신호를 부가 정보를 사용하지 않고 손실되지 않은 영역의 정보를 사용하여 고주파 영역의 신호를 첨가함으로써 음질을 개선하였다. 비 손실 영역의 순음 및 비 순음 성분을 검출하여 손실영역에 해당 하모닉 성분을 청각 자극 에너지로 스케일 하여 새로운 신호를 첨가한다. 원 신호와 저 비트오율 압축으로 인해 왜곡된 신호, 그리고 본 논문의 알고리즘을 이용하여 개선된 신호를 신호 대 잡음 비를 측정하고 청감 테스트를 통해 음질 개선 효과를 확인하였다.

• Proceedings of the KIEE Conference
• /
• 2000.07d
• /
• pp.3213-3215
• /
• 2000

뇌자도 신호의 측정은 뇌에서 발생하는 자장 성분을 정밀하게 측정할 수 있으나, 신호의 크기가 매우 작기 때문에 노이즈에 매우 민감하게 동작하며 이러한 노이즈 성분의 발생원인은 외부 환경에 의하여 발생하거나 시스템 내부에서 발생하는 두가지로 나눌 수 있다. 따라서 뇌자도 신호를 측정하는데 있어서 가장 중요한 작업은 신호에 존재하는 노이즈 성분을 제거하는 것이다. 특히 뇌자도 측정 시스템에서는 외부 노이즈 성분을 제거하기 위하여 레퍼런스 채널이 존재한다. 따라서 본 논문에서는 청각 자극 신호에 의한 뇌자도 신호를 측정하고 측정한 데이터를 사용하여 레퍼런스 채널과 입력신호에 대하여 LMS 알고리즘을 이용한 적응 필터를 모델링 하였다. 그리고, 구현한 적응 필터를 이용하여 뇌자도 신호의 평균값, 표준편차의 통계적 결과를 비교하여 모델링한 적응 필터 방법의 유용성을 확인하였다.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.585-590
• /
• 2007

최근 IT기술의 비약적인 발전과 더불어 사용자의 편의성을 극대화 시키는 웨어러블 컴퓨팅 기술이 주목을 받고 있다. 이러한 기술은 일반인뿐만 아니라 장애인들의 일상생활의 보조 도구에 활용되어 큰 도움이 될 것으로 예상된다. 본 논문에서는 시각 및 청각장애인을 위해 개발된 착용형 단말기들을 소개하고자 한다. 시각 장애인용 단말기인 SmartWand는 시각장애인용 지팡이에 부착하거나 손에 휴대할 수 있는 장치로, 시작장애인을 위한 보행 보조 및 색상과 명암 정보 인식 보조 기능을 갖춘 장치이다. SmarWand는 시각장애인이 보행 시 이용하는 기존의 지팡이로는 감지할 수 없는 전방의 장애물을 초음파 센서를 통해 탐지하여 촉각이나 음성으로 경고해주고, 물체의 색깔이나 주변의 밝기 정도를 측정하여 시각장애인에게 알려준다. 청각 장애인용 단말기인 SmarWatch는 손목에 착용하는 장치로서 아기 울음소리, 노크나 초인종 소리, 물 끓는 소리, 화재 경보 등 가정에서 발생하는 일상적인 소리를 인식할 수 있도록 해준다. SmartWatch는 입력 모듈의 마이크로 입력된 소리를 문선통신을 통해 컴퓨터로 전송한 후에 소리의 종류를 인식하고 적절한 제어신호를 다시 무선통신을 통해 전송받아 감지된 소리의 종류를 해당하는 진동과 시각정보로 표시해준다. 이런 착용형 단말기들을 통해 시각 및 청각 장애인의 일상 생활의 안정성과 편의성이 증대 되기를 기대한다.

• Korean Journal of Fisheries and Aquatic Sciences
• /
• v.34 no.2
• /
• pp.151-155
• /
• 2001

In order to obtain the fundamental data on the auditory thresholds of fishes for marine ranching, the auditory thresholds of black rockfish Sebastes inermis were measured in the presence of masking noise in the spectrum level range of $73\~83$ dB (0 dB re $1{\mu}Pa/\sqrt{Hz}$) with a classical cardiac conditioning technique. Critical ratios were about $28\~34$ dB at $80\~300$ Hz and $47\~52$ dB at $500\~800$ Hz. The ratio increased almost linearly with increasing frequency to 500 Hz. The noise spectrum level at the start of masking was about 70 dB within the frequency range of $80\~800$ Hz excepting 65 dB at 300 Hz. It means that hearing of the black rockfish is masked in the natural environment with the noise spectrum level above 65 dB. The sound pressure level of $200\~300$ Hz recognized by black rockfish was above 96 dB under the ambient noise and the critical ratio of them was above 26 dB.

• Journal of the Korean Society of Marine Environment & Safety
• /
• v.11 no.1 s.22
• /
• pp.11-16
• /
• 2005

A ship can be considered as a large human-machine system and the interaction between worker and system affects the work performance and its efficiency. In the bridge if a ship, there exist many auditory signals as well as visual signals. However, only a few studies have been performed related to human recognition to alarm systems in the bridge. In this study, auditory icons and abstract sounds are compared to find more effective means if alarm systems. The study result shows that auditory icons are recognized faster than n abstract sounds. The result is expected to be use as a basic data for developing performance criteria q auditory display inside bridge and for designing integrated ship bridge alarm system.

• Journal of the Institute of Convergence Signal Processing
• /
• v.11 no.2
• /
• pp.132-136
• /
• 2010

Psychophysical experiment was performed to investigate how audio-visual spatial disparity affects on perceptual space in peripheral vision. In the experiment, participants were exposed to two stimuli of vision and sound which comes simultaneously from different directions, respectively. The visual stimulus was implemented by 7 white LEDs which were located at an equal distance with 7 different angles of $-70^{\circ}$, $-40^{\circ}$, $-20^{\circ}$, $0^{\circ}$, $20^{\circ}$, $40^{\circ}$, and $70^{\circ}$ from the right front. Those audial stimuli were also implemented by loudspeakers which were placed at 9 different directions equally spaced by $5^{\circ}$ ranged from $-20^{\circ}$ to $20^{\circ}$. Each participant then evaluated spatial disparity between visual and audial stimuli with 5 levels of response, in which the higher level indicates the larger gap. When the visual stimulus is applied from the right, the results show that the response level gets higher for a larger angle between visual and auditory stimuli. A similar tendency for the visual stimulus with $0^{\circ}$ orientation was also be observed. On the other hand, when the visual stimulus is applied from the left, the response level gets lower for the larger angle.

• Proceedings of the Acoustical Society of Korea Conference
• /
• autumn
• /
• pp.295-298
• /
• 2004

본 논문에서는 잡음에 오염된 신호의 지각관계를 해석하여 지각 필터 응답 제어를 통한 음성 신호 개선 알고리즘을 제안한다. 음성 신호 개선 기법은 단일 채널환경에서 사람의 청각시스템에서의 주파수 변별력을 나타내는 각각의 임계대역에 대한 전체 에너지를 나타내는 임계대역 에너지의 지각적인 확산의 영향 즉, 마스킹 확산의 영향을 나타내는 자극에너지를 이용하여 신호와 잡음 에너지에 의해 변화하는 잡음에 의한 신호의 마스킹 구간을 검출하여 묵음 구간 추출 잡음 필터응답과 추정 잡음 오차를 보상시킨 필터응답을 통한 지각 필터 응답을 보상하여 신호를 개선하는 방법이다. 실험 결과 제안한 방법을 통해 SNR에 개선과 음질 개선 효과를 얻을 수 있음을 테스트를 통해 확인하였다.