• Smart Media Journal
• /
• v.10 no.1
• /
• pp.70-78
• /
• 2021

The auditory information is used for urgent notification or warning in vehicle because it is not restricted by the direction compared to the visual. However, since the hearing impaired drivers cannot recognize sound signal, various methods of visualizing the auditory information have been attempted to replace it. When visualizing auditory information, only important information should be selected and provided to prevent cognitive overload concentrated on the vision. For this purpose, analysis of the type of auditory information in vehicle should be given in advance. In this study, the types of auditory information in vehicle were analyzed based on the user experience of hearing impaired drivers. Through the observation of the driving behavior of hearing impaired drivers, 33 auditory informations experienced in vehicle were collected. The collected auditory informations were classified into 12 groups through open card sorting by an expert group, and the types of auditory information in vehicle consisting of four levels were presented through a relative comparison of importance between groups. The presented type of auditory information in vehicle can be used as a guideline for selecting important information when the auditory information is converted into visual or tactile. This study is meaningful in that the user experience analysis was conducted by observing actual driving in daily life of hearing impaired drivers.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.591-597
• /
• 2007

웨어러블 컴퓨팅의 지속적인 발전과 함께, 이들이 지원하는 기능은 점점 다양화되고 전문화되었다. 하지만 기기의 종류와 기능이 늘어나면서 각 기기의 상태를 확인하는 작업 자체가 복잡하고 불필요한 시간을 소요하기도 한다. 또한 이를 시각 디스플레이에만 의존하면, 디스플레이 크기의 한계와 더불어 시각적인 과부하가 발생할 수 있다. 본 연구에서는 이러한 문제를 극복하기 위해 웨어러블 각 기기의 상태정보 피드백으로서 소리를 이용하였다. 실험의 순서는 먼저 시각정보에 더하여 청각정보를 추가적으로 제시하는 방식의 유용성을 검증한 다음, 기기 특정적인 청각 아이콘(Auditory Icon)의 효과를 확인하였다. 청각정보의 유용성을 확인하는 단계에서는 참가자에게 특정 기기의 위치와 그 상태에 관한 정보를 시각 디스플레이를 통해 제시하면서, 조건에 따라 다양한 형태의 청각 디스플레이를 제시하고 기기 및 상태정보 확인에 소요되는 시간을 측정하였다. 시각디스플레이의 방식은 다양하지만, 본 연구에서는 사람의 몸을 나타내는 그림 위에 기기가 장착된 위치를 붉은 점으로 표시하고, 그 상태를 텍스트로 표시하는 방식(실험 1)과 텍스트를 통해 기기의 종류와 상태를 알려주는 방식(실험 2)을 적용하였다. 기기 확인에 소요되는 반응시간을 기록한 실험결과는 시각디스플레이를 통해서만 제시하는 조건보다 시각디스플레이와 청각디스플레이를 동시에 제시하는 조건에서 나은 수행을 보여주며, 정보의 내용이 일정 범위 내에서 구체적으로 제시될 수록 수행이 증가하는 경향을 보여주고 있다. 이어지는 기기 특정적인 청각 아이콘의 효과를 확인하는 단계에서는, 소리의 높낮이를 통해 기기의 위치를 표현하는 대신, 소리만 듣고 기기가 무엇인가를 알려줄 수 있도록, 참가자 평정을 통해 기기 특정적인 청각 아이콘을 선정하고, 이를 상태정보 디스플레이에 추가하였다. 기기의 수와 제시조건은 앞선 실험과 동일하였으며, 역시 기기 및 상태정보 확인에 소요되는 반응시간을 체크하였다. 실험결과는 이전의 실험과 비슷하게 시각과 청각 디스플레이의 중복제시 조건에서 높은 수행을 보였으며, 청각 아이콘의 사용으로 인한 수행의 증가도 확인할 수 있었다. 실험 2에서는 추가적으로 청각 디스플레이의 내용에 대한 주관적인 평정을 실시 하였는데, 기기 특정적인 청각 아이콘은 참가자에게 편의성, 효용성, 적합성, 확신도에서도 높은 점수를 얻었다. 이러한 결과는 청각 피드백을 이용한 정보의 디스플레이는 착용자의 시선을 자유롭게 함으로써 일상생활의 수행을 높이고, 웨어러블 컴퓨터 디스플레이 크기의 제약을 해결하는 방법이 될 수 있는 동시에 주관적인 사용성 측면에서 발전가능성이 있음을 보여준다.

• Annual Conference of KIPS
• /
• 2021.11a
• /
• pp.1012-1015
• /
• 2021

Covid-19 로 인한 마스크 착용이 청각장애인들의 소통을 더 어렵게 하는 바, 제 3 자의 도움 없이 쌍방향 소통을 가능하게 하는 서비스의 필요성이 커지고 있다. 이에 본 논문은 소통의 어려움을 겪는 청각장애인과 비청각장애인을 위한 쌍방향 소통 서비스에 대한 연구와 개발 과정, 기대 효과를 담는다. 서비스는 GRU-CNN 하이브리드 아키텍처를 사용하여 데이터셋을 영상 공간 정보와 시간 정보를 포함한 프레임으로 분할하는 영상 분류 기법과 같은 딥 러닝 알고리즘을 통해 수어 영상을 분류한다. 해당 연구는 "눈속말" 모바일 어플리케이션으로 제작 중이며 음성을 인식하여 수어영상과 텍스트로 번역결과를 제공하는 청각장애인 버전과 카메라를 통해 들어온 수어 영상을 텍스트로 변환하여 음성과 함께 제공하는 비청각장애인 버전 두 가지로 나누어 구현한다. 청각장애인과 비장애인의 쌍방향 소통을 위한 서비스는 청각장애인이 사회로 나아가기 위한 가장 기본적인 관문으로서의 역할을 할 것이며 사회 참여를 돕고 소통이라는 장벽을 넘어서는 발돋움이 될 것이라 예측된다.

• 한국정보교육학회:학술대회논문집
• /
• 2010.01a
• /
• pp.181-185
• /
• 2010

본 연구는 시 청각 장애인의 정보격차 및 정보 불평등 문제를 해소하기 위해 장애인 정보화 교육의 문제점을 살펴보고 개선 방향을 제시함으로써 향후 장애인 정보화 교육이 보다 효율적으로 시행될 수 있도록 하는데 그 목적이 있다. 시 청각 장애인에게 정보 격차 해소를 위한 교육은 지속적으로 시행되고 있으나 정보화가 진행될수록 신체적 결함으로 인한 정보소외는 존재할 수밖에 없다. 이런 문제점을 극복하기 위해서는 첫째, 시 청각 장애인에게 정보화 교육 기회를 확대해야 한다. 둘째, 장애 특성을 고려하여 개별화 교육을 실현할 수 있도록 정보화 교육과정 및 교수법 개발을 개발해야 한다. 셋째, 교육과정의 정기적인 지도 점검이 요구된다. 넷째, 보조공학 기기 및 S/W에 대한 지원 및 개발을 강화해야 한다. 마지막으로 시 청각 장애인 정보화 교육 과정의 표준화 작업이 매우 시급한 실정이다.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.17 no.4
• /
• pp.519-525
• /
• 2007

With the high interest on robot technology and application, the research on artificial auditory systems for robot is very active. In this paper we discuss sound source localization and tracing based on audio-visual information. For video signals we use face detection based on skin color model. Also, binaural-based DOA is used as audio information. We integrate both informations using Kalman filter. The experimental results show that audio-visual person tracking Is useful, specially in the case that some informations are not observed.

• Annual Conference of KIPS
• /
• 2018.10a
• /
• pp.656-659
• /
• 2018

통계적으로 일반인보다 청각장애인의 교통 사고율이 높은 것으로 나타나는데, 이는 청각 장애로 대표되는 차량을 포함한 위험 요소를 인식하기 힘든 상태나 조건에서 기인한다. 자동차가 접근하는 등의 소리를 듣지 못한다는 것은 결국 어떠한 위치에 위험요소가 존재하는지 인지하지 못함에 따라 사고로 이어질 가능성이 존재함을 의미하는데 이러한 문제점을 개선함과 동시에 대화중인 사람의 목소리를 시각화하여 정보를 제공함으로써 청각장애인으로 하여금 더 안전하고 쾌적한 삶을 누리게 하는 것이 청각장애인을 위한 사운드 정보 시각화 안경의 개발 목적이다. 위와 같은 배경을 통해 딥 러닝 기술에 기반하여 분류 과정을 거친 소리 정보의 판별을 통해 위험 요소를 인식한 후 시각화 하여 정보를 제공하는 디바이스를 제안한다.

• 한국HCI학회:학술대회논문집
• /
• 2007.02b
• /
• pp.535-540
• /
• 2007

최근 음악을 재생할 수 있는 다양한 소형기기들의 발전이 이루어지고 있다. 휴대용 음향기기에서 곡을 탐색할 경우, 곡 탐색 습관의 특성상 눈으로 확인하지 않고 손을 사용한 촉각적 피드백만을 이용하는 것이 대부분이다. 또한 곡 탐색 과제는 청각적인 표적을 찾는 것임에 반하여, 지금까지 청각적인 단서에 대한 연구의 대부분은 시각적인 표적을 찾는 것에 집중되어 있었다. 본 연구에서는 청각적인 표적을 탐색하는데 있어 청각적 위치 단서가 미치는 영향을 알아보고자 하였다. 주어진 곡 리스트를 암기한 후, 화면에 제시되는 표적 곡을 탐색하는데 있어 청각적인 위치 단서가 있는 좌우 조건, 가운데 조건, 그리고 무음 조건의 경우에 따른 곡 탐색의 정확률과 반응 시간을 측정하였다. 과제는 정상과 오류 두 가지 유형으로 구성되었다. 결과는 청각적인 위치 정보가 포함된 좌우 조건이 정상 과제와 오류 과제에 있어서 가운데 조건과 무음 조건에 비하여 모두 유의미하게 짧은 반응 시간을 보였다. 본 실험 결과는 휴대용 음향기기뿐만 아니라 위성항법장치(GPS), 가상환경(Virtual Environment) 등과 같이 청각적인 표적을 찾아야 하는 과제를 포함하는 환경에도 적용될 수 있을 것이다.

• 한국정보교육학회:학술대회논문집
• /
• 2009.08a
• /
• pp.255-261
• /
• 2009

오늘날 웹은 급속도로 확산되어 교육에 있어서 필수적인 존재로 강력한 힘을 발휘하게 되었다. 사이버 교육 환경의 시대를 맞이하여 웹을 이용한 학습 활동의 비중은 점점 더 증가되었지만 대다수의 웹기반 교수 (Web-based Instruction : WBI)학습 사이트들이 비장애인 중심의 사용자 인터페이스로 설계됨에 따라 청각 장애인을 학습 공간에서 격리 시키고 학습 능력을 저하시키는 이중 장애를 발생시키고 있다. 따라서 본 논문에서는 최근 청각 장애인의 교육방법으로 대두되고 있는 이중언어-이중문화 접근법 (Bilingual Method : 2Bi 이론)을 활용하여 청각 장애인의 WBI 학습 능력을 신장시킬 수 있는 사용자 인터페이스를 설계하였다. 본 사용자 인터페이스의 특징은 다음과 같다. 첫째, 청각 장애인의 웹접근성을 고려한 인터페이스를 설계하여 청각 장애 학습자가 보다 쉽게 학습 공간에 접근하게 하였다. 둘째, 청각 장애인의 장애 정도 및 학습 성취 정도에 따라 3단계 사용자 인터페이스를 제공하여 수준별 학습이 가능하다. 셋째, 순차적 반복 학습이 가능하여 청각 장애인의 학습 능력뿐 아니라 의사소통 기능 향상에도 긍정적인 영향을 제공한다.

• Proceedings of the Korean Institute of Navigation and Port Research Conference
• /
• 2012.10a
• /
• pp.5-7
• /
• 2012

선교에는 항해사에게 정보를 전달하기 위하여 다양한 신호가 존재한다. 항해 및 통신 장비로부터 나오는 음향 신호 등 다양한 청각 신호들이 존재하지만 이러한 청각 신호, 청각 경고음에 대한 인간의 인지능력에 관한 연구는 미흡한 실정이다. 청각 경고음은 크게 음성(speech), 함축적 소리(abstract sound), 청각 아이콘(auditory icon)으로 구분 할 수 있다. 본 연구에서는 청각 경고음 중 청각아이콘을 활용하여 5가지의 경보상황(엔진, 화재, 조타, 전기, 충돌)에서 청각아이콘에 대한 감성평가를 통해 각 상황에 적합한 청각아이콘을 선별하였다. 본 연구 결과는 선교 내 청각표시장치와 통합선교알람관리시스템을 위한 기초자료로 활용될 수 있을 것으로 기대된다.

• Science of Emotion and Sensibility
• /
• v.9 no.1
• /
• pp.9-17
• /
• 2006

As is commonly said, music is 'language of emotions.' It is because sound is a plentiful modality to communicate the human sensibility information. However, most researches of auditory displays were focused on improving efficiency on user's performance data such as performance time and accuracy. Recently, many of researchers in auditory displays acknowledge that individual preference and sensible satisfaction may be a more important factor than the performance data. On this ground, in the present study we constructed the sound sensibility dimensions ('Pleasure', 'Complexity', and 'Activity') and systematically examined the attributes of sound on the sensibility dimensions and analyzed the meanings. As a result, sound sensibility dimensions depended on each sound attributes , and some sound attributes interact with one another. Consequently, the results of the present study will provide the useful possibilities of applying the affective influence in the field of auditory displays needing the applications of the sensibility information according to the sound attributes.