• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.591-597
• /
• 2007

웨어러블 컴퓨팅의 지속적인 발전과 함께, 이들이 지원하는 기능은 점점 다양화되고 전문화되었다. 하지만 기기의 종류와 기능이 늘어나면서 각 기기의 상태를 확인하는 작업 자체가 복잡하고 불필요한 시간을 소요하기도 한다. 또한 이를 시각 디스플레이에만 의존하면, 디스플레이 크기의 한계와 더불어 시각적인 과부하가 발생할 수 있다. 본 연구에서는 이러한 문제를 극복하기 위해 웨어러블 각 기기의 상태정보 피드백으로서 소리를 이용하였다. 실험의 순서는 먼저 시각정보에 더하여 청각정보를 추가적으로 제시하는 방식의 유용성을 검증한 다음, 기기 특정적인 청각 아이콘(Auditory Icon)의 효과를 확인하였다. 청각정보의 유용성을 확인하는 단계에서는 참가자에게 특정 기기의 위치와 그 상태에 관한 정보를 시각 디스플레이를 통해 제시하면서, 조건에 따라 다양한 형태의 청각 디스플레이를 제시하고 기기 및 상태정보 확인에 소요되는 시간을 측정하였다. 시각디스플레이의 방식은 다양하지만, 본 연구에서는 사람의 몸을 나타내는 그림 위에 기기가 장착된 위치를 붉은 점으로 표시하고, 그 상태를 텍스트로 표시하는 방식(실험 1)과 텍스트를 통해 기기의 종류와 상태를 알려주는 방식(실험 2)을 적용하였다. 기기 확인에 소요되는 반응시간을 기록한 실험결과는 시각디스플레이를 통해서만 제시하는 조건보다 시각디스플레이와 청각디스플레이를 동시에 제시하는 조건에서 나은 수행을 보여주며, 정보의 내용이 일정 범위 내에서 구체적으로 제시될 수록 수행이 증가하는 경향을 보여주고 있다. 이어지는 기기 특정적인 청각 아이콘의 효과를 확인하는 단계에서는, 소리의 높낮이를 통해 기기의 위치를 표현하는 대신, 소리만 듣고 기기가 무엇인가를 알려줄 수 있도록, 참가자 평정을 통해 기기 특정적인 청각 아이콘을 선정하고, 이를 상태정보 디스플레이에 추가하였다. 기기의 수와 제시조건은 앞선 실험과 동일하였으며, 역시 기기 및 상태정보 확인에 소요되는 반응시간을 체크하였다. 실험결과는 이전의 실험과 비슷하게 시각과 청각 디스플레이의 중복제시 조건에서 높은 수행을 보였으며, 청각 아이콘의 사용으로 인한 수행의 증가도 확인할 수 있었다. 실험 2에서는 추가적으로 청각 디스플레이의 내용에 대한 주관적인 평정을 실시 하였는데, 기기 특정적인 청각 아이콘은 참가자에게 편의성, 효용성, 적합성, 확신도에서도 높은 점수를 얻었다. 이러한 결과는 청각 피드백을 이용한 정보의 디스플레이는 착용자의 시선을 자유롭게 함으로써 일상생활의 수행을 높이고, 웨어러블 컴퓨터 디스플레이 크기의 제약을 해결하는 방법이 될 수 있는 동시에 주관적인 사용성 측면에서 발전가능성이 있음을 보여준다.

• 한국HCI학회:학술대회논문집
• /
• 2006.02a
• /
• pp.161-168
• /
• 2006

본 연구는 공간적 정보의 청각적 제시 가능성을 확인하기 위해 머리전달함수(head-related transfer function: HRTF)를 통해 생성된 3D 사운드를 가상공간상 대상 위치의 직각형태(orthogonal pattern), 혹은 대각형태(diagonal pattern)의 조합으로 배열하여 투시장치(See-Through HMD)로 증강현실을 경험하고 있는 사용자 과제수행의 정확성을 측정하였다. 본 연구에서 실시한 실험들의 결과를 종합하면, 3D 사운드로 대상의 위치 정보를 제시할 때는 사용자로부터의 방향은 직각으로 위치시키는 정보 배열이 정확성을 확보할 수 있고, 또한 가상적 깊이를 이용하여 정보를 배열하는 것도 그 깊이를 구분할 수 있으나 정확성이 떨어짐을 확인하였다. 특히 보다 현실적인 과제 상황에서의 수행을 비교하기 위해 일차과제(primary task)를 하는 동안 제시된 청각자극 조건에서 이런 정확성의 차이가 마찬가지로 나타났다. 이런 결과를 통해 3D 사운드로 대상의 위치와 같은 공간적 정보를 제시 가능한 최적의 배열 형태를 제안하는데, 이는 어떤 패턴으로 정보를 구조화하여 제시하느냐에 따라 청각적 위치 정보 제시의 성공 여부가 결정된다는 것을 의미한다.

• Science of Emotion and Sensibility
• /
• v.9 no.1
• /
• pp.9-17
• /
• 2006

As is commonly said, music is 'language of emotions.' It is because sound is a plentiful modality to communicate the human sensibility information. However, most researches of auditory displays were focused on improving efficiency on user's performance data such as performance time and accuracy. Recently, many of researchers in auditory displays acknowledge that individual preference and sensible satisfaction may be a more important factor than the performance data. On this ground, in the present study we constructed the sound sensibility dimensions ('Pleasure', 'Complexity', and 'Activity') and systematically examined the attributes of sound on the sensibility dimensions and analyzed the meanings. As a result, sound sensibility dimensions depended on each sound attributes , and some sound attributes interact with one another. Consequently, the results of the present study will provide the useful possibilities of applying the affective influence in the field of auditory displays needing the applications of the sensibility information according to the sound attributes.

• Journal of Advanced Navigation Technology
• /
• v.15 no.2
• /
• pp.326-333
• /
• 2011

In the present study, we measured the performance (accuracy and reaction time) of the user in the virtual environment with see-through Head-Mounted Display system that includes 3D sound generated through Head-Related Transfer Function (HRTF) to investigate the feasibility of auditory display for a certain object's spatial information. To sum up the results of two experiments, when presenting location information of the object with 3D sound, it is desirable that information arrangement from the user should be an orthogonal pattern which is located with right angle, not a diagonal pattern. Like these results propose that spatial information presentation with 3D sound make the optimal object arrangement of virtual environment possible.

• Journal of Advanced Navigation Technology
• /
• v.14 no.4
• /
• pp.571-577
• /
• 2010

Driving aircraft requires extremely complicated and detailed information processing. Pilots perform their tasks by selecting the information relevant to them. In this processing, spatial information presented simultaneously through crossmodal link is advantageous over the one provided in singular sensory mode. In this paper, probability to apply providing visual spatial information along with auditory information to enemy tracking system in aircraft navigation is empirically investigated. The result shows that auditory spatial information, which is virtually created through HRTF is advantageous to visual spatial information alone in attention processing. The findings suggest auditory spatial information along with visual one can be presented through crossmodal link by utilizing stereophonic sound such as HRTF. which is available in the existing simple stereo system.

• 한국HCI학회:학술대회논문집
• /
• 2007.02b
• /
• pp.535-540
• /
• 2007

최근 음악을 재생할 수 있는 다양한 소형기기들의 발전이 이루어지고 있다. 휴대용 음향기기에서 곡을 탐색할 경우, 곡 탐색 습관의 특성상 눈으로 확인하지 않고 손을 사용한 촉각적 피드백만을 이용하는 것이 대부분이다. 또한 곡 탐색 과제는 청각적인 표적을 찾는 것임에 반하여, 지금까지 청각적인 단서에 대한 연구의 대부분은 시각적인 표적을 찾는 것에 집중되어 있었다. 본 연구에서는 청각적인 표적을 탐색하는데 있어 청각적 위치 단서가 미치는 영향을 알아보고자 하였다. 주어진 곡 리스트를 암기한 후, 화면에 제시되는 표적 곡을 탐색하는데 있어 청각적인 위치 단서가 있는 좌우 조건, 가운데 조건, 그리고 무음 조건의 경우에 따른 곡 탐색의 정확률과 반응 시간을 측정하였다. 과제는 정상과 오류 두 가지 유형으로 구성되었다. 결과는 청각적인 위치 정보가 포함된 좌우 조건이 정상 과제와 오류 과제에 있어서 가운데 조건과 무음 조건에 비하여 모두 유의미하게 짧은 반응 시간을 보였다. 본 실험 결과는 휴대용 음향기기뿐만 아니라 위성항법장치(GPS), 가상환경(Virtual Environment) 등과 같이 청각적인 표적을 찾아야 하는 과제를 포함하는 환경에도 적용될 수 있을 것이다.

• The Journal of Korean Association of Computer Education
• /
• v.19 no.2
• /
• pp.99-114
• /
• 2016

The transient information effect occurs when long and complex transient information disappear before the learner has time to adequately process it or link it with new information. This study aimed to explore the impact of the transient information effect on multimedia learning efficiency within the cognitive load perspective and how segmentation and pacing of instructional materials interact with the transient information effect. The results revealed that the visualonly instruction(a diagram with long and complex texts) was more efficient than the audiovisual instruction(a diagram with long and complex spoken texts). The overall results suggested that using long and complex spoken texts with a diagram can have a negative impact on learning unless the transient information effect are reduced through segmentation and learner-paced instructions.

• 한국정보교육학회:학술대회논문집
• /
• 2010.01a
• /
• pp.181-185
• /
• 2010

본 연구는 시 청각 장애인의 정보격차 및 정보 불평등 문제를 해소하기 위해 장애인 정보화 교육의 문제점을 살펴보고 개선 방향을 제시함으로써 향후 장애인 정보화 교육이 보다 효율적으로 시행될 수 있도록 하는데 그 목적이 있다. 시 청각 장애인에게 정보 격차 해소를 위한 교육은 지속적으로 시행되고 있으나 정보화가 진행될수록 신체적 결함으로 인한 정보소외는 존재할 수밖에 없다. 이런 문제점을 극복하기 위해서는 첫째, 시 청각 장애인에게 정보화 교육 기회를 확대해야 한다. 둘째, 장애 특성을 고려하여 개별화 교육을 실현할 수 있도록 정보화 교육과정 및 교수법 개발을 개발해야 한다. 셋째, 교육과정의 정기적인 지도 점검이 요구된다. 넷째, 보조공학 기기 및 S/W에 대한 지원 및 개발을 강화해야 한다. 마지막으로 시 청각 장애인 정보화 교육 과정의 표준화 작업이 매우 시급한 실정이다.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.1069-1074
• /
• 2007

청각장애인이 PC환경에서 영화, 방송, 애니메이션 등의 동영상 콘텐츠를 이용할 때 장애의 정도에 따라 콘텐츠의 접근성에 있어서 시각적 수용 이외의 부분적 장애가 발생한다. 이러한 장애의 극복을 위해 수화 애니메이션이나 독화 교육과 같은 청각장애인의 정보 접근성 향상을 위한 콘텐츠와 기술이 개발된 사례가 있었으나 다소 한계점을 가지고 있다. 따라서 본 논문에서는 현대 뉴미디어 예술 작품의 예술적 표현 방법을 구성요소로서 추출하여, 기술과 감성의 조화가 어우러진 독창적인 콘텐츠를 생산할 수 있는 기술을 개발함으로써 PC환경에서 청각장애인의 동영상 콘텐츠에 대한 접근성 향상 방법을 추출하고, 실질적으로 청각적 효과의 시각적 변환 인터페이스 개발 및 이미지 캡션 생성 소프트웨어 개발을 통해 청각장애인의 동영상 콘텐츠 사용성을 극대화시킬 수 있는 방법론을 제시하고자 한다. 본 논문에서는 첫째, 청각장애인의 동영상 콘텐츠 접근성 분석, 둘째, 미디어아트 작품의 선별적 분석 및 유동요소 추출, 셋째, 인터페이스 및 콘텐츠 제작의 순서로 단계별 방법론을 제시하고 있다. 이 세번 째 단계에서 이미지 캡션 생성 소프트웨어가 개발되고, 비트맵 아이콘 형태의 이미지 캡션 콘텐츠가 생성된다. 개발한 이미지 캡션 생성 소프트웨어는 사용성에 입각한 일상의 언어적 요소와 예술 작품으로부터 추출한 청각 요소의 시각적요소로의 전환을 위한 인터페이스인 것이다. 이러한 기술의 개발은 기술적 측면으로는 청각장애인의 다양한 웹콘텐츠 접근 장애를 개선하는 독창적인 인터페이스 추출 환경을 확립하여 응용영역을 확대하고, 공학적으로 단언된 기술 영역을 콘텐츠 개발 기술이라는 새로운 영역으로 확장함으로써 간학제적 시도를 통한 기술영역을 유기적으로 확대하며, 문자와 오디오를 이미지와 시각적 효과로 전환하여 다각적인 미디어의 교차 활용 방안을 제시하여 콘텐츠를 형상화시키는 기술을 활성화 시키는 효과를 거둘 수 있다. 또한 청각장애인의 접근성 개선이라는 한정된 영역을 뛰어넘어 국가간 언어적인 장벽을 초월할 수 있는 다각적인 부가 동영상 콘텐츠에 대한 시도, 접근, 생산을 통해 글로벌 시대에 부응하는 새로운 방법론으로 발전 할 수 있다.

• Proceedings of the Acoustical Society of Korea Conference
• /
• spring
• /
• pp.293-296
• /
• 2002

운동이론(motor theory)에 따르면 조음에 관한 정보는 말소리 지각에 중요한 역할을 한다고 한다. 조음에 관한 시각정보가 자음지각에 중요함을 시사하는 것이 바로 McGurk 효과이다. McGurk 효과는 말소리 지각에서 청각정보와 시각정보가 상충될 때 지각의 결과는 청각에 의한 조음정보와 시각에 의한 조음정보가 통합(integration)되어서 나타나는 것을 말한다. 예컨대, 시각적으로는 /ga/를 발음하는 모습을 보여주면서 동시에 청각적으로는 /ba/를 들려주면 그 결과로 /da/로 지각된다. 마찬가지로 시각적으로는 /ka/를, 청각적으로는 /ma/를 제시하면 /na/로 지각된다. 따라서 McGurk 효과는 시각적인 조음 정보가 자동적으로, 무의식적으로 말소리 지각과정에 통합됨은 보여준다. 한편 이러한 McGurk 효과는 문화마다 그 강도가 다르게 나타난다는 보고가 있다(Sekiyama, 1997). 예컨대, 일본가 중국 원어민의 경우 미국 원어민보다 McGurk 효과가 약하게 나타났다. 본 연구는 한국인에게는 McGurk 효과가 어떠한 양상으로 나타날지를 규명해 보고 아울러 기존의 미국, 일본 그리고 중국 원어민에 대한 연구결과와 비교 분석해 보았다.