• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2009년도 학술대회
• /
• pp.278-284
• /
• 2009

하나의 컨텐츠를 위해 동영상, 이미지, 소리, 문장과 같은 하나 이상의 모달리티로 전달하는 멀티모달 데이터가 증가하고 있다. 이러한 형태의 자료들은 잘 정의되지 않은 형태를 주로 가지기 때문에, 모달리티 간의 정보가 명백히 표현되지 못하는 경우가 많았다. 그래서, 본 연구에서 저자들은 자연계를 다루는 다큐멘터리 동영상 데이터를 이용하여 비전-언어 간의 상호 연관정보인 크로스모달 연관정보를 추출하고 분석하는 방법을 제시하였다. 이를 위해 정글, 바다, 우주의 세 가지 주제로 구성된 다큐멘터리로부터 이미지와 자막의 조합으로 이루어진 데이터를 모은 후, 그로부터 시각언어집합과 문장언어집합을 추출하였다. 분석을 통하여, 이 언어집합들간의 상호 크로스 모달 연관정보를 통해 생성된 다른 모달리티 데이터가 의미적으로 서로 관련이 있음을 확인할 수 있었다.

• 한국항행학회논문지
• /
• 제14권4호
• /
• pp.571-577
• /
• 2010

항공기를 조종하는 상황은 극도로 복잡하고 세밀한 정보처리과정으로 여겨진다. 조종사를 비롯한 모든 사람들은 자신에게 필요한 정보에 주의를 기울이므로 적절한 정보를 선택적으로 처리하는 정보처리과정을 통해 직무를 수행한다. 이러한 주의의 특성 가운데 공간적 정보의 처리는 단일한 감각양식으로 제시되는 정보의 처리보다 이중감각적 연결(crossmodal link)을 통해 동시에 제시되는 공간정보가 주의 처리에 대한 용이성 효과를 나타낸다. 본 연구에서는 시각적 공간정보 제시와 함께 청각적으로도 정보를 제시하여 전투기 조종 상황에서의 적기 탐색과 같은 시스템에 적용할 수 있는 가능성을 실험적으로 검증하였다. 본 연구에서 수행된 두 가지 실험은 목표물에 대한 공각적 추적을 시각정보와 함께 음원으로부터 청취자의 두 귀에 입사하는 신호간의 차이를 반영한 입체음향 기술인 머리전달함수(Head-Related Transfer Function; HRTF)를 이용해 생성된 공간적 청각정보를 제시하는 방법으로 수행되었다. 실험의 결과는 청각적으로 제시되는 공간정보가 실제의 위치에서 발생하지 않는 머리전달함수를 통한 가상적 제시일 경우라도 그 주의처리에서 시각적 공간정보만 제시하는 경우보다 용이성 효과를 나타냈으며, 이는 기존 시스템에서 이미 구축되어 있는 간단한 스테레오 시스템만으로도 머리전달함수와 같은 입체음향 생성기술을 이용한 이중감각 연결을 통해 공간적 정보 제시의 적용이 가능하다는 것을 제안해주는 결과이다.

• 감성과학
• /
• 제12권3호
• /
• pp.267-278
• /
• 2009

오늘날 가상 세계에서 인간과 인간, 컴퓨터와 인간의 상호작용을 좀 더 효율적으로 도와줄 수 있는 매개체로서 에이전트에 대한 관심이 증대되고 있다. 특히 에이전트의 정서표현도 인간의 정서 표현처럼 해석할 수 있고 그에 대해 인간의 정서표현에 반응하는 것과 마찬가지의 방식으로 반응한다는 연구들이 있어왔다. 그렇다면 에이전트의 정서표현이 표정과 목소리에서 서로 불일치한다면 어떤 쪽에 더 치중해서 에이전트의 정서를 해석할지 또는 어느 한 쪽에 치중하는 것이 아니라 두 정서 모두 조합해서 받아들일지 알아보고자 했다. 또한 만약 표정과 목소리의 두 가지 정서를 조합해서 인지한다면 표정이나 목소리에서는 표현되지 않은 제 3의 정서를 느끼지는 않는 것인지 알아보았다. 실험은 표정(4) $\times$ 목소리(4)로 이루어졌다. 실험 결과 사람들은 에이전트의 한 가지 채널에 지배받아서 정서를 인지하는 것이 아니라 표정(시각)과 목소리(청각) 두 채널 모두를 조합해서 정서를 인지하는 것으로 나타났다. 또한 두 채널의 정서가 불일치할 때에는 혼란에 빠져 무슨 정서인지 모르게 되는 것이 아니라 또 다른 실망, 지루함, 지친, 반가운 등의 제 3의 정서를 느끼는 것으로 나타났다.

• 대한인간공학회지
• /
• 제23권3호
• /
• pp.89-99
• /
• 2004

A comprehensive psychophysical scaling system, multiple-modality magnitude estimation system (MMES) has been designed to measure subjective multidimensional human perception. Unlike paper-based magnitude estimation systems, the MMES has an additional auditory peripheral cue that varies with corresponding visual magnitude. As the simplest, purely psychological case, bimodal divided-attention conditions were simulated to establish the superiority of the MMES. Subjects were given brief presentations of pairs of simultaneous stimuli consisting of visual line-lengths and auditory white-noise levels. In the visual or auditory focused-attention conditions, only the line-lengths or the noise levels perceived should be reported respectively. On the other hand, in the divided-attention conditions, both the line-lengths and the noise levels should be reported. There were no significant differences among the different attention conditions. Human performance was better when the proportion of magnitude in stimulus pairs were identically presented. The additional auditory cues in the MMES improved the correlations between the magnitude of stimuli and MMES values in the divided-attention conditions.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2007년도 학술대회 1부
• /
• pp.881-886
• /
• 2007

오감 융합 정보 시대가 도래한다. 오감 융합은 감각 정보의 전이 기술 개발로 가능하다. 본 연구는 청각 정보의 촉각 정보 전이에 대한 연구이다. WMPlayer10SDK는 마이크로소프트사의 윈도우즈 미디어 플레이어(Windows Media Player, WMP)를 전용 소프트웨어 기반으로 하는 Plug-in 개발툴이다. WMPlayer10SDK 시스템은 WMP 내에서의 비디오와 오디오의 신호 정보를 추출하는 부분을 제공한다. 이를 이용하여 촉각 디스플레이(Tactile Display)장치인 Pos Tactor를 연동하여 음성 신호에서 진동 촉각을 제시하는 시스템을 개발하였다. 음성신호는 8bit, 16bit, 24bit, 32bit로 구분되며 각각의 주파수와 음폭의 Scale을 계산하여 그 수치를 시리얼 통신을 사용하여 통신포트(COM1)에 38400bps로 전달하여 구동하게 하였다. 이를 이용하여 음악을 촉감으로 느끼는 뮤직슈트(music suit)를 개발 하였다. 그러므로 뮤직슈트의 적용된 기술은 청각적 체험을 촉각적 체험을 할 수 있는 오감 융합 기술의 기초 기술로 제공 될 수 있다.