• Journal of Information Processing Systems
• /
• 제13권1호
• /
• pp.8-25
• /
• 2017

This survey paper explores the application of multimodal feedback in automated systems for motor learning. In this paper, we review the findings shown in recent studies in this field using rehabilitation and various motor training scenarios as context. We discuss popular feedback delivery and sensing mechanisms for motion capture and processing in terms of requirements, benefits, and limitations. The selection of modalities is presented via our having reviewed the best-practice approaches for each modality relative to motor task complexity with example implementations in recent work. We summarize the advantages and disadvantages of several approaches for integrating modalities in terms of fusion and frequency of feedback during motor tasks. Finally, we review the limitations of perceptual bandwidth and provide an evaluation of the information transfer for each modality.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2006년도 학술대회 1부
• /
• pp.579-586
• /
• 2006

모바일 환경에서 휴대폰을 사용하다 보면 무의식적으로 전화를 받지 못하는(Missing call) 상황이 빈번하게 일어난다. 휴대폰에서는 기본적으로 시각 청각 촉각의 다중양식 피드백(Multimodal feedback)을 제공하고 있음에도 불구하고, 이렇게 Missing call 이 발생하는 현상에는 여러 가지 다양한 원인이 존재할 것이다. 본 연구에서는 이러한 원인을 찾기 위해 모바일 환경 내 휴대폰 사용자 행동연구를 실시하여 일반적인 휴대패턴을 분석하고, Missing call과 관련하여 주로 설정하는 수신모드와 휴대패턴의 상호영향을 연구하고자 하였다. 본 연구결과, 모바일 환경에서 휴대폰 수신 탐지능력에는 인지심리학적(감각과 주의관련), 환경적, 행동학적 요인이 영향을 미칠 수 있는 것으로 나타났다. 또한 모바일 환경에서 주로 사용하는 수신모드인 진동모드 설정시, 휴대폰 사용자가 속한 환경에 다른 요인들이 복합적으로 존재할 경우 휴대폰 수신에 대한 탐지만족도가 감소함을 확인할 수 있었다.

• 생물정신의학
• /
• 제19권3호
• /
• pp.121-127
• /
• 2012

Objectives : The multimodal telepresence systems have been adopted in a variety of applications, such as telemedicine, space or underwater teleoperation and videoconference. Multimedia, one of the telepresence systems, has been used in various fields including entertainment, education and communication. The degree of subjective telepresence is defined as the probability that a person perceives to be physically in the remote place when he/she experiences a multisensory feedback from the multimedia. The current study aimed to explore the neural mechanism of telepresence related to multisensory feedback in patients with schizophrenia. Methods : Brain activity was measured using functional magnetic resonance imaging while fifteen healthy controls and fifteen patients with schizophrenia were experiencing filmed referential conversation at various distances (1 m, 5 m and 10 m). Correlations between the image contrast values and the telepresence scores were analyzed. Results : Subjective telepresence was not significantly different between the two groups. Some significant correlations of brain activities with the telepresence scores were found in the left postcentral gyrus, bilateral inferior frontal gyri, right fusiform gyrus, and left superior temporal sulcus. There were no main effects of group and distance. Conclusion : These results suggest that patients with schizophrenia experience telepresence as appropriately as healthy people do when exposed to multimedia. Therefore, patients with schizophrenia would have no difficulty in immersing themselves in multimedia which may be used in clinical training therapies.

• 한국지능시스템학회논문지
• /
• 제24권3호
• /
• pp.316-322
• /
• 2014

본 논문은 TV를 이용한 영화시청 환경에서 해당 컨텐트에 대한 시청자의 암묵적 반응과 컨텐트의 멀티모달 피쳐를 실시간으로 측정 및 동기화하여 이를 기반으로 동영상 선호모델을 지속적으로 개선하고 필요시 영화추천을 수행하는 시스템을 제안한다. 제안한 시스템에선 이미지, 소리, 자막 스트림으로부터 실시간 추출되는 저수준 피쳐들과 동기화되어 측정된 얼굴표정, 자세 및 생체신호로부터 해당 동영상이 유발한 시청자의 감정상태를 추정하여 선호모델 학습에 사용한다. 제안한 컨텐트-시청자 연계 추천모델의 일례로서 컨텐트의 오디오 및 자막 정보를 이용하여 시청자의 피부전기활성도로 측정된 arousal반응을 예측할 수 있음을 보인다.

• 지능정보연구
• /
• 제20권2호
• /
• pp.179-192
• /
• 2014

최근 IT 환경의 변화에 따라 웹 서비스를 기반으로 대규모 사용자 대상의 상호 참여적인 MOOC(Massive Open Online Courses)과 같은 온라인 교육 환경이 부상하고 있다. 그러나 온라인 교육 시스템은 원거리로 학습이 이루어짐에 따라 학습자의 자발적 동기를 꾸준히 유지하기 어려우며, 또한 학습자 간에 지식을 공유하고 공유한 지식을 활용하는 기능이 부족하다. 이러한 문제를 극복하기 위해 구성주의적 학습이론과 집단지성에 기반하여 학습자가 보유한 학습자료를 공유하고 개인화된 학습자료 추천을 받을 수 있는 학습자료 북마킹 서비스인 WeStudy를 구현하였다. 위키피디아(Wikipedia), 슬라이드쉐어 (SlideShare), 비디오렉쳐스 (VideoLectures) 등 현존하는 집단지성 기반 서비스들의 주요 기능으로부터 필요한 집단지성 기능들을 검토하였으며, 본 서비스의 주요 기능으로 1) 리스트 및 그래프 형태의 학습자료 리스트 시각화, 2) 개인화된 학습자료 추천, 3) 보다 상세한 학습자료 추천을 위한 관심 학습자 지정 등을 도출하여 시스템을 설계하였다. 이후, 웹 기반으로 구현된 세 가지 주요기능 별로 개량된 휴리스틱 사용성 평가 방법을 통해 개발된 시스템의 사용성 평가를 실시하였다. 10명의 HCI 분야 전공자 및 현업 종사자를 대상으로 정량적 및 정성적인 평가 결과, 세 가지의 주요 기능에서 전반적으로 사용성이 우수한 것으로 판정되었다. 주요 기능 별 정성적인 평가에서 도출된 여러 마이너 이슈들을 반영할 필요가 있으며, 향후 대규모 사용자를 대상으로 본 서비스를 보급하고 이용할 수 있도록 제공하여 자발적인 지식 공유 환경을 조성할 수 있을 것으로 전망된다.