• Journal of Korea Game Society
• /
• v.9 no.1
• /
• pp.93-103
• /
• 2009

A Serious Game helps the learners to recognize the problems effectively, grasp and classify important information needed to solve the problems and convey the contents of what they have learned. Owing not only to this game-like fun but also to the educational effect, The Serious Game can be usefully applied to education and training in the areas of scientific technology and industrial technology. This study proposes the Serious Game that users can apply to biotechnology by using intuitive multi-modal interfaces. In this study, a stereoscopic monitor is used to make three dimensional molecular structures, and multi-modal interface is used to efficiently control. Based on a such system, this study easily solved the docking simulation function, which is one of the important experiments, by applying these game factors. For this, we suggested the level-up concept as a game factor that depends on numbers of objects and users. The proposed system was evaluated in performance comparison in result time of a new drug design process on AIDS virus with previous approach.

• 한국HCI학회:학술대회논문집
• /
• 2008.02a
• /
• pp.85-90
• /
• 2008

This paper describes the human body learning system using the multi-modal user interface. Through our learning system, students can study about human anatomy interactively. The existing learning methods use the one-way materials like images, text and movies. But we propose the new learning system that includes 3D organ surface models, haptic interface and the hierarchical data structure of human organs to serve enhanced learning that utilizes sensorimotor skills.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2004.11a
• /
• pp.975-978
• /
• 2004

본 논문에서 우리는 가상현실 시스템의 구축에 있어서, 사용자의 직접 상호작용 (direct interaction)을 기본으로 하는 근신 공간(near-body space) 작업에서 사용자의 존재감 (Presence) 향상과 작업 성능 향상을 위하여, 사용자와 공간적 및 감각적으로 일치된 가상 인체 모델의 구현을 중심으로 현재의 기술 현황 및 연구 개발 방향에 대하여 기술한다. 이상적인 가상현실 시스템을 구현하기 위해서 고려되어야 할 요소를 멀티모달 상호작용과 실감 일치형 인터페이스 개발 방법론의 관점에서 보면, 사용자가 접하는 가상 공간의 시각적 모델(visual perception)과 자기 동작 감각적(proprioceptive) 모델의 일치가 중요하다. 그러므로, 시각적으로 사용자의 움직임과 일치된 자신의 신체가 가시화 되어야 하고, 자연스러운 근신 공간 직접 상호작용을 지원하기 위해서는 사실적인 햅틱 피드백 요소가 중요하며, 공간적 정보를 표현 함에 있어서 동기화 된 사실적 청각 피드백 요소의 지원이 중요하다. 앞의 주요 3 가지 감각 인터페이스 방법(sensory channel, modality)는 현재의 불완전한 인터페이스 기술의 한계를 고려하여 상호 보완적인 관계로 응용 환경에 최적화된 적용 방법이 연구되어야 한다.

• Proceedings of the Acoustical Society of Korea Conference
• /
• 1998.06c
• /
• pp.59-62
• /
• 1998

본 논문에서는 한국전자통신연구원의 Handy Combi 응용 도메인을 대상으로 한 화자독립 연속음성인식 시스템 개발에 관하여 기술한다. 불특정화자가 자연스럽게 발음한 연속음성을 인식하는 기술은 펜인식 등과 더불어 멀티모달 인터페이스의 핵심 요소로서, 이동 환경에서 사용자의 다양한 요구사항을 처리하는 지능형 에이전트에 구현을 위해 필수적으로 개발되어야 하는 기술이다. 본 논문에서는 연속확률분포를 가지는 Hidden Markov Model(HMM) 기반의 연속음성인식 시스템을 구현하였다. 개발된 시스템은 음성특징벡터로 MFCC를 사용하였으며, 음소 모델의 강인한 훈련을 위해 음성학적 지식에 기반을 둔 tree-based clustering 방식을 도입하였다. 인식단계에서는 인식속도를 개선시키기 위해 beam-search 기법을 적용하였다. 인식 실험 결과, 99.7%의 어절 인식률과 98.8%의 문장 인식률을 얻었으며, 최종적인 문장의 이해도는 99% 이상이었다.

• 한국HCI학회:학술대회논문집
• /
• 2006.02a
• /
• pp.666-671
• /
• 2006

'Multi modal 인터페이스'란 인간과 기계의 통신을 위해 음성, 키보드, 펜을 이용, 인터페이스를 하는 방법을 말한다. 최근 들어 많은 휴대용 단말기가 보급 되고, 단말기가 소형화, 지능화 되어가고, 단말기의 어플리케이션도 다양해짐에 따라 사용자가 보다 편리하고 쉽게 사용할 수 있는 입력 방법에 기대치가 높아가고 있다. 현재 휴대용 단말기에 가능한 입력장치는 단지 단말기의 버튼이나 터치 패드(PDA 경우)이다. 하지만 장애인의 경우 버튼이나 터치 패드를 사용하기 어렵고, 휴대용 단말기로 게임을 하는데 있어서도, 어려움이 많으며 새로운 게임이나 어플리케이션 개발에도 많은 장애요인이 되고 있다. 이런 문제점들은 극복하기 위하여, 본 논문에서는 휴대용 단말기의 새로운 Multi Modal 인터페이스를 제시 하였다. PDA(Personal Digital Assistants)를 이용하여 더 낳은 재미와 실감을 줄 수 있는 Multi Modal 인터페이스를 개발하였다. 센서를 이용하여 휴대용 단말기를 손목으로 제어를 가능하게 함으로서, 사용자에게 편리하고 색다른 입력 장치를 제공 하였다. 향후 음성 인식 기능이 추가 된다면, 인간과 인간 사이의 통신은 음성과 제스처를 이용하듯이 기계에서는 전통적으로 키보드 나 버튼을 사용하지 않고 인간처럼 음성과 제스처를 통해 통신할 수 있을 것이다. 또한 여기에 진동자를 이용하여 촉감을 부여함으로써, 그 동안 멀티 모달 인터페이스에 소외된 시각 장애인, 노약자들에게도 정보를 제공할 수 있다. 실제로 사람은 시각이나 청각보다 촉각에 훨씬 빠르게 반응한다. 이 시스템을 게임을 하는 사용자한테 적용한다면, 능동적으로 게임참여 함으로서 좀더 실감나는 재미를 제공할 수 있다. 특수한 상황에서는 은밀한 정보를 제공할 수 있으며, 앞으로 개발될 모바일 응용 서비스에 사용될 수 있다.

• The Journal of the Convergence on Culture Technology
• /
• v.5 no.3
• /
• pp.9-23
• /
• 2019

The artificial intelligence speaker market is in a new age of mounting displays. This study aimed to analyze the difference of experience using artificial intelligent speakers in terms of usage context, according to the presence or absence of displays. This was achieved by using semantic network analysis to determine how the online review texts of Amazon Echo Show and Echo Plus consisted of different UX issues with structural differences. Based on the physical context and the social context of the user experience, the ego network was constructed to draw out major issues. Results of the analysis show that users' expectation gap is generated according to the display presence, which can lead to negative experiences. Also, it was confirmed that the Multimodal interface is more utilized in the kitchen than in the bedroom, and can contribute to the activation of communication among family members. Based on these findings, we propose a user experience strategy to be considered in display type speakers to be launched in Korea in the future.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2012.05a
• /
• pp.368-371
• /
• 2012

Smart TV is approaching as a new media service to integrate the broadcasting and the internet according to the technology evaluation of convergence to broadcasting, telecommunication, and computing. Therefore, This paper looks out the next generation smart TV(Smart TV 2.0) technology based on CPNT which supports those services such as the broadcasting, telecommunication, a convergence of broadcasting & communication, and computer service through multi-screen.

• Proceedings of the KSPS conference
• /
• 2002.11a
• /
• pp.111-114
• /
• 2002

Complementary use of several modalities in human-to-human communication ensures high accuracy, and only few communication problem occur. Therefore, multimodal interface is considered as the next generation interface between human and computer. This paper presents the current status and research themes of speech-based multimodal interface technology, It first introduces about the concept of multimodal interface. It surveys the recognition technologies of input modalities and synthesis technologies of output modalities. After that it surveys integration technology of modality. Finally, it presents research themes of speech-based multimodal interface technology.

• 한국경영정보학회:학술대회논문집
• /
• 2008.06a
• /
• pp.71-78
• /
• 2008

새로운 경영방식을 가능하게 하는 혁신적 정보기술의 하나로서 최근 차세대 인터넷으로 불리는 3차원 온라인 가상공간인 메타버스가 부상하고 있으며, 이를 구현하기 위해 증강현실이나 멀티모달 방식 등으로 자연스러운 인터페이스를 실현하려는 노력이 주목할 만하다. 그러나 아직 메타버스에 대한 학술적 접근이나 메타버스 기반의 u-Biz 혁신에 대한 연구는 미흡한 실정이다. 따라서 본 연구의 목적은 e-Biz와 u-Biz 및 메타버스 현황을 살펴보고, 기존의 비즈니스 유형을 융 복합하여 메타버스 기반의 차세대 u-Biz를 의미하는 메타비즈니스 및 그의 유형을 제안하는 것이다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2011.06b
• /
• pp.240-241
• /
• 2011

Contemporary electronic healthcare systems are getting more and more complex, providing users a broad functionality, but often fail to have accessible interfaces. However, the importance of a good interface is nearly as great as of the rest of the system. Development of an intuitive multimodal interface for a healthcare system is the goal of our research work. This paper discusses data model of the interface.