• Proceedings of the KSPS conference
• /
• 2002.11a
• /
• pp.111-114
• /
• 2002

Complementary use of several modalities in human-to-human communication ensures high accuracy, and only few communication problem occur. Therefore, multimodal interface is considered as the next generation interface between human and computer. This paper presents the current status and research themes of speech-based multimodal interface technology, It first introduces about the concept of multimodal interface. It surveys the recognition technologies of input modalities and synthesis technologies of output modalities. After that it surveys integration technology of modality. Finally, it presents research themes of speech-based multimodal interface technology.

• Journal of the Ergonomics Society of Korea
• /
• v.31 no.4
• /
• pp.593-599
• /
• 2012

Objective: This study aims to implement a non-contact gesture-based interface for presentation purposes and to analyze the effect of the proposed interface as information transfer assisted device. Background: Recently, research on control device using gesture recognition or speech recognition is being conducted with rapid technological growth in UI/UX area and appearance of smart service products which requires a new human-machine interface. However, few quantitative researches on practical effects of the new interface type have been done relatively, while activities on system implementation are very popular. Method: The system presented in this study is implemented with KINECT$^{(R)}$ sensor offered by Microsoft Corporation. To investigate whether the proposed system is effective as a presentation support tool or not, we conduct experiments by giving several lectures to 40 participants in both a traditional lecture room(keyboard-based presentation control) and a non-contact gesture-based lecture room(KINECT-based presentation control), evaluating their interests and immersion based on contents of the lecture and lecturing methods, and analyzing their understanding about contents of the lecture. Result: We check that whether the gesture-based presentation system can play effective role as presentation supporting tools or not depending on the level of difficulty of contents using ANOVA. Conclusion: We check that a non-contact gesture-based interface is a meaningful tool as a sportive device when delivering easy and simple information. However, the effect can vary with the contents and the level of difficulty of information provided. Application: The results presented in this paper might help to design a new human-machine(computer) interface for communication support tools.

• 한국HCI학회:학술대회논문집
• /
• 2006.02a
• /
• pp.1-6
• /
• 2006

촉감 제시 방법은 다른 사람에게 방해를 주지 않고 은밀하게 정보를 전달할 수 있는 장점이 있으며, 특히 시각 혹은 청각 장애인에게는 반드시 필요한 정보 전달의 수단이다. 또한 촉감을 이용한 정보의 전달은 시청각을 이용한 정보전달의 방법을 보완하거나 때로는 대체할 수도 있다. 본 논문에서는 웨어러블, 모바일, 또는 유비쿼터스 컴퓨팅 환경에서 사용할 수 있는 착용 가능한 진동촉감 제시 장치를 제안한다. 이 진동촉감 제시 장치는 25개의 진동모터를 $5{\times}5$의 형태로 배열하여 문자, 숫자뿐만 아니라 다양하고 복잡한 패턴을 표시할 수 있다. 코인형 진동모터 각각을 스펀지로 감싸고 푹신푹신한 재질의 패드에 세워서 배열하여 진동의 퍼짐을 최소화하고 사람의 글씨 쓰는 순서에 따라 진동모터를 순차적으로 구동시키는 새로운 추적모드를 제안하여 사용자의 문자 및 숫자 인식률을 크게 향상시켰다. 사용자 성능 평가에서는 사용자의 발등에 영문 알파벳을 표시하여 86.7%의 인식률을 얻었다. 또한 진동촉감 제시 장치를 이용하여 핸드폰에서의 발신자 정보표시를 한다거나 네비게이션 시스템에 적용할 수 있는 등의 유용한 응용분야를 제시하였다.

• 한국HCI학회:학술대회논문집
• /
• 2006.02a
• /
• pp.230-237
• /
• 2006

본 논문은 스포츠 방송의 몰입감 증대를 위한 진동촉감 제시 시스템 및 장치를 제안하며, 촉감 정보를 효과적으로 전달하기 위한 촉감제시 방법론 및 제어 알고리즘을 제안한다. 최근 디지털 컨텐츠의 전달에 있어 오감을 통한 정보 전달의 관심이 증대됨에 따라, 대중을 대상으로 다양한 정보를 전달하는 디지털 매체에서의 시청각과 더불어 촉감 제시의 역할과 중요성이 증대되었다. 따라서 본 논문에서는 실시간으로 동적인 현장 상황을 실감 있게 전달하는 스포츠 방송에서의 햅틱 효과와 역할 그리고 가능한 시나리오를 정의하고, 진동촉감 제시 장비를 설계하여 촉감 정보 표현에 대한 기초 연구를 수행하였다. 또한 제안된 촉감을 이용한 스포츠 방송 시나리오 중 축구 방송을 기반으로 사용자 촉감 인지 실험을 수행하였으며, 실험 결과를 바탕으로 축구 방송 시스템을 구축하여 실감방송 전시회 시연을 통해 진동촉감 시스템 및 촉감 제시 방법론을 검증하였다. 촉감이 인간의 오감 중 시청각 다음으로 정보를 인지하는 중요한 감각 체계인 만큼 많은 양의 정보를 대중에게 전달하는 방송 시스템에서 시청각과 더불어 효과적인 정보 전달 체계로써 기여할 것이라고 여겨진다.

• Proceedings of the KSPS conference
• /
• 2006.11a
• /
• pp.14-18
• /
• 2006

The role of dialogue manager is to select proper actions based on observed environment and inferred user intention. This paper presents stochastic model for dialogue manager based on Markov decision process. To build a mixed initiative dialogue manager, we used accumulated user utterance, previous act of dialogue manager, and domain dependent knowledge as the input to the MDP. We also used dialogue corpus to train the automatically optimized policy of MDP with reinforcement learning algorithm. The states which have unique and intuitive actions were removed from the design of MDP by using the domain knowledge. The design of dialogue manager included the usage of natural language understanding and response generator to build short message based remote control of home networked appliances.

• Journal of Institute of Control, Robotics and Systems
• /
• v.11 no.1
• /
• pp.41-49
• /
• 2005

Electromyogram (EMG) signal generated by voluntary contraction of muscles is often used in rehabilitation devices because of its distinct output characteristics compared to other bio-signals. This paper proposes a novel EMG-based human-computer interface for electric-powered wheelchair users with motor disabilities by C4 or C5 spine cord injury. User's commands to control the electric-powered wheelchair are represented by shoulder elevation motions, which are recognized by comparing EMG signals acquired from the levator scapulae muscles with a preset double threshold value. The interface commands for controlling the electric-powered wheelchair consist of combinations of left-, right- and both-shoulders elevation motions. To achieve a real-time interface, we implement an EMG processing hardware composed of analog amplifiers, filters, a mean absolute value circuit and a high-speed microprocessor. The experimental results using an implemented real-time hardware and an electric-powered wheelchair showed that the EMG-based human-computer interface is feasible for the users with severe motor disabilities.

• Journal of the Korean Society for information Management
• /
• v.9 no.2
• /
• pp.154-180
• /
• 1992

This article examined an overview of historical background and human factors issues/topics in the area of human-computer interface and identified various aspects of hypermedia systems such as concepts, characteristics, representative softwares. The integration of other information systems with hypermedia system for the improvement of user interface was investigated.

• Proceedings of the Korean Society of Precision Engineering Conference
• /
• 2006.10a
• /
• pp.479-480
• /
• 2006

• Journal of the Ergonomics Society of Korea
• /
• v.19 no.1
• /
• pp.77-90
• /
• 2000

The aim of this study is to develop and evaluate an efficient camera calibration method for vision-based head tracking. Tracking head movements is important in the design of an eye-controlled human/computer interface. A vision-based head tracking system was proposed to allow the user's head movements in the design of the eye-controlled human/computer interface. We proposed an efficient camera calibration method to track the 3D position and orientation of the user's head accurately. We also evaluated the performance of the proposed method. The experimental error analysis results showed that the proposed method can provide more accurate and stable pose (i.e. position and orientation) of the camera than the conventional direct linear transformation method which has been used in camera calibration. The results of this study can be applied to the tracking head movements related to the eye-controlled human/computer interface and the virtual reality technology.

• Proceedings of the Korean Information Science Society Conference
• /
• 2007.06c
• /
• pp.194-198
• /
• 2007

현재 서비스되고 있는 홈네트워크는 가전기기들에 대한 홈오토메이션 서비스로서 웹이나 TV 등을 통한 메뉴선택 방식으로 제어되고 있다. 본 논문에서는 홈네트워크에 SMS를 통한 대화형 인터페이스를 도입함으로서 시간과 장소의 제약이 없는, 가전기기 제어를 가능하게 하였다. 대화형 인터페이스의 구현을 위해 홈네트워크 영역의 요구분석을 통하여 23개의 화행과 22개의 의미성분으로 이루어진 의미구조를 수립하였으며, WOZ(Wizard-of-OZ)방식으로 9만 6천 대화쌍을 수집하였다. 대화 처리를 위하여 예제기반 대화추론 및 응답생성 방법을 사용하였으며, SMS 영역에서의 성능향상을 위하여 전처리를 도입하였다. 구현된 서비스에 대한 성능평가 실험을 통해 사용자 만족도를 조사하였다.