• 한국컴퓨터정보학회논문지
• /
• 제9권4호
• /
• pp.85-91
• /
• 2004

최근 들어 인간의 의지를 컴퓨터에 전달하기 위한 수단으로 컴퓨터 시각기반 방식으로 제스처를 인식하고자 하는 연구가 널리 진행되고 있다. 제스처 인식에서 가장 중요한 이슈는 알고리즘의 단순화와 처리 시간의 감소이다. 이러한 문제를 해결하기 위하여 본 연구에서는 기하학적 집합론에 근거하고 있는 수학적 형태론을 적용하였다. 본 논문에서 제안한 알고리즘의 키 아이디어는 형태론적 형상분해를 적용하여 얻은 원시형상 요소들의 중심점을 연결하는 궤적을 추적하는 것이다. 핸드 제스처 시퀀스의 중심점 궤적은 핸드 제스처의 형상에 관련된 중요한 정보를 내포하고 있다. 이러한 특징에 근거하여 본 연구에서는 원시형상 요소들의 중심점 궤적과 직접적으로 관련되는 체인코드 에지벡터로부터 형상의 특징벡터를 계산하여 핸드 제스처 시퀀스를 인식할 수 있는 알고리즘을 제안하고, 실험을 통하여 그 유용성을 증명하였다.

• 대한음성학회지:말소리
• /
• 제67호
• /
• pp.103-120
• /
• 2008

Basic components for multimodal interface, such as speech recognition, speech synthesis, gesture recognition, and multimodal fusion, have their own technological limitations. For example, the accuracy of speech recognition decreases for large vocabulary and in noisy environments. In spite of those technological limitations, there are lots of applications in which speech-oriented multimodal user interfaces are very helpful to users. However, in order to expand application areas for speech-oriented multimodal interfaces, we have to develop the interfaces focused on usability. In this paper, we introduce usability and user-centered design methodology in general. There has been much work for evaluating spoken dialogue systems. We give a summary for PARADISE (PARAdigm for Dialogue System Evaluation) and PROMISE (PROcedure for Multimodal Interactive System Evaluation) that are the generalized evaluation frameworks for voice and multimodal user interfaces. Then, we present usability components for speech-oriented multimodal user interfaces and usability testing guidelines that can be used in a user-centered multimodal interface design process.

• 감성과학
• /
• 제10권4호
• /
• pp.583-601
• /
• 2007

웨어러블 컴퓨팅 환경은 대개 이동 중일 가능성이 많고 이때 눈과 손이 자유롭지 못하고 많은 주의가 필요한데 기존의 데스크탑 인터페이스 방식(WIMP)은 적합하지 않다. 또한 웨어러블 환경에서 모바일 기기의 소형화로 인하여 작은 화면에서 정보를 확인하고 처리해야 하기 때문에 기능 수행에 따른 인지부하가 늘어남과 동시에 수행 속도가 느려지고 많은 오류가 발생하는 등 어려움이 따른다. 이와 같이 변화된 환경에 적합한 입력 방식의 적정 수준을 찾는 연구가 필요하다. 본 연구는 이동 상황에서 모바일 기기를 사용할 때 동시에 여러 가지 일을 수행함으로써 걸릴 수 있는 인지부하를 줄여주기 위한 방법을 기기의 입력 방식과 사용되는 메뉴구조의 복잡성을 중심으로 분석하였다. 입력 방식을 포인팅입력 방식, 버튼입력 방식, 동작입력 방식으로 나누고, 이 방식들을 통한 메뉴탐색 과제와 화면에 제시되는 도형기억 과제를 동시에 수행했을 때 수행의 정확도와 과제수행 속도를 측정하였다. 또한 제시되는 메뉴탐색 과제의 메뉴계층의 수를 변화시켜서 입력 방식의 복잡성에 따른 과제 수행을 살펴보았다. 실험은 정지 상황과 이동 상황에서 모두 이루어졌다. 정지 상황과 이동 상황 모두에서 포인팅입력 방식이 과제 수행의 정확도가 가장 높은 반면 수행 속도에서 가장 느린 것으로 나타났다. 동작입력 방식에서는 수행의 정확도는 떨어졌으나 수행 속도는 빠르게 나타났다. 이는 이동 중에 수행되는 과제에서 정확도보다도 속도가 중요한 상황에서는 동작입력 방식이 적합하다는 것을 시사한다.

• 한국CDE학회논문집
• /
• 제12권2호
• /
• pp.126-136
• /
• 2007

Teleconferences have been used in business sectors to reduce traveling costs. Traditionally, specialized telephones that enabled multiparty conversations were used. With the introduction of high speed networks, we now have high definition videos that add more realism in the presence of counterparts who could be thousands of miles away. This paper presents a new technology that adds even more realism by telecommunicating with hand gestures. This technology is part of a teleconference system named SMS (Smart Meeting Space). In SMS, a person can use hand gestures to manipulate meeting data that could be in the form of text, audio, video or 3D shapes. Fer detecting hand gestures, a machine learning algorithm called SVM (Support Vector Machine) has been used. For the prototype system, a 3D interaction environment has been implemented with $OpenGL^{TM}$, where a 3D human skull model can be grasped and moved in 6-DOF during a remote conversation between distant persons.

• 융합신호처리학회논문지
• /
• 제11권3호
• /
• pp.221-225
• /
• 2010

This paper presents the preliminary study of an interactive rehabilitation support system for both dementia patients and their caregivers, the goal of which is to improve the quality of life(QOL) of the patients suffering from dementia through virtual interaction. To achieve the virtual interaction, three kinds of recognition modules for speech, facial image and pen-mouse gesture are studied. The results of both practical tests and questionnaire surveys show that the proposed system had to be further improved, especially in both speech recognition and user interface for real-world applications. The surveys also revealed that the pen-mouse gesture recognition, as one of possible interactive aids, show us a probability to support weakness of speech recognition.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2006년도 하계종합학술대회
• /
• pp.379-380
• /
• 2006

As a result of growth sensor-enabled mobile devices such as PDA, cellular phone and other computing devices, in recent years, users can utilize the diverse digital contents everywhere and anytime. However, the interfaces of mobile applications are often unnatural due to limited resources and miniaturized input/output. Especially, users may feel this problem in some applications such as the mobile game. Therefore, Novel interaction forms have been developed in order to complement the poor user interface of the mobile device and to increase the interest for the mobile game. In this paper, we describe the demonstration of the gesture and posture input supported by an accelerometer. The application example we created are AM-Fishing game on the mobile device that employs the accelerometer as the main interaction modality. The demos show the usability for the gesture and posture interaction.

• 대한음성학회지:말소리
• /
• 제58호
• /
• pp.101-117
• /
• 2006

The development of efficient multimodal interfaces and fusion algorithms requires knowledge of usage patterns that show how people use multiple modalities. We analyzed multimodal usage patterns for TV-guide application scenarios (or tasks). In order to collect usage patterns, we implemented a multimodal usage pattern collection system having two input modalities: speech and touch-gesture. Fifty-four subjects participated in our study. Analysis of the collected usage patterns shows a positive correlation between the task type and multimodal usage patterns. In addition, we analyzed the timing between speech-utterances and their corresponding touch-gestures that shows the touch-gesture occurring time interval relative to the duration of speech utterance. We believe that, for developing efficient multimodal fusion algorithms on an application, the multimodal usage pattern analysis for the given application, similar to our work for TV guide application, have to be done in advance.

• 한국위성정보통신학회논문지
• /
• 제9권1호
• /
• pp.57-64
• /
• 2014

최근 물리적 디바이스의 도움 없이 사람이 시스템과 인터랙션 할 수 있는 인간 친화적인 인간-기계 인터페이스가 많이 연구되고 있다. 이중 대표적인 것이 본 논문의 주제인 비전기반 제스처인식이다. 본 논문에서 우리는 설정된 가상세계의 객체와의 인터랙션을 위한 손 제스처들을 정의하고 이들을 인식할 수 있는 효과적인 방법론을 제안한다. 먼저, 웹캠으로 촬영된 저해상도 영상에서 사용자의 양손을 검출 및 추적하고, 손 영역을 분할하여 손 실루엣을 추출한다. 우리는 손 검출을 위해, RGB 공간에서 명암에 따라 두개의 타원형 모델을 이용하여 피부색을 모델링하였으며, 블랍매칭(blob matching) 방법을 이용하여 손 추적을 수행하였다. 우리는 플러드필(floodfill) 알고리즘을 이용해 얻은 손 실루엣의 행/열 모드 검출 및 분석을 통해 Thumb-Up, Palm, Cross 등 세 개의 손모양을 인식하였다. 그리고 인식된 손 모양과 손 움직임의 콘텍스트를 분석해서 다섯 가지 제스처를 인식할 수 있었다. 제안하는 제스처인식 방법론은 정확한 손 검출을 위해 카메라 앞에 주요 사용자가 한 명 등장한다는 가정을 하고 있으며 많은 실시간 데모를 통해 효율성 및 정확성이 입증되었다.

• 한국정보통신학회논문지
• /
• 제19권5호
• /
• pp.1213-1220
• /
• 2015

최근 전자칠판 시스템, 스마트 기기의 보급과 더불어 다양한 디지털 콘텐츠가 등장하면서 종이 교과서를 활용하는 전통적인 교육에서 위 기기들을 활용하는 스마트 교육으로 진입하기 위한 작업이 정부 주도하에 진행 중에 있다. 스마트 교육을 활성화하기 위해서는 실제 현장의 강사들이 스마트 교육 인프라를 쉽게 활용할 수 있어야 한다. 특히, 전자칠판은 현장의 강사들이 가장 많이 활용할 것으로 예상되는 기기로 이 기기에서 동작하는 판서 소프트웨어는 복잡하지 않은 인터페이스를 제공하고 사용 방법이 간단해야 한다. 본 논문에서는 누구나 쉽게 활용할 수 있는 전자칠판용 판서 소프트웨어를 개발하였다. 개발된 판서 소프트웨어는 기본 판서 기능이외에 사용자의 제스처를 인식하여 그에 대응하는 기능을 수행하는 제스처 인식 기능과 판서 위치에 따른 동적 메뉴 배치 기능, 그리고 사용 빈도 기반의 자동 버튼 정렬 기능을 제공한다.

• 한국인터넷방송통신학회논문지
• /
• 제15권2호
• /
• pp.167-173
• /
• 2015

손-동작(Hand-Gesture) 인터페이스 기술에서 사용자의 다중 입력을 위하여 손가락 끝점(Finger end-points)의 추출은 가장 중요한 과정 가운데 하나이다. 그러나 이전의 방법들은 손 영역을 추출하고 기하학적 또는 형태학적 영상 처리 방법에 기반하여 손-동작 명령 수행을 위한 손가락 끝점 추출을 수행하고 있다. 따라서 본 논문에서는 멀티터치(Multi-Touch) 디스플레이 장치에서 사용자 입력 처리를 위해서 사용되는 적외선 확산 투광(DI: Diffused illumination) 방식을 이용하여 사용자 손가락 끝점을 추출하고, 추출된 끝점의 개수 변화 및 이동 방향에 의해서 동작하는 공간 마우스를 구현한다. 제안하는 공간 마우스는 기본적인 마우스 이벤트 처리뿐만 아니라, 확장된 사용자 멀티 제스쳐를 위한 연속적 명령 기능을 포함한다. 구현된 공간 마우스의 성능 평가를 위해서 윈도우 웹 브라우져 어플리케이션 사용 환경에 적용한 결과 다양한 사용자 명령에 대하여 평균 90%의 성공적 결과를 보였다.