Smart HCI Based on the Informations Fusion of Biosignal and Vision

We propose a smart human-computer interface replacing conventional mouse interface. The interface is able to control cursor and command action with only hand performing without object. Four finger motions(left click, right click, hold, drag) for command action are enough to express all mouse function. Also we materialize cursor movement control using image processing. The measure what we use for inference is entropy of EMG signal, gaussian modeling and maximum likelihood estimation. In image processing for cursor control, we use color recognition to get the center point of finger tip from marker, and map the point onto cursor. Accuracy of finger movement inference is over 95% and cursor control works naturally without delay. we materialize whole system to check its performance and utility.

생체 신호와 비전 정보의 융합을 통한 스마트 휴먼-컴퓨터 인터페이스

본 논문에서는 3차원 공간에서의 직관적이며 자연스러운 손동작을 통해 기존의 컴퓨터 인터페이스를 대체할 수 있는 새로운 인터페이스를 제안한다. 제안하는 인터페이스는 커서의 이동 제어와 명령 제어의 기능을 3차원 공간에서 마우스란 매개체 없이 손의 움직임만으로 수행할 수 있다. 명령 제어를 위한 손가락 동작은 손목에서 얻은 근전도 신호를 통해 추론하며, 손가락 동작의 종류는 4가지(좌클릭, 우클릭, 홀드, 릴리즈)로 마우스의 모든 기능을 표현할 수 있다. 또한 컴퓨터 화면상 커서의 상하좌우 움직임 제어는 손의 이동을 통하여 이루어지며 이는 영상 정보처리를 통하여 구현하였다. 손가락 동작 추론을 위해 지표로는 근전도 신호의 엔트로피가 사용되었으며, 가우시안 모델링과 최우추정법을 이용하였다. 커서의 움직임 제어를 위한 영상처리에는 색상인식을 통하여 손가락 끝에 부착한 마커 영역의 위치 좌표를 얻고, 그 좌표의 중심점을 구하여 커서의 이동 제어를 구현하였다. 손가락 움직임 추론을 통한 명령 제어의 성공률은 95% 이상이며 커서 이동제어는 실시간 지연 없이 자연스러운 수행이 가능하였다. 전체 시스템을 직접 구현하여 성능 및 유용성에 대하여 확인하였다.