• Journal of rehabilitation welfare engineering & assistive technology
• /
• v.5 no.1
• /
• pp.103-110
• /
• 2011

In this paper, we propose a gaze recognition interface for smart wheelchair. The gaze recognition interface is a user interface which recognize the commands using the gaze recognition and avoid the detected obstacles by sensing the distance through range sensors on the way to driving. Smart wheelchair is composed of gaze recognition and tracking module, user interface module, obstacle detector, motor control module, and range sensor module. The interface in this paper uses a camera with built-in infra red filter and 2 LED light sources to see what direction the pupils turn to and can send command codes to control the system, thus it doesn't need any correction process per each person. The results of the experiment showed that the proposed interface can control the system exactly by recognizing user's gaze direction.

• The KIPS Transactions:PartB
• /
• v.17B no.1
• /
• pp.1-8
• /
• 2010

The researches about gaze recognition which current user gazes and finds the location have increasingly developed to have many application. The gaze recognition of existence all about researches have got problems because of using equipment that Infrared(IR) LED, IR camera and head-mounted of high price. This study propose and implement the gaze recognition system based on SVM using a single PC Web camera. The proposed system that divide the gaze location of 36 per 9 and 4 to recognize gaze location of 4 direction and 9 direction recognize user's gaze. Also, the proposed system had apply on image filtering method using difference image entropy to improve performance of gaze recognition. The propose system was implements experiments on the comparison of proposed difference image entropy gaze recognition system, gaze recognition system using eye corner and eye's center and gaze recognition system based on PCA to evaluate performance of proposed system. The experimental results, recognition rate of 4 direction was 94.42% and 9 direction was 81.33% for the gaze recognition system based on proposed SVM. 4 direction was 95.37% and 9 direction was 82.25%, when image filtering method using difference image entropy implemented. The experimental results proved the high performance better than existed gaze recognition system.

• Proceedings of the Korea Society for Industrial Systems Conference
• /
• 2009.05a
• /
• pp.88-92
• /
• 2009

본 논문에서는 시선인식을 이용한 지능형 휠체어 시스템에 대해 설명한다. 지능형 휠체어는 초음파센서를 이용하여 전동휠체어가 장애물을 감지하여 회피할 수 있게 하고, 조이스틱을 움직이기 힘든 중증 장애인을 위해 시선인식 및 추적을 이용하여 전동휠체어를 움직일 수 있게 하는 인터페이스를 제안한다. 지능형 휠체어는 시선인식 및 추적 모듈, 사용자 인터페이스, 장애물 회피 모듈, 모터 제어 모듈, 초음파 센서 모듈로 구성된다. 시선인식 및 추적 모듈은 적외선 카메라와 두개의 광원으로 사용자 눈의 각막 표면에 두 개의 반사점을 생성하고, 중심점을 구한 뒤, 동공의 중심점과 두 반사점의 중심을 이용하여 시선 추적을 한다. 시선이 응시하는 곳의 명령어를 사용자 인터페이스를 통해서 하달 받고, 모터 제어 모듈은 하달된 명령과 센서들에 의해 반환된 장애물과의 거리 정보로 모터제어보드에 연결되어 있는 두 개의 좌우 모터들을 조종한다. 센서 모듈은 전등휠체어가 움직이는 동안에 주기적으로 센서들로부터 거리 값을 반환 받아 벽 또는 장애물을 감지하여 장애물 회피 모듈에 의해 장애물을 우회 하도록 움직인다. 제안된 방법의 인터페이스는 실험을 통해 시선을 이용하여 지능형 휠체어에 명령을 하달하고 지능형 휠체어가 임의로 설치된 장애물을 효과적으로 감지하고 보다 정확하게 장애물을 회피 할 수 있음을 보였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2013.11a
• /
• pp.1455-1456
• /
• 2013

최근 스마트 이동단말에 장착된 영상 센서를 통해 획득한 영상에서 실시간으로 사용자의 눈을 인식하거나 시선을 추적하여 콘텐츠 제어, 행태 분석 등을 수행하는 기술에 대한 필요성이 증가하고 있다. 기존의 영상 분석 기반 시선 추적 기술은 고가의 시선 추적기를 기반으로 하며, 추적한 시선 좌표를 통해 실제 응시객체를 분석하는 사후 작업이 필요하다. 이에, 본 논문에서는 OpenCV를 기반으로 스마트 이동단말의 전면에 장착된 영상 센서에서 사용자의 눈을 인식하고, 시선을 추적한 후, 이를 실시간으로 시선 좌표와 화면의 콘텐츠 내 객체 영역을 매칭함으로써, 응시객체를 분석하는 스마트 이동단말 기반 시선 추적기를 설계하였다. 본 논문의 시선 추적기는 시선 추적을 수행하기 위해, 사용자에게 5개의 화면 교정점을 제공하고 응시하도록 하여 시선 추적 범위를 측정한다. 또한, 스마트 이동단말에 내장된 자이로스코프 센서를 통해 기울기가 변경될 시, 이를 반영하여 시선 교정을 수행하도록 설계하였다.

• Proceedings of the KIEE Conference
• /
• 2007.10a
• /
• pp.119-120
• /
• 2007

본 논문에서는 실내의 고정된 단일 칼라 카메라에서 획득된 비디오 스트림으로부터 사람의 행동을 인식하기 위한 시스템을 제안한다. 제안된 시스템은 사람의 시공간적 상태 변화와 사람의 시선 방향을 이용하여 규칙기반으로 행동을 인식한다. 사람의 의미 있는 상태변화를 이벤트로, 이벤트의 시퀀스 즉, 사람의 행동을 시나리오로 정의하였다. 따라서 입력비디오 스트림에서 사람의 상태변화로 이벤트를 검출하고, 검출된 이벤트의 시퀀스로 사람의 행동을 인식한다. 사람의 시선은 얼굴과 머리 영역의 색정보를 이용한 시선 방향 추정 방법으로 찾아지며, 사람의 상태 변화는 사람의 위치와 키 등을 이용하여 검출된다. 본 시스템은 실내 환경에서 획득한 비디오에서 실험하였으며, 실험결과 시선 방향에 의해 서로 다른 행동을 구분하여 인식할 수 있었다.

• Journal of Korea Society of Industrial Information Systems
• /
• v.16 no.4
• /
• pp.9-18
• /
• 2011

In this paper, we propose a method which recognizes human activity using model-based gaze direction estimation in an indoor environment. The method consists of two steps. First, we detect a head region and estimate its gaze direction as prior information in the human activity recognition. We use color and shape information for the detection of head region and use Bayesian Network model representing relationships between a head and a face for the estimation of gaze direction. Second, we recognize event and scenario describing the human activity. We use change of human state for the event recognition and use a rule-based method with combination of events and some constraints. We define 4 types of scenarios related to the gaze direction. We show performance of the gaze direction estimation and human activity recognition with results of experiments.

• The Journal of the Institute of Internet, Broadcasting and Communication
• /
• v.15 no.1
• /
• pp.191-197
• /
• 2015

In this paper, we propose the system which recognize the gaze using Random Forests in vehicular environment based on smart-phone. Proposed system is mainly composed of the following: face detection using Adaboost, face component estimation using Histograms, and gaze recognition based on Random Forests. We detect a driver based on the image information with a smart-phone camera, and the face component of driver is estimated. Next, we extract the feature vectors from the estimated face component and recognize gaze direction using Random Forest recognition algorithm. Also, we collected gaze database including a variety gaze direction in real environments for the experiment. In the experiment result, the face detection rate and the gaze recognition rate showed 82.02% and 84.77% average accuracies, respectively.

• The KIPS Transactions:PartB
• /
• v.16B no.2
• /
• pp.93-100
• /
• 2009

In this paper, we propose a Difference Image Entropy based gaze direction recognition system. The Difference Image Entropy is computed by histogram levels using the acquired difference image of current image and reference images or average images that have peak positions from $-255{\sim}+255$ to prevent information omission. There are two methods about the Difference Image Entropy based gaze direction. 1) The first method is to compute the Difference Image Entropy between an input image and average images of 45 images in each location of gaze, and to recognize the directions of user's gaze. 2) The second method is to compute the Difference Image Entropy between an input image and each 45 reference images, and to recognize the directions of user's gaze. The reference image is created by average image of 45 images in each location of gaze after receiving images of 4 directions. In order to evaluate the performance of the proposed system, we conduct comparison experiment with PCA based gaze direction system. The directions of recognition left-top, right-top, left-bottom, right-bottom, and we make an experiment on that, as changing the part of recognition about 45 reference images or average image. The experimental result shows that the recognition rate of Difference Image Entropy is 97.00% and PCA is 95.50%, so the recognition rate of Difference Image Entropy based system is 1.50% higher than PCA based system.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2015.04a
• /
• pp.306-309
• /
• 2015

현재 태블릿 PC와 스마트기기의 급속한 보급으로 다양한 분야의 스마트러닝 시스템들이 운영되고 있다. 그러나 현재까지의 스마트러닝 시스템에서는 학습자가 강의를 정확하게 수강하였는지의 판단은 로그인과 동영상강의의 런닝타임으로 체크하여 학습자가 동영상강의를 제대로 수강하였는지는 판단하기 어렵다. 그래서 본 논문에서는 기존 스마트러닝 시스템에 스마트기기의 내장 카메라를 이용한 시선인식기능을 사용하여 학습자가 동영상강의를 수강하는 동안 시선인식이 되지 못하면 동영상이 멈추게 설계하여 강의내용을 끝까지 수강하게 한다. 그리고 각 수강생별로 시선인식이 되지않아 동영상이 멈춘 시간대와 멈춘 시간을 기록하여 강의종료 후 서버에 전송하여 전체 강의시간에 대한 집중도를 체크하며 학습자의 수강여부를 판단하고 같은 강의를 수강하는 여러 학습자들의 자료를 분석하여 교수자가 강의를 개선할 수 있는 스마트러닝 시스템을 설계하려고 한다.

• Journal of Korea Society of Industrial Information Systems
• /
• v.14 no.4
• /
• pp.91-100
• /
• 2009

In this paper, we propose autonomous intelligent wheelchair system which recognize the commands using the gaze recognition and avoid the detected obstacles by sensing the distance through range sensors on the way to driving. The user's commands are recognized by the gaze recognizer which use a centroid of eye pupil and two reflection points extracted using a camera with infrared filter and two infrared LEDs. These are used to control the wheelchair through the user interface. Then wheelchair system detects the obstacles using 10 ultrasonic sensors and assists that it avoid collision with obstacles. The proposed intelligent wheelchair system consists of gaze recognizor, autonomous driving module, sensor control board and motor control board. The gaze recognizer cognize user's commands through user interface, then the wheelchair is controled by the motor control board using recognized commands. Thereafter obstacle information detected by ultrasonic sensors is transferred to the sensor control board, and this transferred to the autonomous driving module. In the autonomous driving module, the obstacles are detected. For generating commands to avoid these obstacles, there are transferred to the motor control board. The experimental results confirmed that the proposed system can improve the efficiency of obstacle avoidance and provide the convenient user interface to user.