• Transactions on Control, Automation and Systems Engineering
• /
• 제3권4호
• /
• pp.229-235
• /
• 2001

Recently, service area has been emerging field f robotic applications. Even though assistant robots play an important role for the disabled and the elderly, they still suffer from operating the robots using conventional interface devices such as joysticks or keyboards. In this paper we propose an efficient computer interface using real-time eye-gaze tracking system. The inputs to the proposed system are images taken by a camera and data from a magnetic sensor. The measured data is sufficient to describe the eye and head movement because the camera and the receiver of a magnetic sensor are stationary with respect to the head. So the proposed system can obtain the eye-gaze direction in spite of head movement as long as the distance between the system and the transmitter of a magnetic position sensor is within 2m. Experimental results show the validity of the proposed system in practical aspect and also verify the feasibility of the system as a new computer interface for the disabled.

• 한국인터넷방송통신학회논문지
• /
• 제13권2호
• /
• pp.171-179
• /
• 2013

영상처리에서 인식에 관련된 기술들은 환경에 아주 많은 영향을 받게 되는데 이러한 인식률을 결정짓는 요소 중인 파라미터는 환경에 적절한 값을 얼마나 잘 선택하느냐에 따라서 인식률의 큰 차이를 보인다. 본 논문은 눈동자 추적 알고리즘이 사람이나 실험 환경의 변화에 따라 인식률이 저하되는 현상을 보완하기 위한 성능 향상 및 환경에 적응하는 시스템의 구현에 대한 방법이다. 최적의 파라미터를 얻기 위해 전 처리에 사용되는 이진화 알고리즘의 문턱값을 학습이 필요한 시기를 적절히 판단해 강화학습을 이용하여 다시 학습시켜 인식률을 향상시키는 방법을 사용했다. 실험데이터를 수집하기 위해 입력 장치는 가격이 저렴하고 일반적인 웹 카메라를 사용 하였으며 얼굴 영역에 해당하는 많은 양의 이미지를 수집하여 강화학습의 적응력을 실험하였다. 이미지의 그룹을 다양하게 변화시켜 실험한 결과 강화학습을 사용한 경우 그렇지 않은 경우에 비해 작게는 3% 많게는 14%가량의 성능이 향상됨을 확인하였다. 이렇게 성능이 향상된 눈동자 추적 시스템은 휴먼 컴퓨터 인터랙션 분야에 효과적으로 활용될 수 있을 것이다.

• Journal of information and communication convergence engineering
• /
• 제12권4호
• /
• pp.208-214
• /
• 2014

In this paper, in order to solve the problems of a narrow viewing angle and the flip effect in a three-dimensional (3D) integral imaging display, we propose an improved system by using an eye tracking method based on the Kinect sensor. In the proposed method, we introduce two types of calibration processes. First process is to perform the calibration between two cameras within Kinect sensor to collect specific 3D information. Second process is to use a space calibration for the coordinate conversion between the Kinect sensor and the coordinate system of the display panel. Our calibration processes can provide the improved performance of estimation for 3D position of the observer's eyes and generate elemental images in real-time speed based on the estimated position. To show the usefulness of the proposed method, we implement an integral imaging display system using the eye tracking process based on our calibration processes and carry out the preliminary experiments by measuring the viewing angle and flipping effect for the reconstructed 3D images. The experimental results reveal that the proposed method extended the viewing angles and removed the flipping images compared with the conventional system.

• 한국인터넷방송통신학회논문지
• /
• 제20권6호
• /
• pp.175-182
• /
• 2020

비접촉식 시선추적 기술은 인간과 컴퓨터간의 인터페이스로서 장애가 있는 사람들에게 핸즈프리 통신을 제공하며, 최근 코로나 바이러스 등으로 인한 비접촉시스템에도 중요한 역할을 할 것으로 기대된다. 따라서 본 논문에서는 인간 중심의 상호 작용을 위한 상황인식 다중영역 분류기 및 ASSL 알고리즘을 기반으로 한 사용자 인터페이스 기술을 개발한다. 이전의 AdaBoost 알고리즘은 안구 특징 사이의 공간적 맥락 관계를 이용할 수 없기 때문에 눈의 커서 포인팅 추정을 위한 안면 추적에서 충분히 신뢰할 수 있는 성능을 제공 할 수 없다. 따라서 본 논문에서는 효율적인 비접촉식 시선 추적 및 마우스 구현을 위한 눈 영역의 상황기반 AdaBoost 다중 영역 분류기를 제시한다. 제안된 방식은 여러 시선 기능을 감지, 추적 및 집계하여 시선을 평가하고 온 스크린 커서 기반의 능동 및 반 감독 학습을 조정한다. 이는 눈 위치에 성공적으로 사용되었으며 눈 특징을 감지하고 추적하는 데에도 사용할 수 있다. 사용자의 시선을 따라 컴퓨터 커서를 제어하며 칼만 필터를 이용하여 실시간으로 추적하며, 가우시안 모델링을 적용함으로써 후처리하였다. Fits law에 의해 실험하였으며, 랜덤하게 대상객체를 생성하여 실시간으로 시선추적성능을 분석하였다. 제안하는 상황인식을 기반 인식기를 통하여 비접촉 인터페이스로서의 활용이 높아질 것이다.

• 융합정보논문지
• /
• 제11권1호
• /
• pp.20-27
• /
• 2021

시선추적은 NUI 기술 중의 하나로 사용자가 응시하는 곳을 추적을 통해 알아낸다. 이 기술은 텍스트를 입력하거나 GUI를 제어할 수 있도록 하고 더 나아가 사용자의 시선 분석도 가능하게 하여 상업 광고 등에 응용될 수 있도록 한다. 시선추적 시스템은 영상의 품질과 사용자 움직임의 자유도에 따라 허용범위가 달라진다. 따라서 시선추적의 정밀도를 미리 추정하는 방법이 필요하다. 시선추적의 정확도는 하드웨어적인 변수 외에도 시선추적 알고리즘을 어떻게 구현하느냐에 따라 많은 영향을 받는다. 이에 따라 본 논문에서는 영상에서 동공 중심의 가능한 최대 이동 거리의 추정으로 동공 중심이 한 픽셀 움직일 때 시선은 몇 도가 바뀌는지 즉, 이론적 최대 분해능이 얼마인지를 추정하는 방법을 제시한다.

• 한국정보통신학회:학술대회논문집
• /
• 한국해양정보통신학회 2006년도 춘계종합학술대회
• /
• pp.841-846
• /
• 2006

A real time system realization for binocular eyeball tracking cursor on the computer monitor screen is presented in the paper. The processing for searching iris and tracking the cursor are that a facial is acquired by the small CCD camera, convert it into binary image, search for the eye two using the five region mask method in the eye surroundings and the side four points diagonal positioning method is searched the each iris. The tracking cursor is matched by measuring the iris central moving position, The cursor controlling is achieved by comparing two related distances between the iris maximum moving and the cursor moving to calculate the moving stance from gazing position and screen. The experimental result are obtained by examining some adults person on the system.

• 커뮤니케이션디자인학연구
• /
• 제38권
• /
• pp.80-90
• /
• 2012

본 연구는 그래픽 이미지의 움직임 속도와 움직임 방향 변화에 따라 안구의 시선이동 변화를 추적하여 주의유인정도가 있는지를 알아본 연구이다. 실험설계는 움직임 속성별로, 속도(4개), 방향(수평 2개, 수직 2개, 대각선 4개) 각각에 대해서 움직임 요인(n)에 대한 분석을 실시하였다. 종속변수는 주시시작시간, 주시지속시간, 전체주시시간, 시선이동거리로 설정하였다. 그래픽 이미지의 움직임 속도 변화는 시선이동으로 알아본 주의 정도가 전혀 유의미하지 않았다. 좌우 이동에서는 좌에서 우로의 움직임이, 상하 이동에서는 아래에서 위로의 움직임이 주의 정도가 더 큰 것으로 나타났다. 대각선 이동에서는 속도 변화와 마찬가지로 유의미한 차이가 없었다.

• 제어로봇시스템학회논문지
• /
• 제15권5호
• /
• pp.496-504
• /
• 2009

This paper presents a recognition performance of VOR (Vestibular-Ocular Reflex) based vision tracking system for mobile robot. The VOR is a reflex eye movement which, during head movements, produces an eye movement in the direction opposite to the head movement, thus maintaining the image of interested objects placed on the center of retina. We applied this physiological concept to the vision tracking system for high recognition performance in mobile environments. The proposed method was implemented in a vision tracking system consisting of a motion sensor module and an actuation module with vision sensor. We tested the developed system on an x/y stage and a rate table for linear motion and angular motion, respectively. The experimental results show that the recognition rates of the VOR-based method are three times more than non-VOR conventional vision system, which is mainly due to the fact that VOR-based vision tracking system has the line of sight of vision system to be fixed to the object, eventually reducing the blurring effect of images under the dynamic environment. It suggests that the VOR concept proposed in this paper can be applied efficiently to the vision tracking system for mobile robot.

• 한국멀티미디어학회논문지
• /
• 제25권2호
• /
• pp.421-431
• /
• 2022

The purpose of this research is to determine the point of fixation of the driver during the process of driving. Based on the results of this research, the driving instructor can make a judgement on what the trainee stare on the most. Traffic accidents have become a serious concern in modern society. Especially, the traffic accidents among unskilled and elderly drivers are at issue. A driver should put attention on the vehicles around, traffic signs, passersby, passengers, road situation and its dashboard. An eye-tracking-based application was developed to analyze the driver's gaze behavior. It is a prototype for real-time eye tracking for monitoring the point of interest of drivers in driving practice. In this study, the driver's attention was measured by capturing the movement of the eyes in real road driving conditions using these tools. As a result, dwelling duration time, entry time and the average of fixation of the eye gaze are leading parameters that could help us prove the idea of this study.

• 한국멀티미디어학회논문지
• /
• 제23권12호
• /
• pp.1454-1463
• /
• 2020

An important factor in eye-tracking PC interface for general paralyzed patients is the implementation of the mouse interface, for manipulating the GUI. With a successfully implemented mouse interface, users can generate mouse events exactly at the point of their choosing. However, it is difficult to define this interaction in the eye-tracking interface. This problem has been defined as the Midas touch problem and has been a major focus of eye-tracking research. There have been many attempts to solve this problem using blink, voice input, etc. However, it was not suitable for general paralyzed patients because some of them cannot wink or speak. In this paper, we propose a mouth-pop-up, eye-tracking mouse interface that solves the Midas touch problem as well as becoming a suitable interface for general paralyzed patients using a common RGB camera. The interface presented in this paper implements a mouse interface that detects the opening and closing of the mouth to activate a pop-up menu that the user can select the mouse event. After implementation, a performance experiment was conducted. As a result, we found that the number of malfunctions and the time to perform tasks were reduced compared to the existing method.