• 한국정보통신학회논문지
• /
• 제18권5호
• /
• pp.1096-1102
• /
• 2014

적외선 조명을 이용한 간접시선추적 시스템에서는 촬영된 이미지에서 동공에 반사된 조명의 위치에 대한 캘리브레이션이 필수적이다. 하지만 안구의 크기나 머리의 위치에 따라 달라질 수도 있는 변수가 캘리브레이션 과정에서 정의된 상수로 계산에 포함되어 있어 오차를 감소시키는데 한계가 있다. 본 논문은 적외선 조명을 사용하면서도, 사용자 캘리브레이션 과정을 생략할 수 있는 방법을 연구한다. 반사각에 의한 글린트(glint)위치 차이에 영향을 받지 않게 하면서, 시스템의 모델과 시선 계산은 단순하게 하여 실시간 연산이 가능하도록 하는 것이 목표이다.

• ETRI Journal
• /
• 제34권4호
• /
• pp.542-552
• /
• 2012

In this paper, a gaze estimation method is proposed for use with a large-sized display at a distance. Our research has the following four novelties: this is the first study on gaze-tracking for large-sized displays and large Z (viewing) distances; our gaze-tracking accuracy is not affected by head movements since the proposed method tracks the head by using a near infrared camera and an infrared light-emitting diode; the threshold for local binarization of the pupil area is adaptively determined by using a p-tile method based on circular edge detection irrespective of the eyelid or eyelash shadows; and accurate gaze position is calculated by using two support vector regressions without complicated calibrations for the camera, display, and user's eyes, in which the gaze positions and head movements are used as feature values. The root mean square error of gaze detection is calculated as $0.79^{\circ}$ for a 30-inch screen.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2003년도 하계종합학술대회 논문집 Ⅳ
• /
• pp.2124-2127
• /
• 2003

This paper suggests user interface method with wearable computer by means of detecting gaze under HMD, head mounted display, environment. System is derived as follows; firstly, calibrate a camera in HMD, which determines geometrical relationship between monitor and captured image. Second, detect the center of pupil using ellipse fitting algorithm and represent a gazing position on the computer screen. If user blinks or stares at a certain position for a while, message is sent to wearable computer. Experimental results show ellipse fitting is robust against glint effects, and detecting error was 6.5％, and 4.25％ in vertical and horizontal direction, respectively.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 1999년도 하계종합학술대회 논문집
• /
• pp.516-519
• /
• 1999

Gaze detection is to find out the position on a monitor screen where a user is looking at, using the image processing and computer vision technology, We developed a computer interface system using the gaze detection technology, This system enables a user to control the computer system without using their hands. So this system will help the handicapped to use a computer and is also useful for the man whose hands are busy doing another job, especially in tasks in factory. For the practical use, command signal like mouse clicking is necessary and we used eye winking to give this command signal to the system.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 2005년도 ICCAS
• /
• pp.84-88
• /
• 2005

Eye gaze positions evaluation on computer screen uses the human eye as an input device for computer systems is that it gives low resolution. We proposes a method to determine the eye gaze positions on the screen by using two-eye displacements as the information for mapping, and the perspective projection is applied to map the displacements to a position on a computer screen. The experiments were performed on 20 persons and a 17-inch monitor is used with the screen resolution of 1024x768 pixels. Gaze detection error was 3.18 cm (RMS error), with screen is divided into 5x8 and 7x10 positions on a 17-inch monitor. The results showed 100% and 96% correction, respectively.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2002년도 하계종합학술대회 논문집(3)
• /
• pp.227-230
• /
• 2002

In this paper we concentrate on overall direction of the gaze based on a head pose for human computer interaction. To decide a gaze direction of user in a image, it is important to pick up facial feature exactly. For this, we binarize the input image and search two eyes and the mouth through the similarity of each block ( aspect ratio, size, and average gray value ) and geometric information of face at the binarized image. We create a imaginary plane on the line made by features of the real face and the pin hole of the camera to decide the head orientation. We call it the virtual facial plane. The position of a virtual facial plane is estimated through projected facial feature on the image plane. We find a gaze direction using the surface normal vector of the virtual facial plane. This study using popular PC camera will contribute practical usage of gaze tracking technology.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제7권4호
• /
• pp.834-848
• /
• 2013

To effectively use these functions many kinds of human-phone interface are used such as touch, voice, and gesture. However, the most important touch interface cannot be used in case of hand disabled person or busy both hands. Although eye tracking is a superb human-computer interface method, it has not been applied to smartphones because of the small screen size, the frequently changing geometric position between the user's face and phone screen, and the low resolution of the frontal cameras. In this paper, a new eye tracking method is proposed to act as a smartphone user interface. To maximize eye image resolution, a zoom lens and three infrared LEDs are adopted. Our proposed method has following novelties. Firstly, appropriate camera specification and image resolution are analyzed in order to smartphone based gaze tracking method. Secondly, facial movement is allowable in case of one eye region is included in image. Thirdly, the proposed method can be operated in case of both landscape and portrait screen modes. Fourthly, only two LED reflective positions are used in order to calculate gaze position on the basis of 2D geometric relation between reflective rectangle and screen. Fifthly, a prototype mock-up design module is made in order to confirm feasibility for applying to actual smart-phone. Experimental results showed that the gaze estimation error was about 31 pixels at a screen resolution of $480{\times}800$ and the average hit ratio of a $5{\times}4$ icon grid was 94.6%.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제30권12호
• /
• pp.1228-1238
• /
• 2003

이 논문에서는 컴퓨터 시각 인식 방법에 의해 모니터 상에 사용자가 쳐다보고 있는 시선 위치를 파악하기 위한 새롭고 실용적인 방법을 제안한다. 일반적으로 사용자가 모니터 상의 한 위치를 쳐다보기 위해서는 얼굴 및 눈동자를 동시에 움직이는 경향이 있다. 기존의 시선 위치 추적 시스템은 사용자의 얼굴 전체를 취득할 수 있는 단 하나의 광각 카메라 시스템을 주로 많이 이용하였다. 그러나 이러한 경우 영상의 해상도가 많이 떨어져서 사용자의 눈동자 움직임을 정확하게 추적하기 어려운 문제점이 있다. 그러므로 이 논문에서는 광각 카메라(얼굴의 움직임에 의한 시선 위치 추적용) 및 눈 영역을 확대하여 취득하는 협각 카메라(눈동자 움직임에 의한 시선 위치 추적용), 즉 이중 카메라를 이용하여 시선 위치 추적 시스템을 구현하였다. 얼굴의 움직임 시 전체적인 위치가 변화될 눈동자의 움직임을 정확히 추적하기 위해, 협각 카메라에는 광각 카메라로부터 추출된 눈 특징점의 위치를 기반으로 한 자동 초점 및 자동 상하/좌우 회전 기능이 포함되어 있으며, 눈 특징점을 보다 빠르고 정확하게 추출하기 위해 이중 적외선 조명을 사용하였다. 실험 결과, 본 논문에서는 실시간으로 동작하는 시선 위치 추적 시스템을 구현할 수 있었으며, 이때 얼굴 및 눈동자 움직임을 모두 고려하여 계산한 모니터상의 시선 위치 정확도는 약 3.44cm의 최소 자승 에러성능을 나타냈다.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 2005년도 심포지엄 논문집 정보 및 제어부문
• /
• pp.33-35
• /
• 2005

We propose an eye gaze tracking system under natural head movements. The system consists of one CCD camera and two front-surface mirrors. The mirrors rotate to follow head movements in order to keep the eye within the view of the camera. However, the mirror controller cannot guarantee the fast head movements, because the frame rate is generally 30Hz. To overcome this problem, we applied Kalman predictor to estimate next eye position from the current eye image. In the results, our system allows the subjects head to move 50cm horizontally and 40cm vertically, with the speed about 10cm/sec and 6cm/sec, respectively. And spatial gaze resolutions are about 4.5 degree and 4.5 degree, respectively, and the gaze estimation accuracy is 92% under natural head movements.

• 방송공학회논문지
• /
• 제26권6호
• /
• pp.748-757
• /
• 2021

본 논문은 눈 랜드마크 위치 검출과 시선 방향 벡터 추정이 하나의 딥러닝 네트워크로 통합된 시선 추정 네트워크를 제안한다. 제안하는 네트워크는 Stacked Hourglass Network를 백본(Backbone) 구조로 이용하며, 크게 랜드마크 검출기, 특징 맵 추출기, 시선 방향 추정기라는 세 개의 부분(Part)으로 구성되어 있다. 랜드마크 검출기에서는 눈 랜드마크 50개 포인트의 좌표를 추정하며, 특징 맵 추출기에서는 시선 방향 추정을 위한 눈 이미지의 특징 맵을 생성한다. 그리고 시선 방향 추정기에서는 각 출력 결과를 조합하여 최종 시선 방향 벡터를 추정한다. 제안하는 네트워크는 UnityEyes 데이터셋을 통해 생성된 가상의 합성 눈 이미지와 랜드마크 좌표 데이터를 이용하여 학습하였으며, 성능 평가는 실제 사람의 눈 이미지로 구성된 MPIIGaze 데이터셋을 이용하였다. 실험을 통해 시선 추정 오차는 3.9°의 성능을 보였으며, 네트워크의 추정 속도는 42 FPS(Frame per second)로 측정되었다.