• 한국멀티미디어학회논문지
• /
• 제12권8호
• /
• pp.1089-1098
• /
• 2009

최근에 인간컴퓨터 상호작용 분야에서 사용자의 시선 위치를 파악하여 더욱 편리한 입력 장치를 개발하고자 하는 연구가 많이 진행되고 있다. 기존의 대부분 연구들은 큰 모니터를 사용하는 컴퓨터 환경에서 시선 추적 시스템을 개발하였다. 최근 이동단말기의 사용 증대로 이동 중에 시선 추적에 의한 단말기 제어의 필요성이 증대되고 있다. 이에 본 연구에서는 이동형 컴퓨터 (Ultra-Mobile PC) 및 컴퓨터 내장 카메라를 이용하여 사용자의 얼굴을 추적하고, 얼굴내의 특징점의 위치를 능동외관모델 (Active Appearance Model)을 기반으로 추적하는 연구를 수행하였다. 본 논문의 독창성은 기존 연구와는 달리 소형 화면을 가지는 이동 단말기에서 사용자의 시선 위치를 추적할 수 있는 방법을 제안한 점과 정밀한 얼굴 특징점 검출을 위하여 능동외관모델을 사용한 점이다. 또한 사용자의 초기 캘리브레이션시 얻어진 특징값을 기반으로, 입력 특징값들을 정규화 함으로써, Z거리에 따라 시선 위치 정확도가 영향을 받지 않는다는 점이다. 실험결과, 약 1.77도의 시선 오차를 발생하였으나, 추가적인 얼굴 움직임에 의한 마우스 움직임 기능으로 이러한 시선 오차는 더욱 줄일 수 있음을 알 수 있었다.

• 대한전자공학회논문지SP
• /
• 제45권2호
• /
• pp.49-64
• /
• 2008

최근에 휴먼 컴퓨터 인터페이스 분야에서 사용자의 시선 위치를 파악하여 더욱 편리한 입력장치를 구축하고자 하는 연구가 많이 진행되고 있다. 하지만 복잡한 하드웨어 구성으로 제품의 가격이 매우 비싸고, 까다로운 사용자 캘리브레이션 과정으로 인해 시스템의 사용에 어려움을 겪는다. 본 논문에서는 HMD(Head Mounted Display)에 USB 카메라와 적외선을 반사시키는 hot-mirror와 적외선 조명을 이용한 시선 추적 모듈을 부착하고, 이를 통해 획득한 눈 영상의 2차원적인 분석과 간단한 사용자 캘리브레이션 과정을 통해 시선 위치를 파악하는 방법을 제안한다. HMD는 사용자의 얼굴 움직임과 함께 움직이므로, 얼굴움직임에 영향을 받지 않는 시선 추적 시스템을 구현할 수 있다. 또한, 시선 추적 시스템을 3차원 1인칭 슈팅 게임에 적응하여, 캐릭터의 시선 방향을 조정하고, 적 캐릭터를 조준하여 사격이 가능하도록 하여, 게임의 몰입감과 흥미성을 높일 수 있게 하였다. 실험 결과, 한 대의 데스크톱 컴퓨터 환경에서 게임과 시선 추적 시스템이 실시간으로 동작 가능했으며, 약 $0.88^{\circ}$의 시선 위치 추출 오차를 보였다. 또한 3차원 1인칭 슈팅게임에서 일반 마우스의 역할을 시선 추적 시스템이 문제없이 대신할 수 있음을 확인하였다.

• ETRI Journal
• /
• 제34권4호
• /
• pp.542-552
• /
• 2012

In this paper, a gaze estimation method is proposed for use with a large-sized display at a distance. Our research has the following four novelties: this is the first study on gaze-tracking for large-sized displays and large Z (viewing) distances; our gaze-tracking accuracy is not affected by head movements since the proposed method tracks the head by using a near infrared camera and an infrared light-emitting diode; the threshold for local binarization of the pupil area is adaptively determined by using a p-tile method based on circular edge detection irrespective of the eyelid or eyelash shadows; and accurate gaze position is calculated by using two support vector regressions without complicated calibrations for the camera, display, and user's eyes, in which the gaze positions and head movements are used as feature values. The root mean square error of gaze detection is calculated as $0.79^{\circ}$ for a 30-inch screen.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2000년도 추계종합학술대회 논문집(4)
• /
• pp.25-28
• /
• 2000

Gaze detection is to find out the position on a monitor screen where a user is looking at, using the computer vision processing. This System can help the handicapped to use a computer, substitute a touch screen which is expensive, and navigate the virtual reality. There are basically two main types of the study of gaze detection. The first is to find out the location by face movement, and the second is by eye movement. In the gaze detection by eye movement, we find out the position with special devices, or the methode of image processing. In this paper, we detect not the iris but the pupil from the image captured by Head-Mounted Camera with infra-red light, and accurately locate the position where a user looking at by A(fine Transform.

• 한국통신학회논문지
• /
• 제28권12C호
• /
• pp.1239-1249
• /
• 2003

시선 위치 추적이란 현재 사용자가 쳐다보고 있는 위치를 컴퓨터 시각 인식 방법을 이용하여 파악하는 연구이다. 일반적으로 사용자가 모니터 상의 한 위치를 쳐다보기 위해서는 얼굴 및 눈동자를 동시에 움직이는 경향이 있다. 기존의 시선 위치 추적 시스템은 사용자의 얼굴 전체를 취득할 수 있는 단 하나의 광각 카메라를 이용하여 사용자의 얼굴 및 눈동자 움직임을 추적하였다. 그러나 이러한 경우, 광각 카메라 내에 포함된 눈동자 영상의 해상도가 많이 떨어져서 사용자의 눈동자 움직임을 정확하게 추적하지 못하는 문제점이 있었다. 그러므로 이 논문에서는 얼굴 영상을 취득하기 위한 광각 카메라 및 눈 영역을 확대하여 취득하는 협각 카메라, 즉 2개의 카메라를 이용하여 시선 위치추적 시스템을 구현하였다. 또한, 얼굴의 움직임 시 전체적인 위치가 변화될 눈동자의 움직임을 정확히 추적하기 위해, 협각 카메라에는 광각 카메라에서 추출된 얼굴 특징점의 위치를 기반으로 한 자동 초점 및 자동 상하/좌우 회전 기능이 포함되어 있다. 실험 결과, 얼굴 및 눈동자 움직임에 의한 모니터상의 시선 위치 정확도는 실험자가 눈동자는 고정으로 하고 얼굴만 움직여서 쳐다보는 경우에 약 3.1cm, 흐리고 얼굴 및 눈동자를 같이 움직여서 쳐다보는 경우에 약 3.57cm의 최소 자승 에러성능을 나타냈다. 처리 속도도 Pentium-IV 1.8 GHz에서 약 30ms 이내의 처리 속도를 나타냈다.

• Journal of information and communication convergence engineering
• /
• 제8권5호
• /
• pp.575-580
• /
• 2010

Eye gaze as a form of input was primarily developed for users who are unable to use usual interaction devices such as keyboard and the mouse; however, with the increasing accuracy in eye gaze detection with decreasing cost of development, it tends to be a practical interaction method for able-bodied users in soon future as well. This paper explores a low-cost, robust, rotation and illumination independent eye gaze system for gaze enhanced user interfaces. We introduce two brand-new algorithms for fast and sub-pixel precise pupil center detection and 2D Eye Gaze estimation by means of deformable template matching methodology. In this paper, we propose a new algorithm based on the deformable angular integral search algorithm based on minimum intensity value to localize eyeball (iris outer boundary) in gray scale eye region images. Basically, it finds the center of the pupil in order to use it in our second proposed algorithm which is about 2D eye gaze tracking. First, we detect the eye regions by means of Intel OpenCV AdaBoost Haar cascade classifiers and assign the approximate size of eyeball depending on the eye region size. Secondly, using DAISMI (Deformable Angular Integral Search by Minimum Intensity) algorithm, pupil center is detected. Then, by using the percentage of black pixels over eyeball circle area, we convert the image into binary (Black and white color) for being used in the next part: DTBGE (Deformable Template based 2D Gaze Estimation) algorithm. Finally, using DTBGE algorithm, initial pupil center coordinates are assigned and DTBGE creates new pupil center coordinates and estimates the final gaze directions and eyeball size. We have performed extensive experiments and achieved very encouraging results. Finally, we discuss the effectiveness of the proposed method through several experimental results.

• 한국정보전자통신기술학회논문지
• /
• 제16권3호
• /
• pp.117-122
• /
• 2023

사용자가 현재 응시하고 있는 위치를 자동으로 인식하는 응시점 추정과 추정된 응시점을 기반으로 객체를 탐지하는 기술을 활용한다면 사람의 시각적 행동을 파악하는데 더 정확하고 효율적인 방안이 될 수 있을 것이다. 본 논문에서는 응시점을 중심으로 관심 영역을 생성하고 해당 영역 내에서 객체를 탐지하는 방안을 제시한다. 자세하게는, 삼차원 응시점을 추정한 후에 추정된 응시점을 기반으로 관심 영역을 생성하여 관심 영역 내에서만 객체 탐지가 이루어지도록 설계한다. 실험을 통해 일반적인 객체 탐지와 제안된 관심 영역 내 객체 탐지 성능을 비교한 결과, 프레임당 처리 시간은 각각 1.4ms, 1.1ms로 관심 영역 내 객체 탐지가 처리 속도 면에서 더 우수한 것을 확인할 수 있었다.

• 한국컴퓨터정보학회논문지
• /
• 제21권10호
• /
• pp.11-19
• /
• 2016

The size of a display is large, The form becoming various of that do not apply to previous methods of gaze tracking and if setup gaze-track-camera above display, can solve the problem of size or height of display. However, This method can not use of infrared illumination information of reflected cornea using previous methods. In this paper, Robust pupil detecting method for eye's occlusion, corner point of inner eye and center of pupil, and using the face pose information proposes a method for calculating the simply position of the gaze. In the proposed method, capture the frame for gaze tracking that according to position of person transform camera mode of wide or narrow angle. If detect the face exist in field of view(FOV) in wide mode of camera, transform narrow mode of camera calculating position of face. The frame captured in narrow mode of camera include gaze direction information of person in long distance. The method for calculating the gaze direction consist of face pose estimation and gaze direction calculating step. Face pose estimation is estimated by mapping between feature point of detected face and 3D model. To calculate gaze direction the first, perform ellipse detect using splitting from iris edge information of pupil and if occlusion of pupil, estimate position of pupil with deformable template. Then using center of pupil and corner point of inner eye, face pose information calculate gaze position at display. In the experiment, proposed gaze tracking algorithm in this paper solve the constraints that form of a display, to calculate effectively gaze direction of person in the long distance using single camera, demonstrate in experiments by distance.

• 대한전자공학회논문지SP
• /
• 제39권3호
• /
• pp.23-35
• /
• 2002

시선 위치 추적이란 모니터상에 사용자가 쳐다보고 있는 지점을 파악해 내는 기술이다 이 논문에서는 컴퓨터 비젼 방법을 이용하여 사용자가 모니터 상에 어느 지점을 쳐다보고 있는지를 파악(시선 위치 추적)하는 새로운 방법을 제안한다. 시선위치를 파악하기 위해 본 논문에서는 얼굴 영역 및 얼굴 특징점(양 눈, 양 콧구멍, 입술 끝점 등)을 2차원 카메라 영상으로부터 추출하였으며, 이들의 움직임으로부터 카메라 보정 및 매개변수 추정 방법등을 이용하여 초기 3차원 위치를 추정해 내었다. 이후 모니터 상의 한 지점을 쳐다보기 위해 사용자가 얼굴을 움직이는 경우 이러한 얼굴의 3차원 움직임 량 역시 자동으로 추정하였다. 이로부터 변화된 얼굴 특징점의 3차원 위치를 계산해 낼 수 있었으며, 이를 바탕으로 모니터 상의 시선 위치를 구하였다. 실험 결과, 19인치 모니터상의 임의의 지점을 사용자가 쳐다보았을 때, 약 2.01인치의 시선 위치에러 성능을 얻었다.

• 한국산학기술학회:학술대회논문집
• /
• 한국산학기술학회 2004년도 추계학술대회
• /
• pp.234-239
• /
• 2004

This paper describes preliminary results we have obtained in developing a computer vision system based on active IR illumination for real time gaze tracking for interactive graphic display. Unlike most of the existing gaze tracking techniques, which often require assuming a static head to work well and require a cumbersome calibration process fur each person, our gaze tracker can perform robust and accurate gaze estimation without calibration and under rather significant head movement. This is made possible by a new gaze calibration procedure that identifies the mapping from pupil parameters to screen coordinates using the Generalized Regression Neural Networks (GRNN). With GRNN, the mapping does not have to be an analytical function and head movement is explicitly accounted for by the gaze mapping function. Furthermore, the mapping function can generalize to other individuals not used in the training. The effectiveness of our gaze tracker is demonstrated by preliminary experiments that involve gaze-contingent interactive graphic display.