• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.180-182
• /
• 2021

본 논문은 눈 랜드마크 위치 검출과 시선 방향 벡터 추정이 하나의 딥러닝 네트워크로 통합된 시선 추정 네트워크를 제안한다. 제안하는 네트워크는 Stacked Hourglass Network[1]를 백본(Backbone) 구조로 이용하며, 크게 랜드마크 검출기, 특징 맵 추출기, 시선 방향 추정기라는 세 개의 부분으로 구성되어 있다. 랜드마크 검출기에서는 눈 랜드마크 50개 포인트의 좌표를 추정하며, 특징 맵 추출기에서는 시선 방향 추정을 위한 눈 이미지의 특징 맵을 생성한다. 그리고 시선 방향 추정기에서는 각 출력 결과를 조합하고 이를 통해 최종 시선 방향 벡터를 추정한다. 제안하는 네트워크는 UnityEyes[2] 데이터셋을 통해 생성된 가상의 합성 눈 이미지와 랜드마크 좌표 데이터를 이용하여 학습하였으며, 성능 평가는 실제 사람의 눈 이미지로 구성된 MPIIGaze[3] 데이터 셋을 이용하였다. 실험을 통해 시선 추정 오차는 0.0396 MSE(Mean Square Error)의 성능을 보였으며, 네트워크의 추정 속도는 42 FPS(Frame Per Second)를 나타내었다.

• Proceedings of the KIEE Conference
• /
• 2007.10a
• /
• pp.119-120
• /
• 2007

본 논문에서는 실내의 고정된 단일 칼라 카메라에서 획득된 비디오 스트림으로부터 사람의 행동을 인식하기 위한 시스템을 제안한다. 제안된 시스템은 사람의 시공간적 상태 변화와 사람의 시선 방향을 이용하여 규칙기반으로 행동을 인식한다. 사람의 의미 있는 상태변화를 이벤트로, 이벤트의 시퀀스 즉, 사람의 행동을 시나리오로 정의하였다. 따라서 입력비디오 스트림에서 사람의 상태변화로 이벤트를 검출하고, 검출된 이벤트의 시퀀스로 사람의 행동을 인식한다. 사람의 시선은 얼굴과 머리 영역의 색정보를 이용한 시선 방향 추정 방법으로 찾아지며, 사람의 상태 변화는 사람의 위치와 키 등을 이용하여 검출된다. 본 시스템은 실내 환경에서 획득한 비디오에서 실험하였으며, 실험결과 시선 방향에 의해 서로 다른 행동을 구분하여 인식할 수 있었다.

• Journal of Broadcast Engineering
• /
• v.26 no.6
• /
• pp.748-757
• /
• 2021

In this paper, we propose a gaze estimation network in which eye landmark position detection and gaze direction vector estimation are integrated into one deep learning network. The proposed network uses the Stacked Hourglass Network as a backbone structure and is largely composed of three parts: a landmark detector, a feature map extractor, and a gaze direction estimator. The landmark detector estimates the coordinates of 50 eye landmarks, and the feature map extractor generates a feature map of the eye image for estimating the gaze direction. And the gaze direction estimator estimates the final gaze direction vector by combining each output result. The proposed network was trained using virtual synthetic eye images and landmark coordinate data generated through the UnityEyes dataset, and the MPIIGaze dataset consisting of real human eye images was used for performance evaluation. Through the experiment, the gaze estimation error showed a performance of 3.9, and the estimation speed of the network was 42 FPS (Frames per second).

• The KIPS Transactions:PartB
• /
• v.18B no.6
• /
• pp.333-340
• /
• 2011

The Human-Computer Interaction(HCI) is a study of the method for interaction between human and computers that merges the ergonomics and the information technology. The intelligent space, which is a part of the HCI, is an important area to provide effective user interface for the disabled, who are alienated from the information-oriented society. In the intelligent space for the disabled, the method supporting information depends on types of disability. In this paper, we only support the hearing-impaired. It is material to the gaze direction detection method because it is very efficient information provide method to present information on gazing direction point, except for the information provide location perception method through directly contact with the hearing-impaired. We proposed the gaze direction detection method must be necessary in order to provide the residence life application to the hearing-impaired like this. The proposed method detects the region of the user from multi-view camera images, generates candidates for directions of gaze for horizontal and vertical from each camera, and calculates the gaze direction of the user through the comparison with the size of each candidate. In experimental results, the proposed method showed high detection rate with gaze direction and foot sensing rate with user's position, and showed the performance possibility of the scenario for the disabled.

• Proceedings of the KIEE Conference
• /
• 2007.10a
• /
• pp.121-122
• /
• 2007

실내 환경에서 사람의 행동을 인식하는 시스템을 만들 때 사람의 의도를 파악하는 것은 중요한 정보가 될 수 있다. 사람의 시선방향은 의도를 파악하는데 있어서 깊은 관계가 있다. 본 논문에서는 실내 환경에서 사람의 시선 방향을 모델에 기반하여 추정하는 방법을 제안하였다. 머리 모델은 얼굴 영역과 머리카락 영역을 포함하는 두 개의 겹쳐진 타원으로 표현되고, 각 타원의 파라미터는 시선 방향을 추정하는 정보로 사용된다. 시선 방향은 SVM(Support Vector Machine) 알고리즘을 사용하여 8방향중 하나로 추정된다. 이미지에서 얼굴영역과 머리영역은 색상 정보에 의해 검출된다. 사무실 환경에서 시선방향을 다양하게 변화시켜 실험을 하였고, 이를 통해 성능 평가를 수행하였다.

• Journal of Korea Society of Industrial Information Systems
• /
• v.16 no.4
• /
• pp.9-18
• /
• 2011

In this paper, we propose a method which recognizes human activity using model-based gaze direction estimation in an indoor environment. The method consists of two steps. First, we detect a head region and estimate its gaze direction as prior information in the human activity recognition. We use color and shape information for the detection of head region and use Bayesian Network model representing relationships between a head and a face for the estimation of gaze direction. Second, we recognize event and scenario describing the human activity. We use change of human state for the event recognition and use a rule-based method with combination of events and some constraints. We define 4 types of scenarios related to the gaze direction. We show performance of the gaze direction estimation and human activity recognition with results of experiments.

• The Journal of Korean Association of Computer Education
• /
• v.17 no.2
• /
• pp.107-113
• /
• 2014

In this study, we design and implement an eye-gaze estimation system based on the extraction of eye contour and pupil region. In order to effectively extract the contour of the eye and region of pupil, the face candidate regions were extracted first. For the detection of face, YCbCr value range for normal Asian face color was defined by the pre-study of the Asian face images. The biggest skin color region was defined as a face candidate region and the eye regions were extracted by applying the contour and color feature analysis method to the upper 50% region of the face candidate region. The detected eye region was divided into three segments and the pupil pixels in each pupil segment were counted. The eye-gaze was determined into one of three directions, that is, left, center, and right, by the number of pupil pixels in three segments. In the experiments using 5,616 images of 20 test subjects, the eye-gaze was estimated with about 91 percent accuracy.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2012.05a
• /
• pp.750-753
• /
• 2012

A method detecting the position of eyes and tracking a gaze point of eyes in realtime using POSIT is suggested in this paper. This algorithm find out a candidate area of eyes using topological characteristics of eyes and then decides the center of eyes using physical characteristics of eyes. To find the eyes, a nose and a mouth are used for POSIT. The experimental results show that proposed method effectively performed detection of eyes in facial image in FERET databases and gave high performance when used for tracking a gaze point of eyes.

• The Journal of the Institute of Internet, Broadcasting and Communication
• /
• v.15 no.1
• /
• pp.191-197
• /
• 2015

In this paper, we propose the system which recognize the gaze using Random Forests in vehicular environment based on smart-phone. Proposed system is mainly composed of the following: face detection using Adaboost, face component estimation using Histograms, and gaze recognition based on Random Forests. We detect a driver based on the image information with a smart-phone camera, and the face component of driver is estimated. Next, we extract the feature vectors from the estimated face component and recognize gaze direction using Random Forest recognition algorithm. Also, we collected gaze database including a variety gaze direction in real environments for the experiment. In the experiment result, the face detection rate and the gaze recognition rate showed 82.02% and 84.77% average accuracies, respectively.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2015.10a
• /
• pp.1816-1818
• /
• 2015

기존 시선추적 시스템의 문제점은 눈을 깜박이는 동안 동공의 크기 및 위치가 변화하여 시스템이 사용자의 시선 방향을 정확히 예측 할 수 없는 문제가 존재한다. 본 연구에서는 이러한 문제점을 해결하기 위해 얼굴이 포함 된 영상에서 눈을 검출하고, 눈 영역의 3개의 특징 (밝기 평균, 분산, 이진화 후 흑화소 영역 비율)을 추출하였다. 추출된 특징을 기계학습방법의 한 종류인 SVM을 이용하여 눈의 개폐여부를 판단할 수 있는 방법을 제안하였고, 그 결과 정확도는 81.4%가 나왔다. 제안한 방법은 동공을 검출하기 전 눈의 개폐를 먼저 확인할 수 있기 때문에 시선추적 시스템에서 처리시간을 단축시키고, 눈 깜박임에 따른 오차를 줄일 수 있다.