• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제11권8호
• /
• pp.3965-3983
• /
• 2017

We propose a novel eye tracking method that can estimate 3D world coordinates using an infrared (IR) stereo camera for indoor and outdoor environments. This method first detects dark evidences such as eyes, eyebrows and mouths by fast multi-level thresholding. Among these evidences, eye pair evidences are detected by evidential reasoning and geometrical rules. For robust accuracy, two classifiers based on multiple layer perceptron (MLP) using gradient local binary patterns (GLBPs) verify whether the detected evidences are real eye pairs or not. Finally, the 3D world coordinates of detected eyes are calculated by region-based stereo matching. Compared with other eye detection methods, the proposed method can detect the eyes of people wearing sunglasses due to the use of the IR spectrum. Especially, when people are in dark environments such as driving at nighttime, driving in an indoor carpark, or passing through a tunnel, human eyes can be robustly detected because we use active IR illuminators. In the experimental results, it is shown that the proposed method can detect eye pairs with high performance in real-time under variable illumination conditions. Therefore, the proposed method can contribute to human-computer interactions (HCIs) and intelligent transportation systems (ITSs) applications such as gaze tracking, windshield head-up display and drowsiness detection.

• 전자공학회논문지CI
• /
• 제45권4호
• /
• pp.1-11
• /
• 2008

본 논문에서는 adaboost(adaptive boosting)를 이용한 눈 검출 알고리즘을 제안한다. 또한 기존의 adaboost를 이용한 눈 검출 알고리즘의 문제점으로 지적된, 실제 눈이 아님에도 불구하고, 눈으로 찾는 오검출율(false alarm rate)를 감소시키기 위해 각막 면에 생성되는 조명의 반사광을 모델링을 통해 추정하고 adaboost의 학습과 눈 검출에 사용되는 박스의 최적의 크기를 실험을 통해 결정하였다. 위의 결과로 검출된 눈 영역을 중심으로 일정 영역에 대하여 동공과 홍채 영역을 원형검출기(circular edge detector)를 이용하여 검출하였다. 실험결과 휴대폰으로 취득한 얼굴영상에서 약 99%의 눈 검출 정확도를 나타내었으며 휴대폰 환경에 적용했을 때 처리시간은 1초 내외 소요됨을 알 수 있었다.

• 융합신호처리학회논문지
• /
• 제14권3호
• /
• pp.162-168
• /
• 2013

본 논문에서는 디지털 카메라를 이용하여 사진을 촬영할 때 눈의 감긴 상태를 확인하여 이를 자동으로 보정하여 출력해주는 모듈의 구현에 관하여 연구하였다. 먼저 촬영된 영상에 대하여 얼굴 및 눈의 영역을 검출하고 눈의 상태를 인식한다. 만약 눈이 감긴 영상이 촬영되었을 때 버퍼에 임시로 저장된 이전 프레임 영상들에 대하여 눈의 상태를 인식한 후, 가장 눈의 상태가 만족스러운 영상을 이용하여 눈을 보정한 후에 사진을 출력한다. 얼굴 및 눈을 정확하게 인식하기 위해서 SURF 알고리즘과 호모그래피 방법을 적용하여 영상을 보정하는 전처리 과정을 수행한다. 얼굴 영역과 눈 영역을 검출하는 것은 Haar-like feature 알고리즘을 이용하였다. 눈을 뜨고 있는 상태인지 감은 상태인지를 눈의 영역에 대한 템플릿매칭을 이용한 유사도를 판단하여 확인한다. 본 연구에서 개발된 기능을 다양한 형태의 얼굴 환경에서 테스트한 결과 얼굴이 포함된 영상에 대하여 효과적으로 보정이 수행됨을 확인하였다.

• 한국산업정보학회논문지
• /
• 제12권4호
• /
• pp.164-168
• /
• 2007

본 논문에서 임베디드시스템에 적용 가능한 눈 검출 알고리즘을 제안하였다. 특히, 감시카메라나 자동현금인출장치 또는 운전자의 졸음운전방지를 위한 눈 검출에서는, 주로 정면얼굴에서의 눈 검출이 이루어지므로 본 논문에서는 이러한 조건을 목표로 눈 검출 알고리즘을 제안하였다. 눈영역을 검출하기 위해, 특성백터를 먼저 추출하고 그 다음, 주성분 분석법 및 진폭투시법에 의해 전체 특성백터를 구성한다. 이렇게 구성된 특성백터들의 공분산을 구한 후, 판별단계에서 베이즈 방법에 의해 구해진 확률분포함수를 이용하여 정면얼굴의 눈 영역 부분을 검출한다. 또한 본 논문에서 제안한 판별 알고리즘을 이용하여 입력영상의 눈영역을 찾기 위한 실험식도 제안하였다. 모의 실험결과 정면얼굴에서의 눈검출율은 매우 높았으며 계산을 위한 특성백터 또한 적음으로써 실시간 특성을 요하는 임베디드시스템에 적용 가능함을 알 수 있었다.

• 한국정보통신학회논문지
• /
• 제8권2호
• /
• pp.456-463
• /
• 2004

본 논문에서는 다양한 조명하에서 실시간으로 눈을 검출하고 추적하는 새로운 방법을 제안하고자 한다. 기존의 능동적 적외선을 이용한 눈 검출 및 추적 방법은 외부의 조명에 매우 민감하게 반응하는 문제점을 가지고 있으므로, 본 논문에서는 적외선 조명을 이용한 밝은 동공 효과와 전형적인 외형을 기반으로 한 사물 인식 기술을 결합하여 외부 조명의 간섭으로 밝은 동공 효과가 나타나지 않는 경우에도 견실하게 눈을 검출하고 추적 할 수 있는 방법을 제안한다. 눈 검출과 추적을 위해 SVM과 평균 이동 추적방법을 사용하였고, 적외선 조명과 카메라를 포함한 영상 획득 장치를 구성하여 제안된 방법이 효율적으로 다양한 조명하에서 눈 검출과 추적을 할 수 있음을 보여 주었다.

• 전자공학회논문지
• /
• 제53권7호
• /
• pp.67-77
• /
• 2016

본 논문에서는 변형된 하우스더프 거리 (MDH: Modified Hausdorff Distance)를 이용한 눈 개폐 감지 알고리즘을 제안한다. 제안하는 알고리즘은 얼굴 검출과 눈 개폐 감지로 크게 구분된다. 얼굴 영역의 검출을 위하여 고정 크기의 영역 내에서 픽셀 값을 이용하는 지역 구조특성의 MCT (Modified Census Transform)특징기반 방법을 사용하였다. 이후, 검출된 얼굴 영역 내에서 MHD를 이용하여 눈의 위치 및 개폐를 판단한다. 얼굴 검출의 처리절차는 먼저, 오프라인에서 다양한 얼굴 영상에 대해 MCT 이미지를 생성하고, 이를 기반으로 PCA를 이용하여 기준이 되는 특징벡터들을 추출한다. 다음으로, 온라인에서는 입력되는 실험 영상 내에서 새롭게 추출된 특징벡터들과 기준이 되는 특징 벡터들 간의 유클리드 거리를 이용하여 얼굴 영역을 검출하는 순서로 진행된다. 이후, 검출된 얼굴 영역 내에서 MHD 기반의 눈 영역 검출과 템플릿 매칭을 수행하여 눈의 개폐를 감지한다. 제안하는 방법의 성능 검증을 위하여 그레이 스케일 영상 (30FPS, $320{\times}180$)을 입력으로 실험을 수행한 결과, 눈 계폐 검출율에서 평균 94.04%의 정확도를 달성하였다.

• 컴퓨터교육학회논문지
• /
• 제17권2호
• /
• pp.107-113
• /
• 2014

본 연구에서는 입력 얼굴 영상에서 눈의 윤곽선과 눈동자 영역을 추출하여 시선을 추정하는 시스템을 설계 및 구현한다. 눈 윤곽선과 눈동자 영역을 효율적으로 추출하기 위하여 먼저 입력 영상으로부터 얼굴 영역을 추출한다. 얼굴 영역 추출을 위하여 아시아인 얼굴 영상 셋을 확보하여 아시아인 피부색에 대한 YCbCr 범위를 사전에 정의하였고, 정의된 피부색 범위값에 따라 피부영역을 검출한다. 최대크기 피부 영역을 얼굴후보 영역으로 지정하고 검출된 얼굴 후보영역에 대한 상위 50%의 관심 영역 내에서 눈윤곽선과 색상 특성 분석을 이용한 눈 영역 검출 알고리즘을 수행하여 기존의 Haar-like feature 특성기반 눈 영역 검출방법에 비해 타이트한 눈 영역을 검출한다. 눈의 윤곽선을 포함하는 관심영역 전체를 기준으로 눈 영역을 3등분하고, 추출된 눈동자의 위치가 3등분된 영역에서 어느 영역에 중점적으로 위치하고 있는지를 분석하여 좌, 우, 정면 시선 방향을 추정한다. 본 연구에서는 20명의 실험자에 대한 5,616 장의 테스트 영상을 이용한 시선방향 추정 실험에서 약 91%의 정확도를 획득한다.

• Journal of information and communication convergence engineering
• /
• 제8권5호
• /
• pp.575-580
• /
• 2010

Eye gaze as a form of input was primarily developed for users who are unable to use usual interaction devices such as keyboard and the mouse; however, with the increasing accuracy in eye gaze detection with decreasing cost of development, it tends to be a practical interaction method for able-bodied users in soon future as well. This paper explores a low-cost, robust, rotation and illumination independent eye gaze system for gaze enhanced user interfaces. We introduce two brand-new algorithms for fast and sub-pixel precise pupil center detection and 2D Eye Gaze estimation by means of deformable template matching methodology. In this paper, we propose a new algorithm based on the deformable angular integral search algorithm based on minimum intensity value to localize eyeball (iris outer boundary) in gray scale eye region images. Basically, it finds the center of the pupil in order to use it in our second proposed algorithm which is about 2D eye gaze tracking. First, we detect the eye regions by means of Intel OpenCV AdaBoost Haar cascade classifiers and assign the approximate size of eyeball depending on the eye region size. Secondly, using DAISMI (Deformable Angular Integral Search by Minimum Intensity) algorithm, pupil center is detected. Then, by using the percentage of black pixels over eyeball circle area, we convert the image into binary (Black and white color) for being used in the next part: DTBGE (Deformable Template based 2D Gaze Estimation) algorithm. Finally, using DTBGE algorithm, initial pupil center coordinates are assigned and DTBGE creates new pupil center coordinates and estimates the final gaze directions and eyeball size. We have performed extensive experiments and achieved very encouraging results. Finally, we discuss the effectiveness of the proposed method through several experimental results.

• 정보처리학회논문지B
• /
• 제16B권6호
• /
• pp.443-450
• /
• 2009

본 논문에서는 눈 주변의 명암분포를 사용하여 영상에 존재하는 얼굴을 탐지하는 새로운 기술을 개발한다. 제안하는 얼굴탐지의 기본적인 절차는 얼굴구성요소 후보 추출, 눈과 입의 형태정보를 이용한 얼굴구성요소 후보 필터링, 눈 후보 주변영역의 에지와 명암분포를 인공신경망 에 적용하여 좌/우안 분류, 눈-입 조합을 통한 얼굴후보 추출, 코 영역 에지의 존재 유무를 이용한 얼굴 검증 순이다. 본 논문에서 제안하는 방식은 눈의 주변영역 정보를 인공신경망에 적용하여 좌/우안 정보를 산출하여 얼굴을 탐지하는 것에 중점을 두고 있다. 이 방법은 피부색상을 이용하지 않으므로 다양한 조명환경과 복잡한 배경을 가지는 영상들에 존재하는 얼굴을 탐지할 수 있다. 탐지율 관점에서 기존의 주요 방법들 보다 우수함을 실험을 통하여 보인다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2003년도 신호처리소사이어티 추계학술대회 논문집
• /
• pp.529-532
• /
• 2003

In this paper, we describe new method to detect face in real-time. We use color information, edge information, and binary information to detect candidate regions of eyes from input image, and then extract face region using the detected eye pall. We verify both eye candidate regions and face region using Support Vector Machines(SVM). It is possible to perform fast and reliable face detection because we can protect false detection through these verification processes. From the experimental results, we confirmed the proposed algorithm shows very excellent face detection performance.