• 한국정보디스플레이학회:학술대회논문집
• /
• 한국정보디스플레이학회 2009년도 9th International Meeting on Information Display
• /
• pp.408-410
• /
• 2009

First demonstrators of bi-directional OLED microdisplay devices have been developed and integrated into see-through HMD optics. The device combines 'display' and 'imaging' by nested OLED pixels and photodetectors in a single CMOS chip. Major aim of this integration is to provide capabilities for eyetracking to achieve gaze-based human-displayinteraction.

• 스마트미디어저널
• /
• 제5권2호
• /
• pp.33-41
• /
• 2016

FPS게임은 플레이어가 1인칭 캐릭터의 시점에서 게임레벨의 목표에 따라 상대방을 타격하는 전투형태를 주된 게임플레이 구조로 가진다. 이러한 플레이 상황에서 플레이어의 행동을 유도하는 의사결정은 시각적 인지정보와 이전의 플레이경험을 통한 직 간접적 정보 수집을 통해 이루어진다. 특히 플레이어와 게임레벨간의 즉각적인 상호작용을 주된 플레이로 하는 FPS게임에서 플레이어의 시각적 인지정보에 대한 분석은 특정 게임레벨을 설계하고 수정할 수 있는 정보를 제공할 수 있다. 본 논문에서는 FPS게임의 플레이 경험수준에 따라 플레이어를 초보자와 숙련자 그룹으로 나누고 아이트래킹 장비를 사용하여 대표적인 FPS게임 레벨에 대한 그룹별 시선경로 데이터를 수집하였다. 플레이어의 행동이 발생하는 시점인 전투시작 전후의 시선경로를 500개의 플레이영상으로 기록하고 그룹별 고유한 시선경로 패턴을 도출하였다. 이러한 결과를 통해 FPS게임 레벨의 난이도조절과 플레이가능성을 향상시킬 수 있는 방법을 모색하고자 한다.

• 한국산학기술학회논문지
• /
• 제8권2호
• /
• pp.240-244
• /
• 2007

본 논문에서는 실시간으로 눈을 검출하고 추적하는 새로운 방법을 제안하고자 한다. 기존의 능동적 적외선을 이용한 눈 검출 및 추적 방법은 외부의 조명에 매우 민감하게 반응하는 문제점을 가지고 있으므로, 본 논문에서는 적외선 조명을 이용한 밝은 동공 효과와 전형적인 외형을 기반으로 한 사물 인식 기술을 결합하여 외부 조명의 간섭으로 밝은 동공 효과가 나타나지 않는 경우에도 견실하게 눈을 검출하고 추적 할 수 있는 방법을 제안한다. 눈 검출과 추적을 위해 SVM과 평균 이동 추적방법을 사용하였고, 적외선 조명과 카메라를 포함한 영상 획득 장치를 구성하여 제안된 방법이 효율적으로 다양한 조명하에서 눈 검출과 추적을 할 수 있음을 보여 주었다.

• 한국통신학회논문지
• /
• 제35권6B호
• /
• pp.930-939
• /
• 2010

최근 HCI 분야에서 사용자의 시선 추적을 통해 보다 편리한 입력 장치를 개발하려는 연구가 활발히 진행되고 있다. 하지만 기존의 시선 추적 방법들은 부가적인 사용자 착용형 장비를 필요로 하거나 원거리에서 작동되지 않는 문제 등으로 인해 IPTV 환경에서 적용하기 어려운 실정이다. 이에 본 연구에서는 사용자 착용없이 고정된 하나의 카메라를 이용하여 얼굴을 취득하고, 취득된 얼굴 영역 내에서 눈의 위치를 검출하여 IPTV의 화면 인터페이스를 제어할 수 있는 새로운 방법을 제안한다. 또한, Adaboost 방법으로 얼굴이나 눈이 성공적으로 검출되지 못했을 경우에도, 계층적 KLT (Kanade-Lucas-Tomasi)특징 추적 방법을 통해 구해진 모션 벡터를 이용하여 화면 인터페이스를 제어할 수 있는 방법을 제안한다. 이처럼, 본 논문의 방법은 기존의 방법과는 달리 실제 IPTV의 시청거리인 2m 정도의 원거리에서도 사용가능하며, 카메라 이외에 별도의 장치를 착용할 필요가 없으므로 편의성이 높고 얼굴 움직임의 제약이 없다는 장점이 있다. 실험결과, 입력되는 얼굴 영상을 초당 15프레임의 속도로 실시간 처리함을 확인할 수 있었으며, 기존 입력 장치의 역할을 충분히 대신할 수 있음을 알 수 있었다.

• 로봇학회논문지
• /
• 제12권3호
• /
• pp.313-321
• /
• 2017

One of the most frequently performed tasks in human-robot interaction (HRI), intelligent vehicles, and security systems is face related applications such as face recognition, facial expression recognition, driver state monitoring, and gaze estimation. In these applications, accurate head pose estimation is an important issue. However, conventional methods have been lacking in accuracy, robustness or processing speed in practical use. In this paper, we propose a novel method for estimating head pose with a monocular camera. The proposed algorithm is based on a deep neural network for multi-task learning using a small grayscale image. This network jointly detects multi-view faces and estimates head pose in hard environmental conditions such as illumination change and large pose change. The proposed framework quantitatively and qualitatively outperforms the state-of-the-art method with an average head pose mean error of less than $4.5^{\circ}$ in real-time.

• 로봇학회논문지
• /
• 제8권4호
• /
• pp.266-272
• /
• 2013

Facial feature extraction and tracking are essential steps in human-robot-interaction (HRI) field such as face recognition, gaze estimation, and emotion recognition. Active shape model (ASM) is one of the successful generative models that extract the facial features. However, applying only ASM is not adequate for modeling a face in actual applications, because positions of facial features are unstably extracted due to limitation of the number of iterations in the ASM fitting algorithm. The unaccurate positions of facial features decrease the performance of the emotion recognition. In this paper, we propose real-time facial feature extraction and tracking framework using ASM and LK optical flow for emotion recognition. LK optical flow is desirable to estimate time-varying geometric parameters in sequential face images. In addition, we introduce a straightforward method to avoid tracking failure caused by partial occlusions that can be a serious problem for tracking based algorithm. Emotion recognition experiments with k-NN and SVM classifier shows over 95% classification accuracy for three emotions: "joy", "anger", and "disgust".

• 제어로봇시스템학회논문지
• /
• 제22권3호
• /
• pp.241-246
• /
• 2016

Nowadays many people have an interest in facial expression and the behavior of people. These are human-robot interaction (HRI) researchers utilize digital image processing, pattern recognition and machine learning for their studies. Facial feature point detector algorithms are very important for face recognition, gaze tracking, expression, and emotion recognition. In this paper, a cascade facial feature point detector is used for finding facial feature points such as the eyes, nose and mouth. However, the detector has difficulty extracting the feature points from several images, because images have different conditions such as size, color, brightness, etc. Therefore, in this paper, we propose an algorithm using a modified cascade facial feature point detector using a convolutional neural network. The structure of the convolution neural network is based on LeNet-5 of Yann LeCun. For input data of the convolutional neural network, outputs from a cascade facial feature point detector that have color and gray images were used. The images were resized to $32{\times}32$. In addition, the gray images were made into the YUV format. The gray and color images are the basis for the convolution neural network. Then, we classified about 1,200 testing images that show subjects. This research found that the proposed method is more accurate than a cascade facial feature point detector, because the algorithm provides modified results from the cascade facial feature point detector.

• 한국정보통신학회논문지
• /
• 제18권5호
• /
• pp.1171-1176
• /
• 2014

안구 추적은 눈동자의 움직임을 감지하여 안구의 운동 상태나 시선의 위치를 추적하는 인간과 컴퓨터의 상호작용(HCI)분야이다. 안구 추적은 사용자의 시선 추적을 이용한 마케팅 분석이나 의도 인식 등에 적용되고 있으며 다양한 적용을 위한 많은 연구가 진행되고 있다. 안구 추적을 수행하는 방법 중에 영상처리를 이용한 안구 추적 방법이 사용자에게는 편리하지만 조명의 변화와 스케일 변화 그리고 회전이나 가려짐에는 추적의 어려움이 있다. 본 논문에서는 이미지 기반의 안구 추적시 발생되는 조명, 회전, 스케일 변화 등 환경변화에도 강인하게 안구 추적을 수행하기 위하여 두 단계의 추적 방법을 제안한다. 우선 Haar분류기를 이용하여 얼굴과 안구 영역을 추출하고, 추출된 안구 영역으로부터 CAMShift과 템플릿 매칭을 이용하여 강인하게 안구를 추적하는 두 단계의 안구 추적 방법을 제안하였다. 제안한 알고리즘은 조명 변화, 회전, 스케일 등 변화하는 환경 조건하에서 실험을 통하여 강인성을 증명하였다.

• 한국멀티미디어학회논문지
• /
• 제15권6호
• /
• pp.722-730
• /
• 2012

최근 생체 인식 분야나, HCI 분야 등에서 사람의 눈 영상 정보를 이용하여 홍채 인식을 하거나 시선위치 정보를 이용하는 연구가 활발히 진행 되고 있다. 특히 사용자의 편의성을 위한 원거리 카메라 기반시스템이 늘어나면서 눈 영상 촬영에 단순히 동공 중심 영역만 촬영 되는 것이 아니라, 눈썹, 이마, 피부영역 등 부정확한 검출을 일으킬 수 있는 요소가 포함되어 촬영되고 이러한 불필요한 요소들은 동공 중심영역의 검출 성능을 저하시킨다. 또한 앞서 얘기한 이용분야들은 실시간 환경에서 실행되는 시스템들로 정확한 검출 성능뿐만 아니라 빠른 실행시간도 요구 한다. 본 논문에서는 정확하고 빠른 눈동자 영역 검출을 위하여 기존에 가장 많이 사용하는 AdaBoost 눈 검출 알고리즘, 적응적 템플릿 정합+AdaBoost 알고리즘, CAMShift+AdBoost 알고리즘, rapid eye 검출 알고리즘에 대하여 분석하고, 조명변화와 콘택트 렌즈 및 안경 착용자와 미 착용자등 다양한 경우에 대해서 앞서 말한 알고리즘들을 적용하여 각 알고리즘 별로 정확도와 실행시간을 비교 분석하도록 한다.

• 한국정보통신학회:학술대회논문집
• /
• 한국해양정보통신학회 2005년도 춘계종합학술대회
• /
• pp.1145-1148
• /
• 2005

본 논문에서는 다양한 시각적 정보와 일정한 관련 정보를 통합하여 인간의 피로도를 추론하기 위하여 베이지안 네트워크를 기반으로 한 확률 모델을 제안하고자 한다. 먼저 눈꺼풀의 움직임, 시선, 머리의 움직임, 그리고 얼굴 표정 같은 개인의 상태를 특성 지을 수 있는 시각적 매개변수를 측정하였다. 그러나 각각의 시각적 정보와 일정한 관련 정보만으로 인간의 피로도를 결정하기에는 충분하지 않으므로, 본 논문에서는 인간의 피로도를 모니터링 하기 위하여 가능한 많은 관련 정보와 시각 정보를 융합하여 베이지안 네트워크 모델을 개발하였다. 실험 결과, 피로 예측과 모델링을 위해 제안된 베이지안 네트워크의 유용함을 확인 할 수 있었다.