• 방송공학회논문지
• /
• 제26권6호
• /
• pp.748-757
• /
• 2021

본 논문은 눈 랜드마크 위치 검출과 시선 방향 벡터 추정이 하나의 딥러닝 네트워크로 통합된 시선 추정 네트워크를 제안한다. 제안하는 네트워크는 Stacked Hourglass Network를 백본(Backbone) 구조로 이용하며, 크게 랜드마크 검출기, 특징 맵 추출기, 시선 방향 추정기라는 세 개의 부분(Part)으로 구성되어 있다. 랜드마크 검출기에서는 눈 랜드마크 50개 포인트의 좌표를 추정하며, 특징 맵 추출기에서는 시선 방향 추정을 위한 눈 이미지의 특징 맵을 생성한다. 그리고 시선 방향 추정기에서는 각 출력 결과를 조합하여 최종 시선 방향 벡터를 추정한다. 제안하는 네트워크는 UnityEyes 데이터셋을 통해 생성된 가상의 합성 눈 이미지와 랜드마크 좌표 데이터를 이용하여 학습하였으며, 성능 평가는 실제 사람의 눈 이미지로 구성된 MPIIGaze 데이터셋을 이용하였다. 실험을 통해 시선 추정 오차는 3.9°의 성능을 보였으며, 네트워크의 추정 속도는 42 FPS(Frame per second)로 측정되었다.

• International Journal of Contents
• /
• 제2권3호
• /
• pp.27-32
• /
• 2006

We present an effective algorithm for automatic tracing of retinal vessel structure and vascular landmark extraction of bifurcations and ending points. In this paper we deal with vascular patterns from RGB images for personal identification. Vessel tracing algorithms are of interest in a variety of biometric and medical application such as personal identification, biometrics, and ophthalmic disorders like vessel change detection. However eye surface vasculature tracing in RGB images has many problems which are subject to improper illumination, glare, fade-out, shadow and artifacts arising from reflection, refraction, and dispersion. The proposed algorithm on vascular tracing employs multi-stage processing of ten-layers as followings: Image Acquisition, Image Enhancement by gray scale retinal image enhancement, reducing background artifact and illuminations and removing interlacing minute characteristics of vessels, Vascular Structure Extraction by connecting broken vessels, extracting vascular structure using eight directional information, and extracting retinal vascular structure, and Vascular Landmark Extraction by extracting bifurcations and ending points. The results of automatic retinal vessel extraction using jive different thresholds applied 34 eye images are presented. The results of vasculature tracing algorithm shows that the suggested algorithm can obtain not only robust and accurate vessel tracing but also vascular landmarks according to thresholds.

• 한국멀티미디어학회논문지
• /
• 제23권12호
• /
• pp.1454-1463
• /
• 2020

An important factor in eye-tracking PC interface for general paralyzed patients is the implementation of the mouse interface, for manipulating the GUI. With a successfully implemented mouse interface, users can generate mouse events exactly at the point of their choosing. However, it is difficult to define this interaction in the eye-tracking interface. This problem has been defined as the Midas touch problem and has been a major focus of eye-tracking research. There have been many attempts to solve this problem using blink, voice input, etc. However, it was not suitable for general paralyzed patients because some of them cannot wink or speak. In this paper, we propose a mouth-pop-up, eye-tracking mouse interface that solves the Midas touch problem as well as becoming a suitable interface for general paralyzed patients using a common RGB camera. The interface presented in this paper implements a mouse interface that detects the opening and closing of the mouth to activate a pop-up menu that the user can select the mouse event. After implementation, a performance experiment was conducted. As a result, we found that the number of malfunctions and the time to perform tasks were reduced compared to the existing method.

• International journal of advanced smart convergence
• /
• 제13권3호
• /
• pp.191-198
• /
• 2024

This paper presents an alternative solution for applying MetaHuman facial animations using MediaPipe, providing a versatile option to the Live Link iPhone system. Our approach involves capturing facial expressions with various camera devices, including webcams, laptop cameras, and Android phones, processing the data for landmark detection, and applying these landmarks in Unreal Engine Blueprint to animate MetaHuman characters in real-time. Techniques such as the Eye Aspect Ratio (EAR) for blink detection and the One Euro Filter for data smoothing ensure accurate and responsive animations. Experimental results demonstrate that our system provides a cost-effective and flexible alternative for iPhone non-users, enhancing the accessibility of advanced facial capture technology for applications in digital media and interactive environments. This research offers a practical and adaptable method for real-time facial animation, with future improvements aimed at integrating more sophisticated emotion detection features.

• 한국전자통신학회논문지
• /
• 제15권2호
• /
• pp.349-356
• /
• 2020

본 논문은 교통사고 방지를 위한 운전자의 눈 영상비를 이용한 상태 경고시스템의 설계에 대해 소개하고 있다. 제안하는 운전자 상태 경고 시스템은 눈 인식을 위한 카메라, 카메라를 통해 들어오는 정보를 처리하는 라즈베리파이, 그리고 그 정보를 통해 운전자에게 경고를 줄 때 필요한 부저와 진동기로 구성되어 있다. 운전자의 눈을 인식하기 위해서 기울기 방향성 히스토그램 기술과 딥러닝 기반의 얼굴 표지점 추정 기법을 사용하였다. 동작을 시작하면, 시스템은 눈 주변의 6개의 좌표를 통해 눈 영상비를 계산한다. 그리고 눈을 뜬 상태와 감은 상태의 눈 영상비를 각각 계산한 후 이 두 값으로부터 눈의 상태를 판단하는데 사용하는 문턱 값을 설정한다. 문턱 값이 운전자의 눈 크기에 적응하면서 설정되기 때문에 시스템은 최적의 문턱 값을 사용하여 운전자의 상태를 판단할 수 있다. 또한 낮은 조도에서도 눈을 인식할 수 있도록 회색조 변환 이미지와 LAB모델 이미지를 합성하여 사용하였다.

• 한국정보통신학회논문지
• /
• 제26권9호
• /
• pp.1279-1292
• /
• 2022

신체적 불편함으로 인해 기존의 마우스와 같은 입력 장치의 사용이 힘든 사용자에게 도움이 될 수 있는 시스템으로 얼굴 인식과 Pyautogui 마우스 제어 기반의 비접촉식 입력 기법을 제안한다. 본 연구는 특히 화면 확대/축소나 스크롤 기능과 같이 웹 서핑을 보다 편리하게 돕는 기능이 포함되어 있으며, 개인의 신체적 차이 및 웹 사용 습관을 고려해 여러 설정값을 조정할 수 있도록 하였다. 또한, 기존의 시스템에서 한계점으로 제시되었던 눈 피로도에 대한 문제도 해결하였다. 추가로 고성능 CPU나 GPU 환경이 요구되지 않고 별도의 트래커 장치나 고성능 카메라 또한 필요하지 않다. 이러한 연구를 통해 손을 쓰기 어려운 장애인 및 노인들의 웹 접근성을 높여 배리어프리 실현에 기여하고자 한다.