• Journal of the Korea Computer Graphics Society
• /
• v.30 no.3
• /
• pp.51-59
• /
• 2024

Collecting a dataset with a corresponding labeled gaze vector requires a high cost in the gaze estimation field. In this paper, we suggest a data augmentation of manipulating the gaze of an original image, which improves the accuracy of the gaze estimation model when the number of given gaze labels is restricted. By conducting multi-class gaze bin classification as an auxiliary task and adjusting the latent variable of the diffusion model, the model semantically edits the gaze from the original image. We manipulate a non-binary attribute, pitch and yaw of gaze vector to a desired range and uses the edited image as an augmented train data. The improved gaze accuracy of the gaze estimation network in the semi-supervised learning validates the effectiveness of our data augmentation, especially when the number of gaze labels is 50k or less.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.180-182
• /
• 2021

본 논문은 눈 랜드마크 위치 검출과 시선 방향 벡터 추정이 하나의 딥러닝 네트워크로 통합된 시선 추정 네트워크를 제안한다. 제안하는 네트워크는 Stacked Hourglass Network[1]를 백본(Backbone) 구조로 이용하며, 크게 랜드마크 검출기, 특징 맵 추출기, 시선 방향 추정기라는 세 개의 부분으로 구성되어 있다. 랜드마크 검출기에서는 눈 랜드마크 50개 포인트의 좌표를 추정하며, 특징 맵 추출기에서는 시선 방향 추정을 위한 눈 이미지의 특징 맵을 생성한다. 그리고 시선 방향 추정기에서는 각 출력 결과를 조합하고 이를 통해 최종 시선 방향 벡터를 추정한다. 제안하는 네트워크는 UnityEyes[2] 데이터셋을 통해 생성된 가상의 합성 눈 이미지와 랜드마크 좌표 데이터를 이용하여 학습하였으며, 성능 평가는 실제 사람의 눈 이미지로 구성된 MPIIGaze[3] 데이터 셋을 이용하였다. 실험을 통해 시선 추정 오차는 0.0396 MSE(Mean Square Error)의 성능을 보였으며, 네트워크의 추정 속도는 42 FPS(Frame Per Second)를 나타내었다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2016.04a
• /
• pp.792-794
• /
• 2016

본 논문은 멀티미디어 콘텐츠 제공자, 소비자 사이의 양방향 서비스를 효율적으로 제공하기 위해 소비자의 시선추적을 통한 데이터 분석 방법을 제안한다. 멀티미디어 콘텐츠를 여러 개의 객체로 분류하여 제공자의 의도를 표현하고 임의의 좌표 값으로 소비자의 시선을 대체한다. 소비자 시선과 제공자의 의도를 비교하여 소비형태 분석 데이터를 얻을 수 있다. 이 데이터를 활용하여 멀티미디어 콘텐츠 화면을 재구성하거나 콘텐츠 인터페이스를 구성한다면 소비자 맞춤형 멀티미디어 콘텐츠 서비스 제공이 가능할 것이라 기대한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2019.07a
• /
• pp.139-140
• /
• 2019

난독증은 정상적인 지능에도 불구하고 문장을 읽기가 어려운 독서 장애다. 난독증 진단 방법은 ADHD처럼 증상 체크리스트가 없다. 지적장애를 판정할 때 사용하는 웩슬러 지능검사 같은 전 세계인이 사용하는 아주 보편화된 심리검사도 없다. 미국 진단기준의 최신판인 DSM-5에도 어떤 검사를 해서 기준점수 아래여야 진단할 수 있다고 명확히 써놓지 않았다. 본 논문에서는 이를 해결하기 위해 글자, 단어, 문장, 문단의 단위를 설정하여 화면에 출력하고 아이트래커를 활용하여 읽는 사람의 시선 데이터를 수집하여 히트맵으로 분석한다.

• Journal of Broadcast Engineering
• /
• v.26 no.6
• /
• pp.748-757
• /
• 2021

In this paper, we propose a gaze estimation network in which eye landmark position detection and gaze direction vector estimation are integrated into one deep learning network. The proposed network uses the Stacked Hourglass Network as a backbone structure and is largely composed of three parts: a landmark detector, a feature map extractor, and a gaze direction estimator. The landmark detector estimates the coordinates of 50 eye landmarks, and the feature map extractor generates a feature map of the eye image for estimating the gaze direction. And the gaze direction estimator estimates the final gaze direction vector by combining each output result. The proposed network was trained using virtual synthetic eye images and landmark coordinate data generated through the UnityEyes dataset, and the MPIIGaze dataset consisting of real human eye images was used for performance evaluation. Through the experiment, the gaze estimation error showed a performance of 3.9, and the estimation speed of the network was 42 FPS (Frames per second).

• Journal of Software Assessment and Valuation
• /
• v.16 no.1
• /
• pp.45-53
• /
• 2020

In this paper, we describe a new method for acquiring calibration data using a user interaction process, which occurs continuously during web browsing in gaze estimation, and for performing calibration naturally while estimating the user's gaze. The proposed non-intrusive calibration is a tuning process over the pre-trained gaze estimation model to adapt to a new user using the obtained data. To achieve this, a generalized CNN model for estimating gaze is trained, then the non-intrusive calibration is employed to adapt quickly to new users through online learning. In experiments, the gaze estimation model is calibrated with a combination of various user interactions to compare the performance, and improved accuracy is achieved compared to existing methods.

• Science of Emotion and Sensibility
• /
• v.20 no.3
• /
• pp.39-48
• /
• 2017

In order to verify the effectiveness of marketing in the basketball stadium, this study measured and analyzed the gaze frequency and interest when the pupil was expanded by using the eye-tracking technology among various neuro marketing techniques of marketing. To analyze the section where the pupil size get expanded, interval of pupil size was higher than 2.275% (2 sigma data) and higher than 0.135% high (3 sigma data). Overall the valid data was analyzed by inflection points according to gaze frequency. We also analyzed the correlation between overall valid data and the ranges where the pupil size was significantly increased. The result showed that the correlation between overall valid data and pupil size 2 sigma data showed the highest correlation with 0.805. The pupil size 2 sigma data and pupil size 3 sigma data showed a correlation with 0.781, overall the valid data and pupil size 2 sigma data showed a correlation with 0.683. Therefore, it is concluded that, the section where the pupil size was expanded and the section at which gaze frequency is higher in the eye-tracking data were similar. However, the correlation between data of pupil size is determined to be significantly expanded and overall the valid data is decreased.

• Proceedings of the Korean Society for Emotion and Sensibility Conference
• /
• 2009.11a
• /
• pp.160-163
• /
• 2009

본 연구는 생리신호에 의한 집중된 시선과 집중하지 않는 시선을 분류하고자 한다. 이를 검증하기 위해 시각적으로 높은 집중과 낮은 집중을 요구하는 두가지 과제를 피실험자에게 제시하고 PPG(Photoplethysmogram), GSR(Galvanic Skin Response) 그리고 SKT(Skin Temperature)센서를 사용한 자율신경계 반응과 시선 움직임을 측정하였다. 과제는 $3{\times}3$으로 화면 구역을 나누고 각 구역에 문자를 제시하고 역방향 문자를 찾도록 하였다. 실험에는 20 명의 대학생이 참여하였으며, 1 번의 실험에 12 종류의 다른 문자배열을 제시 받았으며 1 번의 연습을 포함하여 총 5 회 실시후 데이터를 분석하였다. 높은 집중일 경우와 낮은 집중일 경우를 T-test 분석 결과, 자율신경계에서는 높은 집중일 경우 PPG 주파수가 증가하고 GSR과 SKT는 감소한 결과를 보였다. 따라서 시선의 집중도에 따라 다른 자율신경계 반응과 시선반응을 보이는 것을 확인하였다.

• Proceedings of the Korean Association of Geographic Inforamtion Studies Conference
• /
• 2004.03a
• /
• pp.141-146
• /
• 2004

본 연구에서는 Canada Southern Alberta Network의 6곳의 GPS(Global Positioning System) 상시관측소 데이터를 바탕으로 관측소와 각 GPS 위성간의 시선방향 습윤지연량을 결정하였다. 고정밀 GPS 데이터를 이용하여 천정방향 습윤지연량을 결정하고 이를 WVR(Water Vapor Radiometer)에서 측정한 천정방향 습윤지연량과 비교하였다. 그 결과 WVR의 천정방향 습윤지연량과 비교할 때 GPS로 관측한 천정방향 습윤지연량은 최대 1.39cm, 최소 0.99cm의 RMS 오차를 보였다. 또한 GPS로 관측한 시선방향 습윤지연량은 WVR과 비교할 때, PRN 25번 위성의 경우최대 17cm, 최소 0.05cm의 차이가 났다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2022.11a
• /
• pp.812-814
• /
• 2022

제어할 사물을 선택하기 위해 여러 단계를 거쳐야 하는 기존 '스마트 홈'의 단점을 보완하고자 본 논문에서는 사용자의 시선 방향을 추정하여 사용자가 바라보는 방향에 있는 사물을 제어할 수 있는 시스템을 제안한다. 일반 RGB 카메라를 통해 Pose Estimation으로 추출한 Landmark들의 좌표 값을 이용하여 시선 방향을 추정하는 알고리즘을 구현하였으며, 이는 근적외선 카메라와 Gaze Tracking 모델링을 통해 이루어지던 기존의 시선 추적 기술에 비해 가벼운 데이터를 산출하고 사용자와 센서간의 위치 제약이 적으며 별도의 장비를 필요로 하지 않는다. 해당 알고리즘으로 산출한 시선 추적의 정확도가 실제 주거환경에서 사용하기에 실효성이 있음을 실험을 통해 입증하였으며, 최종적으로 이 알고리즘을 적용하여 적외선 기기와 Google Home 제품에 사용할 수 있는 시선 방향 사물 제어 시스템을 구현하였다.