• 전자공학회논문지CI
• /
• 제44권1호
• /
• pp.56-63
• /
• 2007

본 논문은 신경망 (neural network: NN)과 mean-shift알고리즘을 이용하여 복잡한 배경에서 사용자의 눈을 정확히 추출하고 추적할 수 있는 눈 추적 시스템을 제안한다. 머리의 움직임에 강건한 시스템을 개발하기 위해서 먼저 피부색 모델과 연결 성분분석을 이용하여 얼굴영역을 추출한다. 그 다음 신경망기반의 텍스처 분류기를 이용하여 얼굴 영역(face region)을 눈 영역(eye region)과 비눈 영역(non-eye region)으로 구분함으로써 눈을 찾는다. 이러한 눈 검출 방법은 안경의 착용 유무에 상관없이 사용자의 눈 영역을 정확히 검출 할 수 있게 한다. 일단 눈 영역이 찾아지면 이후 프레임에서의 눈 영역은 mean-shift알고리즘에 의해 정확하게 추적된다. 제안된 시스템의 효율성을 검증하기 위해서 제안된 시스템은 눈의 움직임을 이용한 인터페이스 시스템에 적용되었고, 이 인터페이스를 이용한 'aliens game'이 구현되었다. 25명의 사용자에 대해 실험한 결과는 제안된 시스템이 보다 편리하고 친숙한 인터페이스로 활용될 수 있다는 것을 보여주었으며, 또한 $320{\times}240$ 크기의 영상을 초당 30프레임의 빠른 속도로 처리함으로써 실시간 시스템에 적용될 수 있음을 보여주었다.

• 한국콘텐츠학회논문지
• /
• 제19권6호
• /
• pp.214-221
• /
• 2019

사람의 눈을 통해 획득된 시각정보는 시각적 자극을 어떻게 보는지에 대한 많은 정보를 포함하고 있는데, 아이트래킹기술을 활용하면 소비자의 시각정보를 정량적 데이터로 획득하여 분석가능하다. 이러한 측정은 소비자가 무의식적으로 느끼게 되는 감성 측정이 가능하며, 시선추적을 통한 캐릭터의 탐색반응을 계량적으로 수치화하여 직접 수집할 수 있다. 본 연구에서는 캐릭터의 관심영역(AOI)을 추적하여, 시선고정 도출 측정값 중 시선고정평균시간, 횟수, 시선방문평균시간, 횟수, 마지막으로 처음 시선고정이 일어난 평균시간을 분석하였다. 분석결과, 전체적으로 시선고정과 시선방문이 주로 이루어진 지점은 캐릭터의 몸매보다는 얼굴에서 많은 인지적 처리과정이 일어났으며 시각적 주의가 높게 나타났다. 또한 매력요소의 시각적 주의를 통해 매력요소가 캐릭터에 대한 선호도를 결정하는 중요한 요인으로 제시되고 있음을 검증할 수 있었다. 향후 본 연구결과를 토대로 더 많은 캐릭터의 추가 연구가 수행되어 정량적 해석 방법이 제시된다면 캐릭터 개발의 기초자료로 그리고 캐릭터디자인 결정시 고려해야 할 요소로 활용될 수 있을 것이다.

• 제어로봇시스템학회논문지
• /
• 제22권3호
• /
• pp.241-246
• /
• 2016

Nowadays many people have an interest in facial expression and the behavior of people. These are human-robot interaction (HRI) researchers utilize digital image processing, pattern recognition and machine learning for their studies. Facial feature point detector algorithms are very important for face recognition, gaze tracking, expression, and emotion recognition. In this paper, a cascade facial feature point detector is used for finding facial feature points such as the eyes, nose and mouth. However, the detector has difficulty extracting the feature points from several images, because images have different conditions such as size, color, brightness, etc. Therefore, in this paper, we propose an algorithm using a modified cascade facial feature point detector using a convolutional neural network. The structure of the convolution neural network is based on LeNet-5 of Yann LeCun. For input data of the convolutional neural network, outputs from a cascade facial feature point detector that have color and gray images were used. The images were resized to $32{\times}32$. In addition, the gray images were made into the YUV format. The gray and color images are the basis for the convolution neural network. Then, we classified about 1,200 testing images that show subjects. This research found that the proposed method is more accurate than a cascade facial feature point detector, because the algorithm provides modified results from the cascade facial feature point detector.

• 대한기계학회논문집A
• /
• 제35권7호
• /
• pp.737-743
• /
• 2011

서비스 로봇은 비전 카메라, 초음파 센서, 레이저 스캐너, 마이크로폰 등과 같은 다양한 센서를 장착하고 있다. 이들 센서들은 이들 각각의 고유한 기능을 가지고 있기도 하지만, 몇몇을 조합하여 사용함으로써 더욱 복잡한 기능을 수행할 수 있다. 음성영상 융합은 서로가 서로를 상호보완 해주는 대표적이면서도 강력한 조합이다. 사람의 경우에 있어서도, 일상생활에 있어 주로 시각과 청각 정보에 의존한다. 본 발표에서는, 음성영상 융합에 관한 두 가지 연구를 소개한다. 하나는 음원 방향 검지 성능의 향상에 관한 것이고, 나머지 하나는 음원 방향 검지와 얼굴 검출을 이용한 로봇 어텐션에 관한 것이다.

• 스마트미디어저널
• /
• 제12권7호
• /
• pp.59-67
• /
• 2023

최근 인간의 자세와 행동을 추적하는 행동 분석 연구가 활발해지고 있다. 특히 2017년 CMU에서 개발한 오픈소스인 오픈포즈(OpenPose)는 사람의 외모와 행동을 추정하는 대표적인 방법이다. 오픈포즈는 사람의 키, 얼굴, 손 등의 신체부위를 실시간으로 감지하고 추정할 수 있어 스마트 헬스케어, 운 동 트레이닝, 보안시스템, 의료 등 다양한 분야에 적용될 수 있다. 본 논문에서는 헬스장에서 사용자들이 가장 많이 운동하는 Squat, Walk, Wave, Fall-down 4개 동작을 오픈포즈기반 딥러닝인 DNN과 CNN을 이용하여 운동 동작 분류 방법을 제안한다. 학습데이터는 녹화영상 및 실시간으로 카메라를 통해 사용자의 동작을 캡처해서 데이터 셋을 수집한다. 수집된 데이터 셋은 OpenPose을 이용하여 전처리과정을 진행하고, 전처리과정이 완료된 데이터 셋은 본 논문에서 제안한 DNN 및 CNN 모델 이용하여 운동 동작 분류를 학습한다. 제안한 모델에 대한 성능 오차는 MSE, RMSE, MAE를 사용한다. 성능 평가 결과, 제안한 DNN 모델 성능이 제안한 CNN 모델보다 우수한 것으로 나타났다.

• 한국멀티미디어학회논문지
• /
• 제12권8호
• /
• pp.1089-1098
• /
• 2009

최근에 인간컴퓨터 상호작용 분야에서 사용자의 시선 위치를 파악하여 더욱 편리한 입력 장치를 개발하고자 하는 연구가 많이 진행되고 있다. 기존의 대부분 연구들은 큰 모니터를 사용하는 컴퓨터 환경에서 시선 추적 시스템을 개발하였다. 최근 이동단말기의 사용 증대로 이동 중에 시선 추적에 의한 단말기 제어의 필요성이 증대되고 있다. 이에 본 연구에서는 이동형 컴퓨터 (Ultra-Mobile PC) 및 컴퓨터 내장 카메라를 이용하여 사용자의 얼굴을 추적하고, 얼굴내의 특징점의 위치를 능동외관모델 (Active Appearance Model)을 기반으로 추적하는 연구를 수행하였다. 본 논문의 독창성은 기존 연구와는 달리 소형 화면을 가지는 이동 단말기에서 사용자의 시선 위치를 추적할 수 있는 방법을 제안한 점과 정밀한 얼굴 특징점 검출을 위하여 능동외관모델을 사용한 점이다. 또한 사용자의 초기 캘리브레이션시 얻어진 특징값을 기반으로, 입력 특징값들을 정규화 함으로써, Z거리에 따라 시선 위치 정확도가 영향을 받지 않는다는 점이다. 실험결과, 약 1.77도의 시선 오차를 발생하였으나, 추가적인 얼굴 움직임에 의한 마우스 움직임 기능으로 이러한 시선 오차는 더욱 줄일 수 있음을 알 수 있었다.