• 제목/요약/키워드: 실시간 시선추적

검색결과 48건 처리시간 0.031초

멀티모달 인터렉션을 이용한 증강현실 게임 플랫폼 설계에 관한 연구 (A study on AR(Augmented Reality) game platform design using multimodal interaction)

  • 김치중;황민철;박강령;김종화;이의철;우진철;김용우;김지혜;정용무
    • 한국감성과학회:학술대회논문집
    • /
    • 한국감성과학회 2009년도 추계학술대회
    • /
    • pp.87-90
    • /
    • 2009
  • 본 연구는 HMD(Head Mounted Display), 적외선 카메라, 웹 카메라, 데이터 글러브, 그리고 생리신호 측정 센서를 이용한 증강현실 게임 플랫폼 설계를 목적으로 하고 있다. HMD 는 사용자의 머리의 움직임을 파악하고, 사용자에게 가상 물체를 디스플레이화면에 제공한다. 적외선 카메라는 HMD 하단에 부착하여 사용자의 시선을 추적한다. 웹 카메라는 HMD 상단에 부착하여 전방 영상을 취득 후, 현실영상을 HMD 디스플레이를 통하여 사용자에게 제공한다. 데이터 글러브는 사용자의 손동작을 파악한다. 자율신경계반응은 GSR(Galvanic Skin Response), PPG(PhotoPlethysmoGraphy), 그리고 SKT(SKin Temperature) 센서로 측정한다. 측정된 피부전기반응, 맥파, 그리고 피부온도는 실시간 데이터분석을 통하여 집중 정도를 파악하게 된다. 사용자의 머리 움직임, 시선, 그리고 손동작은 직관적 인터랙션에 사용되고, 집중 정도는 직관적 인터랙션과 결합하여 사용자의 의도파악에 사용된다. 따라서, 본 연구는 멀티모달 인터랙션을 이용하여 직관적 인터랙션 구현과 집중력 분석을 통하여 사용자의 의도를 파악할 수 있는 새로운 증강현실 게임 플랫폼을 설계하였다.

  • PDF

Facal motion 예측 및 영역 검출을 위한 칼만 필터 알고리즘 (A Study on the Facal motion and for Detection of area Using Kalman Fillter algorithm)

  • 석경휴;박부연
    • 한국전자통신학회논문지
    • /
    • 제6권6호
    • /
    • pp.973-980
    • /
    • 2011
  • 본 논문에서는 기존의 문제점인 얼굴 움직임이 있을 시 시선 식별이 어려운 점과 사용자에 따른 교정작업이 필요하다는 점을 해결하고자 새로운 시선 식별 시스템을 제안한다. Kalman필터를 사용하여 현재 머리의 위치정보를 이용하여 미래위치를 추정하였고 얼굴의 진위 여부를 판단하기 위해서 얼굴의 특징요소를 구조적 정보와 비교적 처리시간이 빠른 수평, 수직 히스토그램 분석법을 이용하여 얼굴의 요소를 검출한다. 그리고 적외선 조명기를 구성하여 밝은 동공효과를 얻어 동공을 실시간으로 검출, 추적하였고 동공-글린트 벡터를 추출한다.

여자유도를 갖는 능동시각시스템의 제어기 설계 (Controller Design of Active Head-eye System with Redundant Degree of Freedom)

  • 김도윤;유정래;박현근;정명진
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2000년도 하계학술대회 논문집 D
    • /
    • pp.2711-2713
    • /
    • 2000
  • 능동시각시스템의 가장 큰 장점은 주어진 환경에 대해 능동적으로 반응할 수 있는 자유도가 있어 이를 활용하여 필요한 정보를 쉽게 추출할 수 있다는 점이다. 이를 위해서는 능동시각시스템의 시선을 원하는 위치로 이동시키는 것이 필요한데, 시스템의 여자유도 인해 해가 무수히 많이 존재하게 된다. 본 논문에서는 이러한 여자유도 문제를 기구의 동역학적 특성을 제한 조건으로 하여 최적의 해를 구하고 이를 이용해 각 관절을 제어하는 제어기를 설계하는 방법에 대해 소개한다. 설계된 제어기는 제작과 실험을 통해 고속으로 움직이는 물체를 실시간으로 추적하는 성능을 보였다.

  • PDF

능동 시각 시스템을 위한 저크 발생 억제 제어기 설계 (Design of A Controller For Reducing Jerk-Motion In An Active Vision System)

  • 김도윤;김도형;정명진
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2003년도 하계학술대회 논문집 D
    • /
    • pp.2429-2431
    • /
    • 2003
  • 능동 시각 시스템은 카메라 시선 방향을 조정할 수 있는 장치로, 기존의 고정식 스테레오 카메라가 가질 수 없는 여러 가지 장점으로 인해 최근 많은 연구가 진행되고 있다. 능동 시각 시스템을 이용하여 움직이는 물체를 추적하는 경우, 목표 위치가 제어 주기마다 바뀌게 되는데 이 때 시스템의 현재 속도를 고려하지 않는다면, 급격한 속도의 변화로 인해 저크(jerk)가 크게 발생하게 된다. 저크는 물체 추적 성능에도 영향을 미칠 뿐만 아니라, 전원단의 잡음 발생을 유발시켜 제어기의 동작을 방해하며, 시스템에 기계적인 손상을 주기도 한다. 이러한 문제점을 해소하기 위해 기존의 방법들은 스플라인이나 고차 다항식의 계산 방법을 사용하였으나 계산량의 복잡도로 인해 다축 제어가 필요한 능동 시각 시스템에서 구현하기가 어렵다. 본 논문에서는 삼각 함수를 이용한 종(bell) 모양의 속도 프로파일을 이용해서 저크 탄생을 억제할 수 있는 제어기 구조를 제안한다. 제안된 방법은 간단한 계산량으로 저가의 마이크로프로세서에서도 실시간으로 동작이 가능하며 임의의 시점에 임의의 속도로 움직이고 있는 시스템에 저크를 최소화할 수 있는 지령 속도를 만들어 낼 수 있다. 제안된 방법은 시뮬레이션과 실제 시스템에 적용하여 그 유용성을 검증하였다.

  • PDF

실시간 비전 시스템을 이용한 운전자 신체적 상태 추정 (Estimation of a Driver's Physical Condition Using Real-time Vision System)

  • 김종일;안현식;정구민;문찬우
    • 한국인터넷방송통신학회논문지
    • /
    • 제9권5호
    • /
    • pp.213-224
    • /
    • 2009
  • 현재 교통사고의 원인은 차량 결함보다 운전자의 과실에 의한 것이 더 높은 사고 원인으로 나타나고 있다. 이를 해결하기 위하여 운전자의 신체적 상태를 관찰, 분석하여 현재 상태를 추정 및 경고해 줄 수 있는 시스템이 필요하다. 이러한 운전자 상태 추정 시스템을 개발하기 위하여, 본 논문에서는 실시간 비전 시스템을 사용하여 운전자 두 눈동자의 중심점과 크기, 입의 양 끝 모서리 점을 추적하여 얻어진 정보들을 기본적으로 이용한다. 움직임의 추적을 위해 얼굴인식이 필요하며, 인식은 YUV 컬러 공간에서 눈과 입, 얼굴의 색상 정보를 통계학적 방법에 기초하여 설계하고, 얼굴의 기하학적 모델에 의해 이루어진다. 이 시스템을 이용함으로써 운전자의 움직임에 의한 모든 회전 방향을 구분하고, 눈과 입이 차단되는 현상을 차단 모델에 의해 검출할 수 있다. 또한 눈이 감기거나 떠진 상태를 검출하여, 눈의 3차원 시선을 복원한다. 부주의한 운전과 졸음운전을 각각 정의하고 눈동자의 크기 변화 등에 의해 구분하며, 내장형 PC를 기반으로 카메라 시스템, 영상 데이터 처리 장치 및 상태 추정 알고리즘을 구현한 실험 시스템을 구현하여 제안된 신체 상태 추정 방법의 타당성과 성능을 검토한다.

  • PDF

얼굴 및 눈 위치 추적을 통한 IPTV 화면 인터페이스 제어에 관한 연구 (A Study on Controlling IPTV Interface Based on Tracking of Face and Eye Positions)

  • 이원오;이의철;박강령;이희경;박민식;이한규;홍진우
    • 한국통신학회논문지
    • /
    • 제35권6B호
    • /
    • pp.930-939
    • /
    • 2010
  • 최근 HCI 분야에서 사용자의 시선 추적을 통해 보다 편리한 입력 장치를 개발하려는 연구가 활발히 진행되고 있다. 하지만 기존의 시선 추적 방법들은 부가적인 사용자 착용형 장비를 필요로 하거나 원거리에서 작동되지 않는 문제 등으로 인해 IPTV 환경에서 적용하기 어려운 실정이다. 이에 본 연구에서는 사용자 착용없이 고정된 하나의 카메라를 이용하여 얼굴을 취득하고, 취득된 얼굴 영역 내에서 눈의 위치를 검출하여 IPTV의 화면 인터페이스를 제어할 수 있는 새로운 방법을 제안한다. 또한, Adaboost 방법으로 얼굴이나 눈이 성공적으로 검출되지 못했을 경우에도, 계층적 KLT (Kanade-Lucas-Tomasi)특징 추적 방법을 통해 구해진 모션 벡터를 이용하여 화면 인터페이스를 제어할 수 있는 방법을 제안한다. 이처럼, 본 논문의 방법은 기존의 방법과는 달리 실제 IPTV의 시청거리인 2m 정도의 원거리에서도 사용가능하며, 카메라 이외에 별도의 장치를 착용할 필요가 없으므로 편의성이 높고 얼굴 움직임의 제약이 없다는 장점이 있다. 실험결과, 입력되는 얼굴 영상을 초당 15프레임의 속도로 실시간 처리함을 확인할 수 있었으며, 기존 입력 장치의 역할을 충분히 대신할 수 있음을 알 수 있었다.

초등학생의 계절별 별자리 학습에서 SBF 질문이 개념성취와 시선이동에 미치는 영향 (The Effect of SBF Question on Conceptual Achievement and Eye Movement in Seasonal Constellation Learning of Elementary School Students)

  • 김재선;양일호;임성만
    • 대한지구과학교육학회지
    • /
    • 제16권2호
    • /
    • pp.302-318
    • /
    • 2023
  • 이 연구 목적은 시스템 사고가 요구되는 계절별 별자리 학습에서 SBF 질문을 제시한 경우, 초등학생의 개념성취 수준과 시선이동에 미치는 영향을 분석하는 것이다. 본 연구에서는 SBF 질문의 효과를 알아보기 위해 연구집단과 비교집단으로 나누고 질문 유형을 달리한 과학 텍스트를 제시하여 초등학교 6학년 학습자의 개념성취 수준 및 시선이동 차이를 분석하였다. 개념성취 수준을 분석하기 위해 집단 내·집단 간 사전·사후 검사를 실시하였으며, 시선이동 차이를 분석하기 위해 Eye-tracker를 활용하여 학습자의 시선을 추적하였다. 연구 참여자는 연구 참여 동의서를 통해 자발적으로 연구 참여 의사를 밝힌 초등학교 6학년 학생 36명이다(연구집단 18명, 비교집단 18명). 본 연구를 위해 연구 참여자는 2015 개정 교육과정에서 제시한 계절별 별자리와 관련된 학습 내용 전까지만 학습한 상태로 연구에 참여하였다. 자료 분석은 개발한 개념 검사지의 사전·사후 검사 결과와 계절별 별자리와 관련된 과학 텍스트를 학습할 때의 시선이동 자료를 정량적으로 분석하였다. 연구 결과 첫째, 계절별 별자리 학습에서 SBF 질문은 유효한 학습 전략이었다. 학습자에게 구조(Structure)-작용(Behavior)-기능(Function)과 관련된 질문을 순차적이고 구체적으로 제시하였을 때, 일반적인 질문보다 더 높은 학습효과를 나타내었다. 즉 SBF 질문은 집단 간 사전·사후 개념 검사에서 통계적으로 유의한 차이(p<0.05)를 보였으며, 집단 내 사전·사후 개념 검사에서 통계적으로 유의한 차이(p<0.001)를 보였다. 둘째, SBF 질문은 선개념이 높지 않은 학습자에게 개념성취에 도움이 되는 영역을 학습하도록 유도하여 학습자의 학습에 긍정적인 영향을 주었다. 즉, 우주기반 관점의 시각 자료와 함께 SBF 질문을 제시하였을 때, 교과서의 일반적인 질문을 제시한 경우보다 학습자의 총 시선고정 수에서 유의미한 차이(p<0.01)를 보임을 시선이동 분석 결과를 토대로 확인하였으며, SBF 질문으로 학습한 학습자의 개념성취 수준이 향상됨을 정량적으로 확인하였다. 이는 SBF 질문이 시각 자료가 함께 제시된 과학 텍스트 학습 과정에서 능동적인 학습을 촉진한다는 실증적인 증거이다. 반면, 과학적 선개념을 많이 가지고 있는 학습자에게는 SBF 질문의 효과보다 학습자 자신이 가지고 있는 선개념이 견고한 핵으로 작용하여 탐구의 효과가 크지 않았다. 본 연구는 계절별 별자리 학습 과정에서 SBF 질문의 효과를 사전·사후 검사와 시선이동 분석을 통해 정량적인 자료로 제공한다는 점에서 기존 계절별 별자리 학습 연구와 차별성이 있으며, 초등학생의 계절별 별자리 학습과 관련된 지도방안에 도움을 줄 수 있다.

얼굴 매력도와 신뢰성 평가에서 시각적 주의의 차이 (Difference in visual attention during the assessment of facial attractiveness and trustworthiness)

  • 성영신;조경진;김도연;김학진
    • 감성과학
    • /
    • 제13권3호
    • /
    • pp.533-540
    • /
    • 2010
  • 본 연구는 사회적 상호작용에서 필수적인 얼굴 인상형성 과정 중 가장 대표적이라고 할 수 있는 매력도와 신뢰성을 평가할 때 시각적 주의에서의 차이가 나타나는지를 관찰하기 위해 고안되었다. 실험 1에서는 참가자들이 얼굴 신뢰성과 매력도를 평가하는 동안 안구추적기(eye-tracker)를 사용하여 사람들의 시선움직임을 측정하고, 이 후 히트맵(heatmap) 분석을 통해 평가과제 간 차이를 관찰하였다. 그 결과, 사람들은 매력도를 평가할 때와 비교하여 신뢰성을 평가할 때, 얼굴의 주요요소라 할 수 있는 눈과 코 부위에서 더 많은 시선응시가 일어나는 것을 관찰하였다. 또한, 실험 2에서는 참가자들이 실험 1과 동일한 얼굴 평가과제를 수행하는 동안 얼굴의 각 요소에 단어를 짧게 제시하였다. 실험종료 후 실시된 회상검사 결과, 신뢰성 평가과제 시 코부위에 제시되었던 단어의 회상률이 매력도 평가과제 시와 비교하여 유의미하게 높은 것을 확인하였다. 본 연구를 통해 얼굴 신뢰성 판단은 시각적인 주의적 자원(attentional resources)의 할당과 관련된 측면에서 얼굴 매력도와는 구분되는 정보처리과정을 거치는 것을 확인할 수 있었다.

  • PDF