• 로봇학회논문지
• /
• 제10권3호
• /
• pp.171-177
• /
• 2015

A telerobot offers a more engaging and enjoyable interaction with people at a distance by communicating via audio, video, expressive gestures, body pose and proxemics. To provide its potential benefits at a reasonable cost, this paper presents a telepresence robot system for video communication which can deliver speaker's head motion through its display stanchion. Head gestures such as nodding and head-shaking can give crucial information during conversation. We also can assume a speaker's eye-gaze, which is known as one of the key non-verbal signals for interaction, from his/her head pose. In order to develop an efficient head tracking method, a 3D cylinder-like head model is employed and the Harris corner detector is combined with the Lucas-Kanade optical flow that is known to be suitable for extracting 3D motion information of the model. Especially, a skin color-based face detection algorithm is proposed to achieve robust performance upon variant directions while maintaining reasonable computational cost. The performance of the proposed head tracking algorithm is verified through the experiments using BU's standard data sets. A design of robot platform is also described as well as the design of supporting systems such as video transmission and robot control interfaces.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2007년도 학술대회 1부
• /
• pp.1012-1018
• /
• 2007

본 논문에서는 비전 기반 3차원 얼굴 모델의 자동 표정 생성 시스템을 제안한다. 기존의 3차원 얼굴 애니메이션에 관한 연구는 얼굴의 움직임을 나타내는 모션 추정을 배제한 얼굴 표정 생성에 초점을 맞추고 있으며 얼굴 모션 추정과 표정 제어에 관한 연구는 독립적으로 이루어지고 있다. 제안하는 얼굴 모델의 표정 생성 시스템은 크게 얼굴 검출, 얼굴 모션 추정, 표정 제어로 구성되어 있다. 얼굴 검출 방법으로는 얼굴 후보 영역 검출과 얼굴 영역 검출 과정으로 구성된다. HT 컬러 모델을 이용하며 얼굴의 후보 영역을 검출하며 얼굴 후보 영역으로부터 PCA 변환과 템플릿 매칭을 통해 얼굴 영역을 검출하게 된다. 검출된 얼굴 영역으로부터 얼굴 모션 추정과 얼굴 표정 제어를 수행한다. 3차원 실린더 모델의 투영과 LK 알고리즘을 이용하여 얼굴의 모션을 추정하며 추정된 결과를 3차원 얼굴 모델에 적용한다. 또한 영상 보정을 통해 강인한 모션 추정을 할 수 있다. 얼굴 모델의 표정을 생성하기 위해 특징점 기반의 얼굴 모델 표정 생성 방법을 적용하며 12개의 얼굴 특징점으로부터 얼굴 모델의 표정을 생성한다. 얼굴의 구조적 정보와 템플릿 매칭을 이용하여 눈썹, 눈, 입 주위의 얼굴 특징점을 검출하며 LK 알고리즘을 이용하여 특징점을 추적(Tracking)한다. 추적된 특징점의 위치는 얼굴의 모션 정보와 표정 정보의 조합으로 이루어져있기 때문에 기하학적 변환을 이용하여 얼굴의 방향이 정면이었을 경우의 특징점의 변위인 애니메이션 매개변수를 획득한다. 애니메이션 매개변수로부터 얼굴 모델의 제어점을 이동시키며 주위의 정점들은 RBF 보간법을 통해 변형한다. 변형된 얼굴 모델로부터 얼굴 표정을 생성하며 모션 추정 결과를 모델에 적용함으로써 얼굴 모션 정보가 결합된 3차원 얼굴 모델의 표정을 생성한다.

• 한국멀티미디어학회논문지
• /
• 제23권2호
• /
• pp.368-375
• /
• 2020

In this study, the area of interest(AOI) of Soju ad poster was tracked for analysis the time to frist fixation, the average of fixation duration and count by the study indexes. As a result of the analysis, Visual attention was higher the face than the body shape of the ad model. This means "when we look at printed ads, we see picture elements first, not language one" but language elements can't be overlooked either. Also, the importance of the model role could be verified by measuring the visual attention on the Soju ad poster. Based on the results of this study, if further research on ad posters is carried out and scientific and quantitative interpretation methods are presented, it can be used as product marketing data that can be reflected in ad model selection and poster design.

• 한국통신학회논문지
• /
• 제35권9C호
• /
• pp.756-760
• /
• 2010

본 논문에서는 운전자 피로 감지를 위한 얼굴 동작을 효과적으로 인식하는 방법을 제안하고자 한다. 얼굴 동작은 얼굴 표정, 얼굴 자세, 시선, 주름 같은 얼굴 특징으로 나타난다. 그러나 얼굴 특징으로 하나의 동작 상태를 뚜렷이 구분한다는 것은 대단히 어려운 문제이다. 왜냐하면 사람의 동작은 복합적이며 그 동작을 표현하는 얼굴은 충분한 정보를 제공하기에는 모호성을 갖기 때문이다. 제안된 얼굴 동작 인식 시스템은 먼저 적외선 카메라로 눈 검출, 머리 방향 추정, 머리 움직임 추정, 얼굴 추적과 주름 검출과 같은 얼굴 특징 등을 감지하고 획득한 특징을 FACS의 AU로 나타낸다. 획득한 AU를 근간으로 동적 베이지안 네트워크를 통하여 각 상태가 일어날 확률을 추론한다.

• 한국정보통신학회:학술대회논문집
• /
• 한국해양정보통신학회 2011년도 추계학술대회
• /
• pp.173-175
• /
• 2011

본 논문에서는 얼굴의 3차원 위치와 방향을 추적하여 3D 물체를 다각도에서 볼 수 있는 사용자 인터페이스를 제시한다. 구현된 사용자 인터페이스는 사용자가 상하좌우로 얼굴을 움직였을 때, 얼굴의 3차원 위치 좌표를 이용하여 사용자가 움직이는 방향으로 물체를 이동시킨다. 그 뒤 사용자가 상하(pitch)좌우(yaw)로 얼굴을 회전시켰을 때, 얼굴의 Euler angle값을 이용하여 얼굴의 회전각만큼 물체를 회전시켜 물체의 측면을 제공한다. 다양한 위치와 방향에 사용자가 있을 때 물체의 움직임의 정확성과 반응성을 실험한 결과 시각화가 잘 됨을 확인하였다.

• International journal of advanced smart convergence
• /
• 제11권4호
• /
• pp.120-128
• /
• 2022

While online social interactions have been more prevalent with the increased popularity of Metaverse platforms, little has been studied the effects of facial expressions in virtual reality (VR), which is known to play a key role in social contexts. To understand the importance of presenting facial expressions of a virtual avatar under different contexts, we conducted a user study with 24 participants where they were asked to have a conversation and play a charades game with an avatar with and without facial expressions. The results show that participants tend to gaze at the face region for the majority of the time when having a conversation or trying to guess emotion-related keywords when playing charades regardless of the presence of facial expressions. Yet, we confirmed that participants prefer to see facial expressions in virtual reality as well as in real-world scenarios as it helps them to better understand the contexts and to have more immersive and focused experiences.

• 융합신호처리학회 학술대회논문집
• /
• 한국신호처리시스템학회 2005년도 추계학술대회 논문집
• /
• pp.201-204
• /
• 2005

동영상에서 얼굴을 인식하는 기술은 Eigen-Face를 이용하는 방법, 템플릿을 이용하는 방법 등과 같이 다양한 방법이 연구되어지고 있다. 하지만 이들 기법들이 모두 동영상에서 얼굴영역을 검출했을지는 모르지만 얼굴영역이 영상에서 차지하는 위치와 크기를 일정하게 제한하고 있다. 그 중에서 입력되는 영상이 촬영 도구로부터 제한된 거리에서 촬영되어 얻어 지거나 실험을 통해 얻어진 영상을 이용하여 얼굴영역을 검출한다. 하지만 실제 다양한 응용분야에서 얼굴영역 검출 기술을 이용하기 위해서는 이러한 제한된 입력 영상뿐만이 아니라 어떠한 환경에서의 입력 영상에서도 얼굴영역을 검출할 수 있어야 한다. 본 논문은 근거리뿐만이 아니라 원거리에서 획득한 영상에서도 얼굴영역을 검출할 수 있으며, 얼굴의 특징 추출과 예측기법을 통하여 보다 향상된 얼굴영역 검출을 할 수 있다. 움직임 정보와 얼굴색상정보를 이용하여 8x8블록을 만들고 이런 블록 정보들을 특정한 규칙에 적용함으로써 얼굴영역을 후보를 검출하게 된다. 그리고 후보 얼굴영역의 고유한 특징들을 추출하고 칼만 필터를 적용한 예측기법을 통하여 얼굴영역 판단하게 된다.

• 제어로봇시스템학회논문지
• /
• 제13권4호
• /
• pp.371-376
• /
• 2007

This paper presents an emotion recognition and its expression system of an intelligent robot like a home robot or a service robot. Emotion recognition method in the robot is used by a facial image. We use a motion and a position of many facial features. apply a tracking algorithm to recognize a moving user in the mobile robot and eliminate a skin color of a hand and a background without a facial region by using the facial region detecting algorithm in objecting user image. After normalizer operations are the image enlarge or reduction by distance of the detecting facial region and the image revolution transformation by an angel of a face, the mobile robot can object the facial image of a fixing size. And materialize a multi feature selection algorithm to enable robot to recognize an emotion of user. In this paper, used a multi layer perceptron of Artificial Neural Network(ANN) as a pattern recognition art, and a Back Propagation(BP) algorithm as a learning algorithm. Emotion of user that robot recognized is expressed as a graphic LCD. At this time, change two coordinates as the number of times of emotion expressed in ANN, and change a parameter of facial elements(eyes, eyebrows, mouth) as the change of two coordinates. By materializing the system, expressed the complex emotion of human as the avatar of LCD.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2009년도 IWAIT
• /
• pp.746-750
• /
• 2009

In this paper we focus on the Personal Space (PS) as a nonverbal communication concept to build a new Human Computer Interaction. The analysis of people positions with respect to their PS gives an idea on the nature of their relationship. We propose to analyze and model the PS using Computer Vision (CV), and visualize it using Computer Graphics. For this purpose, we define the PS based on four parameters: distance between people, their face orientations, age, and gender. We automatically estimate the first two parameters from image sequences using CV technology, while the two other parameters are set manually. Finally, we calculate the two-dimensional relationship of multiple persons and visualize it as 3D contours in real-time. Our method can sense and visualize invisible and unconscious PS distributions and convey the spatial relationship of users by an intuitive visual representation. The results of this paper can be used to Human Computer Interaction in public spaces.

• 한국통신학회논문지
• /
• 제31권2C호
• /
• pp.156-165
• /
• 2006

본 논문에서는 지능적인 보안 시스템 구현의 새로운 접근 방식으로, 인공지능형 시각 시스템에 기반한 팬/틸트 탑재형 스테레오 카메라의 기하학적 정보를 이용한 사람 키 높이 추정기법을 제안하였다. 제안된 시스템에서는 먼저, 스데레오 카메라에서 입력된 영상으로 부터 YCbCr 컬러 모델과 위상형 상관 기법을 사용하여 표적 얼굴영역의 중심좌표를 검출한 다음, 지능형 시각 시스템에 기반한 팬/틸트 탑재형 스테레오 카메라의 능동적인 제어각도 산출을 통해 표적의 다양한 변화에 관계없이 표적의 3차원 좌표를 실시간적으로 검출하고, 이를 통한 표적 대상의 적응적인 신체 크기 추정을 수행하였다. 각기 다른 신장을 가진 3사람의 다양한 이동경로를 가진 480 프레임의 테스트용 스테레오 영상을 사용한 실험 결과, 표적의 추정된 신체 크기값 역시 계산치 및 측정치 사이의 표준편차가 평균 1.03의 작은 값으로 유지됨은 물론, 제안된 시스템에서 계산된 좌표값과 실제 실험대상으로 참여한 사람의 정확한 실제 위치와의 차이 역시 평균 1.2cm 미만의 오차와 전체적으로 1.18$\%$의 오차를 보임으로써 이를 통한 새로운 실시간 스테레오 표적 감시추적 시스템의 구현 가능성을 제시하였다.