• 디지털산업정보학회논문지
• /
• 제8권2호
• /
• pp.95-104
• /
• 2012

In this paper, an estimation of person height and 3D location of a moving person by using the pan/tilt-embedded stereo tracking system is suggested and implemented. In the proposed system, face coordinates of a target person is detected from the sequential input stereo image pairs by using the YCbCr color model and phase-type correlation methods and then, using this data as well as the geometric information of the stereo tracking system, distance to the target from the stereo camera and 3-dimensional location information of a target person are extracted. Basing on these extracted data the pan/tilt system embedded in the stereo camera is controlled to adaptively track a moving person and as a result, moving trajectory of a target person can be obtained. From some experiments using 780 frames of the sequential stereo image pairs, it is analyzed that standard deviation of the position displacement of the target in the horizontal and vertical directions after tracking is kept to be very low value of 1.5, 0.42 for 780 frames on average, and error ratio between the measured and computed 3D coordinate values of the target is also kept to be very low value of 0.5% on average. These good experimental results suggest a possibility of implementation of a new stereo target tracking system having a high degree of accuracy and a very fast response time with this proposed algorithm.

• Journal of Information Processing Systems
• /
• 제16권5호
• /
• pp.1145-1157
• /
• 2020

A convolution neural networks (CNNs) has demonstrated outstanding performance compared to other algorithms in the field of face recognition. Regarding the over-fitting problem of CNN, researchers have proposed a residual network to ease the training for recognition accuracy improvement. In this study, a novel face recognition model based on game theory for call-over in the classroom was proposed. In the proposed scheme, an image with multiple faces was used as input, and the residual network identified each face with a confidence score to form a list of student identities. Face tracking of the same identity or low confidence were determined to be the optimisation objective, with the game participants set formed from the student identity list. Game theory optimises the authentication strategy according to the confidence value and identity set to improve recognition accuracy. We observed that there exists an optimal mapping relation between face and identity to avoid multiple faces associated with one identity in the proposed scheme and that the proposed game-based scheme can reduce the error rate, as compared to the existing schemes with deeper neural network.

• 한국멀티미디어학회논문지
• /
• 제24권11호
• /
• pp.1580-1587
• /
• 2021

Currently, the development and sale of various emoticons has given users a wider range of choices, but a systematic and specific approach to the recognition and use of emoticons by actual users is lacking. Therefore, this study tried to investigate the subjective perception and visual attention concentration of actual users on negative emotional expression emoticons through a survey and eye tracking experiment. First, as a result of subjective recognition analysis, it was found that emoticons are frequently used because their appearance is important, and they can express various emotions in a fun and interesting way. In particular, it was found that emoticons that express negative emotions are often used because they can indirectly express negative emotions through various and concretely expressed visual elements. Next, as a result of the eye tracking experiment, it was found that the negative emotional expression emoticons focused on the large elements that visually emphasized or emphasized the emotional expression elements, and it was found that the focus was not only on the facial expression but also on the physical behavioral responses and language of expression of emotions. These results will be used as basic data to understand users' perceptions and utilization of the diversified emoticons. In addition, for the long-term growth and activation of the emoticon industry market in the future, continuous research should be conducted to understand the various emotions of real users and to develop differentiated emoticons that can maximize the empathy effect appropriate to the situation.

• 한국멀티미디어학회논문지
• /
• 제8권11호
• /
• pp.1421-1431
• /
• 2005

입체음향을 구현하는 방법은 두 가지가 있으며, 5.1 채널과 같은 서라운드 시스템(surround system)을 이용하는 방법과 2 채널의 바이노럴 시스템(binaural system)을 이용하는 방법이 있다. 바이노럴 시스템은 사람이 두 귀를 이용하여 음상을 정위하는 원리를 이용하는 방법이다. 일반적으로 라우더 스피커 시스템에서 각 채널사이에 발생하는 크로스토크(crosstalk)는 본래의 입체음향을 재생하기 위해서는 제거되어야만 한다. 이 문제를 해결하기 위해서는 머리의 움직임을 추정할 필요가 있다. 본 논문에서는 청취자의 머리 움직임을 제대로 추정하는 새로운 알고리즘을 제안한다. 제안하는 알고리즘은 얼굴과 눈의 영역 검출을 기본으로 한다. 얼굴 검출은 이미지의 밝기 값을 이용하고 눈 검출은 수학적 형태학(mathematical morphology)을 이용한다. 청취자의 머리가 움직일 때 얼굴 영역과 눈 사이의 경계선의 길이가 변한다. 이 정보를 이용하여 머리 움직임을 추정한다. 컴퓨터 시뮬레이션을 통해 제안하는 알고리즘이 +10오차 범위 내에서 머리의 움직임을 효율적으로 추정하는 것을 확인하였다.

• 한국융합학회논문지
• /
• 제9권3호
• /
• pp.79-90
• /
• 2018

본 연구의 목적은 긍정 얼굴 자극에 대한 주의의 과정에서 정서 맥락적 배경의 유무에 따라 사회불안성향자들과 정상인 간 차이가 나타나는지 살펴보고자 하는 것이다. 이를 위해 무맥락적 배경에서 긍정 얼굴 자극에 대한 주의 과정을 확인하였고, 다음으로 정서 맥락적 배경이 존재하는 상황에서 동일한 주의 과정을 탐색하였다. D시의 800명의 대학생에게 SADS와 CES-D를 실시하고, 사회불안집단(SA, n=24)과 정상 대조군(NC, n=24)을 선별하였다. 주의 개입과 주의 이탈 두 요소를 측정하기 위해 최초 응시 방향, 최초 응시 시간을 안구 운동 추적을 통해 측정하였다. 그 결과, 사회불안집단의 경우 배경이 없는 상태에서 통제집단에 비해 긍정 얼굴 자극으로부터 더 빠른 주의 이탈이 관찰되었다. 그러나 긍정 얼굴 자극이 긍정 배경 자극 안에 제시되면 사회불안집단과 통제집단 간의 차이가 관찰되지 않았다. 이 결과는 긍정 배경이 사회불안장애성향자의 정서 처리에 영향을 미친다는 것을 시사한다.

• 정보처리학회논문지B
• /
• 제14B권4호
• /
• pp.311-320
• /
• 2007

본 논문에서는 강건한 얼굴 포즈 추정과 실시간 표정제어가 가능한 비전 기반 3차원 얼굴 모델의 자동 표정 생성 방법 및 시스템을 제안한다. 기존의 비전 기반 3차원 얼굴 애니메이션에 관한 연구는 얼굴의 움직임을 나타내는 모션 추정을 반영하지 못하고 얼굴 표정 생성에 초점을 맞추고 있다. 그러나, 얼굴 포즈를 정확히 추정하여 반영하는 작업은 현실감 있는 얼굴 애니메이션을 위해서 중요한 이슈로 인식되고 있다. 본 연구 에서는 얼굴 포즈추정과 얼굴 표정제어가 동시에 가능한 통합 애니메이션 시스템을 제안 하였다. 제안된 얼굴 모델의 표정 생성 시스템은 크게 얼굴 검출, 얼굴 모션 추정, 표정 제어로 구성되어 있다. 얼굴 검출은 비모수적 HT 컬러 모델과 템플릿 매칭을 통해 수행된다. 검출된 얼굴 영역으로부터 얼굴 모션 추정과 얼굴 표정 제어를 수행한다. 얼굴 모션 추정을 위하여 3차원 실린더 모델을 검출된 얼굴 영역에 투영하고 광류(optical flow) 알고리즘을 이용하여 얼굴의 모션을 추정하며 추정된 결과를 3차원 얼굴 모델에 적용한다. 얼굴 모델의 표정을 생성하기 위해 특징점 기반의 얼굴 모델 표정 생성 방법을 적용한다. 얼굴의 구조적 정보와 템플릿 매칭을 이용하여 주요 얼굴 특징점을 검출하며 광류 알고리즘에 의하여 특징점을 추적한다. 추적된 특징점의 위치는 얼굴의 모션 정보와 표정 정보의 조합으로 이루어져있기 때문에 기하학적 변환을 이용하여 얼굴의 방향이 정면이었을 경우의 특징점의 변위인 애니메이션 매개변수(parameters)를 계산한다. 결국 얼굴 표정 복제는 두 개의 정합과정을 통해 수행된다. 애니메이션 매개변수 3차원 얼굴 모델의 주요 특징점(제어점)의 이동은 획득된 애니메이션 매개변수를 적용하여 수행하며, 정점 주위의 부가적 정점의 위치는 RBF(Radial Basis Function) 보간법을 통해 변형한다. 실험결과 본 논문에서 제안된 비전기반 애니메이션 시스템은 비디오 영상으로부터 강건한 얼굴 포즈 추정과 얼굴의 표정변화를 잘 반영하여 현실감 있는 애니메이션을 생성함을 입증할 수 있었다.

• Advances in nano research
• /
• 제12권2호
• /
• pp.223-239
• /
• 2022

Object detection has always been to pursue objects with particular properties or representations and to predict details on objects including the positions, sizes and angle of rotation in the current picture. This was a very important subject of computer vision science. While vision-based object tracking strategies for the analysis of competitive videos have been developed, it is still difficult to accurately identify and position a speedy small ball. In this study, deep learning (DP) network was developed to face these obstacles in the study of tennis motion tracking from a complex perspective to understand the performance of athletes. This research has used CNN-VGG 16 to tracking the tennis ball from broadcasting videos while their images are distorted, thin and often invisible not only to identify the image of the ball from a single frame, but also to learn patterns from consecutive frames, then VGG 16 takes images with 640 to 360 sizes to locate the ball and obtain high accuracy in public videos. VGG 16 tests 99.6%, 96.63%, and 99.5%, respectively, of accuracy. In order to avoid overfitting, 9 additional videos and a subset of the previous dataset are partly labelled for the 10-fold cross-validation. The results show that CNN-VGG 16 outperforms the standard approach by a wide margin and provides excellent ball tracking performance.

• 한국인공지능학회지
• /
• 제11권1호
• /
• pp.9-15
• /
• 2023

As mobile devices such as smartphones, tablets, and kiosks become increasingly prevalent, there is growing interest in developing alternative input systems in addition to traditional tools such as keyboards and mouses. Many people use their own bodies as a pointer to enter simple information on a mobile device. However, methods using the body have limitations due to psychological factors that make the contact method unstable, especially during a pandemic, and the risk of shoulder surfing attacks. To overcome these limitations, we propose a simple information input system that utilizes gaze-tracking technology to input passwords and control web surfing using only non-contact gaze. Our proposed system is designed to recognize information input when the user stares at a specific location on the screen in real-time, using intelligent gaze-tracking technology. We present an analysis of the relationship between the gaze input box, gaze time, and average input time, and report experimental results on the effects of varying the size of the gaze input box and gaze time required to achieve 100% accuracy in inputting information. Through this paper, we demonstrate the effectiveness of our system in mitigating the challenges of contact-based input methods, and providing a non-contact alternative that is both secure and convenient.

• 한국콘텐츠학회논문지
• /
• 제9권7호
• /
• pp.159-170
• /
• 2009

온라인 기반의 3차원 얼굴 애니메이션을 위해서 실시간으로 얼굴을 캡처하고 표정 데이터를 추출하는 것은 매우 중요한 작업이다. 최근 동영상 입력을 통해 연기자의 표정을 캡처하고 그것을 그대로 3차원 얼굴 모델에 표현하는 비전 기반(vision-based) 방법들에 대한 연구가 활발히 이루어지고 있다. 본 논문 에서는 실시간으로 입력되는 동영상으로부터 얼굴과 얼굴 특징점들을 자동으로 검출하고 이를 추적하는 시스템을 제안한다. 제안 시스템은 얼굴 검출과 얼굴 특징점 추출 및 추적과정으로 구성된다. 얼굴 검출은 3차원 YCbCr 피부 색상 모델을 이용하여 피부 영역을 분리하고 Harr 기반 검출기를 이용해 얼굴 여부를 판단한다. 얼굴 표정에 영향을 주는 눈과 입 영역의 검출은 밝기 정보와 특정 영역의 고유한 색상 정보를 이용한다. 검출된 눈과 입 영역에서 MPEG-4에서 정의한 FAP를 기준으로 10개의 특징점을 추출하고, 컬러 확률 분포의 추적을 통해 연속 프레임에서 특징점들의 변위를 구한다 실험 결과 제안 시스템 은 약 초당 8 프레임으로 표정 데이터를 추적하였다.

• 정보처리학회논문지B
• /
• 제18B권1호
• /
• pp.21-28
• /
• 2011

얼굴의 3차원 정보는 얼굴 인식이나 얼굴 합성, Human Computer Interaction (HCI) 등 다양한 분야에서 유용하게 이용될 수 있다. 그러나 일반적으로 3차원 정보는 3D 스캐너와 같은 고가의 장비를 이용하여 획득되기 때문에 얼굴의 3차원 정보를 얻기 위해서는 많은 비용이 요구된다. 본 논문에서는 일반적으로 손쉽게 얻을 수 있는 2차원의 얼굴 영상 시퀀스로부터 효과적으로 3차월 얼굴 형태를 추적하고 재구성하기 위한 3차원 Active Appearance Model (3D-AAM) 방법을 제안한다. 얼굴의 3차원 변화 정보를 추정하기 위해 학습 영상은 정면 얼굴 포즈로 다양한 얼굴 표정 변화를 포함한 영상과 표정 변화를 갖지 않으면서 서로 크게 다른 얼굴 포즈를 갖는 영상으로 구성한다. 입력 영상의 3차원 얼굴 변화를 추정하기 위해 먼저 서로 다른 포즈를 갖는 학습 영상으로부터 얼굴의 각 특징점(Land-mark)의 기하학적 변화를 이용하여 깊이 정보를 추정하고 추정된 특징점의 깊이 정보를 입력 영상의 2차원 얼굴 변화에 추가하여 최종적으로 입력 얼굴의 3차원 변화를 추정한다. 본 논문에서 제안된 방법은 얼굴의 다양한 표정 변화와 함께 3차원의 얼굴 포즈 변화를 포함한 실험 영상을 이용하여 기존의 AAM에 비해 효과적이면서 빠르게 입력 얼굴을 추적(Fitting)할 수 있으며 입력 영상의 정확한 3차원 얼굴 형태를 생성할 수 있음을 보였다.