• Maxillofacial Plastic and Reconstructive Surgery
• /
• 제38권
• /
• pp.13.1-13.12
• /
• 2016

Background: Mandibular motion tracking system (ManMoS) has been developed for orthognathic surgery. This article aimed to introduce the ManMoS and to examine the accuracy of this system. Methods: Skeletal and dental models are reconstructed in a virtual space from the DICOM data of three-dimensional computed tomography (3D-CT) recording and the STL data of 3D scanning, respectively. The ManMoS uniquely integrates the virtual dento-skeletal model with the real motion of the dental cast mounted on the simulator, using the reference splint. Positional change of the dental cast is tracked by using the 3D motion tracking equipment and reflects on the jaw position of the virtual model in real time, generating the mixed-reality surgical simulation. ManMoS was applied for two clinical cases having a facial asymmetry. In order to assess the accuracy of the ManMoS, the positional change of the lower dental arch was compared between the virtual and real models. Results: With the measurement data of the real lower dental cast as a reference, measurement error for the whole simulation system was less than 0.32 mm. In ManMoS, the skeletal and dental asymmetries were adequately diagnosed in three dimensions. Jaw repositioning was simulated with priority given to the skeletal correction rather than the occlusal correction. In two cases, facial asymmetry was successfully improved while a normal occlusal relationship was reconstructed. Positional change measured in the virtual model did not differ significantly from that in the real model. Conclusions: It was suggested that the accuracy of the ManMoS was good enough for a clinical use. This surgical simulation system appears to meet clinical demands well and is an important facilitator of communication between orthodontists and surgeons.

• 한국멀티미디어학회논문지
• /
• 제12권6호
• /
• pp.804-814
• /
• 2009

In this paper, a novel system for avatar motion controlling by tracking face is presented. The system is composed of three main parts: firstly, LCS (Local Cluster Searching) method based face feature detection algorithm, secondly, HMM based feature points recognition algorithm, and finally, avatar controlling and animation generation algorithm. In LCS method, face region can be divided into many small piece regions in horizontal and vertical direction. Then the method will judge each cross point that if it is an object point, edge point or the background point. The HMM method will distinguish the mouth, eyes, nose etc. from these feature points. Based on the detected facial feature points, the 3D avatar is controlled by two ways: avatar orientation and animation, the avatar orientation controlling information can be acquired by analyzing facial geometric information; avatar animation can be generated from the face feature points smoothly. And finally for evaluating performance of the developed system, we implement the system on Window XP OS, the results show that the system can have an excellent performance.

• ETRI Journal
• /
• 제26권6호
• /
• pp.535-544
• /
• 2004

With video compression standards such as MPEG-4, a transmission error happens in a video-packet basis, rather than in a macroblock basis. In this context, we propose a semantic error prioritization method that determines the size of a video packet based on the importance of its contents. A video packet length is made to be short for an important area such as a facial area in order to reduce the possibility of error accumulation. To facilitate the semantic error prioritization, an efficient hardware algorithm for face tracking is proposed. The increase of hardware complexity is minimal because a motion estimation engine is efficiently re-used for face tracking. Experimental results demonstrate that the facial area is well protected with the proposed scheme.

• 융합신호처리학회논문지
• /
• 제20권1호
• /
• pp.51-56
• /
• 2019

본 논문은 모바일 환경에서의 BCG기반 심박 수 측정을 위한 향상된 심박 신호 추출 방법을 제안한다. 우선, 모바일 카메라를 이용하여 사용자의 얼굴을 촬영한 비디오로부터 얼굴 특징과 배경 특징을 동시에 추적함으로써 손 떨림에 의한 영향을 제거한 머리 움직임 신호를 추출한다. 그리고 머리 움직임 신호로부터 심박 신호를 정확하게 분리해내기 위해 신호의 주기성을 계산하는 새로운 방법을 제안한다. 제안 방법은 모바일 얼굴 비디오로부터 강건하게 심박 신호를 추출할 수 있으며, 기존 방법에 비해 보다 정확하게 심박 수 측정(측정 오차가 3-4 bpm 감소)을 할 수 있다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2007년도 학술대회 1부
• /
• pp.1012-1018
• /
• 2007

본 논문에서는 비전 기반 3차원 얼굴 모델의 자동 표정 생성 시스템을 제안한다. 기존의 3차원 얼굴 애니메이션에 관한 연구는 얼굴의 움직임을 나타내는 모션 추정을 배제한 얼굴 표정 생성에 초점을 맞추고 있으며 얼굴 모션 추정과 표정 제어에 관한 연구는 독립적으로 이루어지고 있다. 제안하는 얼굴 모델의 표정 생성 시스템은 크게 얼굴 검출, 얼굴 모션 추정, 표정 제어로 구성되어 있다. 얼굴 검출 방법으로는 얼굴 후보 영역 검출과 얼굴 영역 검출 과정으로 구성된다. HT 컬러 모델을 이용하며 얼굴의 후보 영역을 검출하며 얼굴 후보 영역으로부터 PCA 변환과 템플릿 매칭을 통해 얼굴 영역을 검출하게 된다. 검출된 얼굴 영역으로부터 얼굴 모션 추정과 얼굴 표정 제어를 수행한다. 3차원 실린더 모델의 투영과 LK 알고리즘을 이용하여 얼굴의 모션을 추정하며 추정된 결과를 3차원 얼굴 모델에 적용한다. 또한 영상 보정을 통해 강인한 모션 추정을 할 수 있다. 얼굴 모델의 표정을 생성하기 위해 특징점 기반의 얼굴 모델 표정 생성 방법을 적용하며 12개의 얼굴 특징점으로부터 얼굴 모델의 표정을 생성한다. 얼굴의 구조적 정보와 템플릿 매칭을 이용하여 눈썹, 눈, 입 주위의 얼굴 특징점을 검출하며 LK 알고리즘을 이용하여 특징점을 추적(Tracking)한다. 추적된 특징점의 위치는 얼굴의 모션 정보와 표정 정보의 조합으로 이루어져있기 때문에 기하학적 변환을 이용하여 얼굴의 방향이 정면이었을 경우의 특징점의 변위인 애니메이션 매개변수를 획득한다. 애니메이션 매개변수로부터 얼굴 모델의 제어점을 이동시키며 주위의 정점들은 RBF 보간법을 통해 변형한다. 변형된 얼굴 모델로부터 얼굴 표정을 생성하며 모션 추정 결과를 모델에 적용함으로써 얼굴 모션 정보가 결합된 3차원 얼굴 모델의 표정을 생성한다.

• International Journal of Internet, Broadcasting and Communication
• /
• 제12권3호
• /
• pp.56-63
• /
• 2020

The Avengers film produced by Marvel Comics shows visual effects that were impossible to produce in the past. Companies that produce film special effects were initially equipped with large personnel and equipment, but technology is gradually evolving to be feasible for smaller companies that do not have high-priced equipment and a large workforce. The development of hardware and software is becoming increasingly available to the general public as well as to experts. Equipment and software which were difficult for individuals to purchase before quickly popularized high-performance computers as the game industry developed. The development of the cloud has been the driving force behind software costs. As augmented reality (AR) performance of mobile devices improves, advanced technologies such as motion tracking and face recognition technology are no longer implemented by expensive equipment. Under these circumstances, after implementing mobile-based facial capture technology in animation projects, we have identified the pros and the cons and suggest better solutions to improve the problem.

• 제어로봇시스템학회논문지
• /
• 제13권4호
• /
• pp.371-376
• /
• 2007

This paper presents an emotion recognition and its expression system of an intelligent robot like a home robot or a service robot. Emotion recognition method in the robot is used by a facial image. We use a motion and a position of many facial features. apply a tracking algorithm to recognize a moving user in the mobile robot and eliminate a skin color of a hand and a background without a facial region by using the facial region detecting algorithm in objecting user image. After normalizer operations are the image enlarge or reduction by distance of the detecting facial region and the image revolution transformation by an angel of a face, the mobile robot can object the facial image of a fixing size. And materialize a multi feature selection algorithm to enable robot to recognize an emotion of user. In this paper, used a multi layer perceptron of Artificial Neural Network(ANN) as a pattern recognition art, and a Back Propagation(BP) algorithm as a learning algorithm. Emotion of user that robot recognized is expressed as a graphic LCD. At this time, change two coordinates as the number of times of emotion expressed in ANN, and change a parameter of facial elements(eyes, eyebrows, mouth) as the change of two coordinates. By materializing the system, expressed the complex emotion of human as the avatar of LCD.

• 한국통신학회논문지
• /
• 제31권11C호
• /
• pp.1071-1076
• /
• 2006

본 논문에서는 수화 인식을 위한 얼굴 및 손 추적시스템을 제안한다. 제안된 시스템은 검출 및 추적 단계로 구분된다. 검출 단계에서는 신호의 주체인 얼굴과 손에 위치한 피부 특징을 이용하였다. CbCr 공간에서의 타원 모델을 구성하여 피부 색상을 검출하고 피부 영역을 분할한다. 그리고 크기와 얼굴 특징을 이용하여 얼굴과 손 영역을 정의한다. 추적 단계에서는 동작 추정을 위하여 첫 번째 손 영역으로 예측된 다음의 손위치를 연산함으로써 두 번째 손의 영역을 유도해낸다. 그러나 갑작스런 움직임의 속도 변화가 있을 경우 연속된 프레임에서 추적된 위치는 부정확하였다. 이러한 점을 해결하고자 손 영역에 대하여 반복적인 재연산을 수행하여 적응적으로 영역을 찾음으로써 오차를 보정하도록 하였다. 실험 결과 제안된 방법은 기존의 방법보다 4%의 처리 시간이 증가된 반면, 예측 오차는 96.87%까지 감소시킬 수 있었다.

• 한국멀티미디어학회:학술대회논문집
• /
• 한국멀티미디어학회 2001년도 춘계학술발표논문집
• /
• pp.553-557
• /
• 2001

얼굴 표정을 애니메이션하는 것은 얼굴 구조의 복잡성과 얼굴 표면의 섬세한 움직임으로 인해 컴퓨터 애니메이션 분야에서 가장 어려운 분야로 인식되고 있다. 최근 3D 애니메이션, 영화 특수효과 그리고 게임 제작시 모션 캡처 시스템(Motion Capture System)을 통하여 실제 인간의 동작 및 얼굴 표정을 수치적으로 측정해내어 이를 실제 애니메이션에 직접 사용함으로써 막대한 작업시간 및 인력 그리고 자본을 획기적으로 줄이고 있다. 그러나 기존의 모션 캡처 시스템은 고속 카메라를 이용함으로써 가격이 고가이고 움직임 추적에서도 여러 가지 문제점을 가지고 있다. 본 논문에서는 일반 저가의 카메라와 신경회로망 및 영상처리기법을 이용하여 얼굴 애니메이션용 모션 캡처 시스템에 적응할 수 있는 경제적이고 효율적인 얼굴 움직임 추적기법을 제안한다.

• 한국항행학회논문지
• /
• 제14권4호
• /
• pp.553-561
• /
• 2010

본 논문에서는 로봇의 시각시스템에 효과적으로 적용할 수 있는 얼굴 추적 방법을 제안하였다. 제안한 알고리즘은 동영상의 움직임 영역을 검출한 후 얼굴 영역을 추적한다. 동영상의 움직임 검출은 연속되는 2개의 프레임을 사용하여 차영상을 구한 후, 잡음을 제거하기 위한 방법으로 메디안 필터와 침식 및 팽창연산을 사용하여 움직임 영역을 검출한다. 움직임 영역에서 피부색을 추출하기 위하여 표본영상의 칼라 정보를 이용하였다. 칼라정보의 MIN-MAX값을 퍼지화 데이터로 멤버십 함수를 생성한 후, 유사도를 평가하여 피부색 영역과 배경영역을 분리하였다. 얼굴 후보영역에 대하여 CMY 칼라 공간 C 채널에서 눈을 검출하고, YIQ 칼라 공간 Q 채널에서 입을 검출하였다. 지식기반으로 검출된 눈과 입의 특징을 찾아가며 얼굴영역을 추적하였다. 실험영상으로는 10명 각각에 대하여 150프레임의 동영상 총 1,500프레임을 입력받아 실험한 결과, 1,435프레임의 영상에 대하여 움직임 영역이 검출되어 95.7%의 프레임 검출율을 보였으며, 1,401개에 대한 얼굴을 추적 97.6%의 우수한 얼굴 추적결과를 나타내었다.