• Journal of Information Processing Systems
• /
• 제17권2호
• /
• pp.337-351
• /
• 2021

Automatically recognizing facial expressions in video sequences is a challenging task because there is little direct correlation between facial features and subjective emotions in video. To overcome the problem, a video facial expression recognition method using spatiotemporal recurrent neural network and feature fusion is proposed. Firstly, the video is preprocessed. Then, the double-layer cascade structure is used to detect a face in a video image. In addition, two deep convolutional neural networks are used to extract the time-domain and airspace facial features in the video. The spatial convolutional neural network is used to extract the spatial information features from each frame of the static expression images in the video. The temporal convolutional neural network is used to extract the dynamic information features from the optical flow information from multiple frames of expression images in the video. A multiplication fusion is performed with the spatiotemporal features learned by the two deep convolutional neural networks. Finally, the fused features are input to the support vector machine to realize the facial expression classification task. The experimental results on cNTERFACE, RML, and AFEW6.0 datasets show that the recognition rates obtained by the proposed method are as high as 88.67%, 70.32%, and 63.84%, respectively. Comparative experiments show that the proposed method obtains higher recognition accuracy than other recently reported methods.

• 지능정보연구
• /
• 제11권3호
• /
• pp.117-127
• /
• 2005

이동기기를 기반으로 하는 기술이 급격히 발달함에 따라 일반 컴퓨팅 환경의 그래픽이나 영상처리 기술들을 활용한 모바일 컨텐츠 개발이 증가하고 있다. 본 논문에서는 상호 연동성을 지원하는 국내 표준 무선인터넷 플랫폼인 WIPI를 기반으로 하여 영상처리와 얼굴인식 기술을 응용한 얼굴탐지 및 인식 지원 미들웨어를 설계하였다. 생성된 얼굴인식 미들웨어는 휴대폰 카메라를 이용한 인식보안 및 다양한 컨텐츠로 활용될 수 있도록 객체지향 개념을 도입해 각각의 미들웨어가 얼굴인식 미들웨어를 공유할 수 있다. 이는 컨텐츠 설계에 있어 주요 프로세스를 분리함으로써 컨텐츠의 개발 기간 및 비용을 단축시킬 수 있으며, 컨텐츠 보호 및 타 기업과의 기술이전에 적용될 수 있다. 얼굴인식 미들웨어는 서비스에 따라 얼굴탐지 모듈과 얼굴인식 모듈로 구성되며, WIPI 플랫폼 상에서의 얼굴인식 미들웨어 응용 컨텐츠 설계 방법에 대하여 제시한다.

• 한국산업정보학회논문지
• /
• 제12권3호
• /
• pp.60-68
• /
• 2007

본 논문에서는 자동으로 사용자의 얼굴 표정을 인식할 수 있는 시스템을 제안한다. 제안된 시스템은 휴리스틱 정보를 기반으로 설계된 트리 구조를 이용하여 행복, 역겨움, 놀람의 감정과 무표정을 인식한다. 카메라로부터 영상이 들어오면 먼저 얼굴 특징 검출기에서 피부색 모델과 연결성분 분석을 이용하여 얼굴 영역을 획득한다. 그 후에 신경망 기반의 텍스처 분류기를 사용하여 눈 영역과 비 눈 영역으로 구분한 뒤 눈의 중심 영역과 에지 정보를 기반으로 하여 눈, 눈썹, 입 등의 얼굴 특징을 찾는다. 검출된 얼굴 특징들은 얼굴 표정 인식기에 사용되며 얼굴 인식기는 이를 기반으로 한 decision tree를 이용하여 얼굴 감정을 인식한다. 제안된 방법의 성능을 평가하기 위해 MMI JAFFE, VAK DB에서 총 180장의 이미지를 사용하여 테스트하였고 약 93%의 정확도를 보였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제11권9호
• /
• pp.4549-4566
• /
• 2017

This work presents a novel facial descriptor, which is named as multiscale adaptive local directional texture pattern (MALDTP) and employed for expression recognition. We apply an adaptive threshold value to encode facial image in different scales, and concatenate a series of histograms based on the MALDTP to generate facial descriptor in term of Gabor filters. In addition, some dedicated experiments were conducted to evaluate the performance of the MALDTP method in a person-independent way. The experimental results demonstrate that our proposed method achieves higher recognition rate than local directional texture pattern (LDTP). Moreover, the MALDTP method has lower computational complexity, fewer storage space and higher classification accuracy than local Gabor binary pattern histogram sequence (LGBPHS) method. In a nutshell, the proposed MALDTP method can not only avoid choosing the threshold by experience but also contain much more structural and contrast information of facial image than LDTP.

• 전자공학회논문지
• /
• 제51권11호
• /
• pp.193-201
• /
• 2014

본 논문에서는 얼굴영상에 나타난 사람의 표정을 인식하기 위해 얼굴검출, 얼굴정렬, 얼굴단위 추출, 그리고 AdaBoost를 이용한 학습 방법과 효과적인 인식방법을 제안한다. 입력영상에서 얼굴 영역을 찾기 위해서 얼굴검출을 수행하고, 검출된 얼굴영상에 대하여 학습된 얼굴모델과 정렬(Face Alignment)을 수행한 후, 얼굴의 표정을 나타내는 단위요소(Facial Units)들을 추출한다. 본 논문에서 제안하는 얼굴 단위요소들을 표정을 표현하기 위한 기본적인 액션유닛(AU, Action Units)의 하위집합으로 눈썹, 눈, 코, 입 부분으로 나눠지며, 이러한 액션유닛에 대하여 AdaBoost 학습을 수행하여 표정을 인식한다. 얼굴유닛은 얼굴표정을 더욱 효율적으로 표현할 수 있고 학습 및 테스트에서 동작하는 시간을 줄여주기 때문에 실시간 응용분야에 적용하기 적합하다. 실험결과, 제안하는 표정인식 시스템은 실시간 환경에서 90% 이상의 우수한 성능을 보여준다.

• 한국산업정보학회논문지
• /
• 제20권2호
• /
• pp.57-63
• /
• 2015

얼굴 표정인식 기술은 다른 감정인식기술에 비해 비접촉성, 비강제성, 편리성의 특징을 가지고 있다. 비전 기술을 심리로봇에 적용하기 위해서는 표정인식을 하기 전 단계에서 얼굴 영역을 정확하고 빠르게 추출할 수 있어야 한다. 본 논문에서는 성능이 향상된 얼굴영역 검출을 위해서 먼저 영상에서 YCbCr 피부색 색상 정보를 이용하여 배경을 제거하고 상태 기반 방법인 Haar-like Feature 방법을 이용하였다. 입력영상에 대하여 배경을 제거함으로써 처리속도가 향상된, 배경에 강건한 얼굴검출 결과를 얻을 수 있었다.

• Advances in environmental research
• /
• 제12권2호
• /
• pp.113-122
• /
• 2023

Biometric authentication has become an essential part of modern-day security systems, especially in financial institutions like banks. A face recognition-based ATM is a biometric authentication system, that uses facial recognition technology to verify the identity of bank account holders during ATM transactions. This technology offers a secure and convenient alternative to traditional ATM transactions that rely on PIN numbers for verification. The proposed system captures users' pictures and compares it with the stored image in the bank's database to authenticate the transaction. The technology also offers additional benefits such as reducing the risk of fraud and theft, as well as speeding up the transaction process. However, privacy and data security concerns remain, and it is important for the banking sector to instrument solid security actions to protect customers' personal information. The proposed system consists of two stages: the first stage captures the user's facial image using a camera and performs pre-processing, including face detection and alignment. In the second stage, machine learning algorithms compare the pre-processed image with the stored image in the database. The results demonstrate the feasibility and effectiveness of using face recognition for ATM authentication, which can enhance the security of ATMs and reduce the risk of fraud.

• 융합보안논문지
• /
• 제12권4호
• /
• pp.41-47
• /
• 2012

B2C(Business to Customer) 산업에 있어 효율적인 성과관리를 위해서는 고객이 원하는 서비스 요소를 추론하여 고객이 원하는 서비스를 제공하고 그 결과를 평가하여 지속적으로 서비스품질 및 성과를 향상 할 수 있도록 해야 한다. 그것을 위한 중요한 요소는 고객 만족도의 정확한 피드백인데 현재 국내에는 고객의 만족도 측정에 대한 정량적이고 표준화된 시스템이 열악한 상황이다. 최근 얼굴표정 및 생체데이터를 감지하여 사람의 감정을 인식하는 휴대폰 및 관련서비스 기술에 관한 연구가 증가하고 있다. 얼굴에서의 감정인식은 현재 연구되어지는 여러 가지 감정인식 중에서 효율적이고 자연스러운 휴먼 인터페이스로 기대되고 있다. 본 연구에서는 효율적인 얼굴감정 인식에 대한 분석을 하고 고객의 얼굴감정인식을 이용하여 고객의 만족도를 추론할 수 있는 고객피드백시스템을 제안한다.

• 반도체디스플레이기술학회지
• /
• 제7권3호
• /
• pp.45-49
• /
• 2008

Face detection and tracking technology on video sequence has developed indebted to commercialization of teleconference, telecommunication, front stage of surveillance system using face recognition, and video-phone applications. Complex background, color distortion by luminance effect and condition of luminance has hindered face recognition system. In this paper, we have proceeded to research of face recognition on video sequence. We extracted facial area using luminance and chrominance component on $YC_bC_r$ color space. After extracting facial area, we have developed the face recognition system applied to our improved algorithm that combined PCA and LDA. Our proposed algorithm has shown 92% recognition rate which is more accurate performance than previous methods that are applied to PCA, or combined PCA and LDA.

• Journal of the Korean Association of Oral and Maxillofacial Surgeons
• /
• 제48권4호
• /
• pp.201-206
• /
• 2022

Objectives: Contemporary biometric technologies have been gaining traction in both public and private security sectors. Facial recognition is the most commonly used biometric technology for this purpose. We aimed to evaluate the ability of a publicly available facial recognition application program interface to calculate similarity scores of presurgical and postsurgical photographs of patients who had orthognathic surgery. Materials and Methods: Presurgical and postsurgical photographs of 75 patients who had orthognathic surgery between January 2018 and November 2020 in our department were used. Frontal photographs of patients in relaxed and smiling states were taken. The patients were classified into three groups: Group 2 had one-jaw surgery, Group 3 had two-jaw surgery to correct mandibular prognathism, and Group 4 had two-jaw surgery to correct facial asymmetry. For comparison, photographs of 10 participants were used as controls (Group 1). Two facial recognition application programs (Face X and Azure) were used to assess similarity scores. Results: The similarity scores in the two programs showed significant results. The similarity score of the control group, which did not undergo orthognathic surgery, was the highest. The results for Group 2, Group 3, and Group 4 were higher in the order of Group 2, Group 3, and Group 4. Conclusion: In this study, all orthodontic patients were recognized as the same person using the face recognition program before and after surgery. A significant difference in similarity results was obtained between the groups with both Face X and Azure and in both relaxed and smiling states.