Automatic Facial Expression Recognition using Tree Structures for Human Computer Interaction

HCI를 위한 트리 구조 기반의 자동 얼굴 표정 인식

In this paper, we propose an automatic facial expressions recognition system to analyze facial expressions (happiness, disgust, surprise and neutral) using tree structures based on heuristic rules. The facial region is first obtained using skin-color model and connected-component analysis (CCs). Thereafter the origins of user's eyes are localized using neural network (NN)-based texture classifier, then the facial features using some heuristics are localized. After detection of facial features, the facial expression recognition are performed using decision tree. To assess the validity of the proposed system, we tested the proposed system using 180 facial image in the MMI, JAFFE, VAK DB. The results show that our system have the accuracy of 93%.

본 논문에서는 자동으로 사용자의 얼굴 표정을 인식할 수 있는 시스템을 제안한다. 제안된 시스템은 휴리스틱 정보를 기반으로 설계된 트리 구조를 이용하여 행복, 역겨움, 놀람의 감정과 무표정을 인식한다. 카메라로부터 영상이 들어오면 먼저 얼굴 특징 검출기에서 피부색 모델과 연결성분 분석을 이용하여 얼굴 영역을 획득한다. 그 후에 신경망 기반의 텍스처 분류기를 사용하여 눈 영역과 비 눈 영역으로 구분한 뒤 눈의 중심 영역과 에지 정보를 기반으로 하여 눈, 눈썹, 입 등의 얼굴 특징을 찾는다. 검출된 얼굴 특징들은 얼굴 표정 인식기에 사용되며 얼굴 인식기는 이를 기반으로 한 decision tree를 이용하여 얼굴 감정을 인식한다. 제안된 방법의 성능을 평가하기 위해 MMI JAFFE, VAK DB에서 총 180장의 이미지를 사용하여 테스트하였고 약 93%의 정확도를 보였다.