• 전자공학회논문지CI
• /
• 제40권1호
• /
• pp.59-73
• /
• 2003

인터넷 가상공간에서 서로 다른 언어 사이의 언어 장벽을 극복하기 위한 한 방법으로 CG 애니메이션 기술을 이용한 수화 통신 시스템이 연구되고 있다. 지금까지 연구에서는 비언어 통신 수단으로서 팔과 손의 제스춰만을 고려하였으나, 얼굴 표정이 의사전달에 중요한 요소가 된다. 특히 사실적인 감정표현보다는 얼굴 요소가 과장된 코믹한 표현이 보다 효과적이고, 또 눈썹, 눈, 입 등의 AU(Action Units)만이 아니라 뺨과 턱의 움직임도 중요한 역할을 하게 됨을 알게 되었다. 따라서 3D 표정 생성 에디터에서 AU를 추출하고, 보다 효율적을 표정 생성을 위해 FACS(Facial Action Unit)으로 분류한다. 또 기존에 표정 에디터에 비해서 제안된 표정 에디터는 PAU에 대한 강도를 강하게 줌으로써, 6가지 표정을 분리할 수 있음을 보인다. 또한 얼굴 표정 생성에서 “뺨을 올림”과 “턱을 내림”에 대한 움직임을 자동화하기 위해서 포물형 편미분식(Parabolic Partial Differential Equations)과 Runge-Kutta법을 이용하여 보다 자연스러운 표정을 생성하였다. 또한 이를 이용하여 구조가 서로 다른 아바타 모델에 감정을 재생하는 방법을 제안하였다. 본 방법을 윈도우 플렛폼에서 Visual C＋＋와 Open Inventor 라이브러리를 이용하여 구현하였으며, 실험 결과 언어의 장벽을 넘을 수 있는 비언어 통신수단으로 이용될 수 있는 가능성을 확인하였다.

• 한국지능시스템학회논문지
• /
• 제15권1호
• /
• pp.18-23
• /
• 2005

인간의 감정을 정의하거나 분류하는 것은 매우 어려운 일이다. 이러한 애매모호한 인간의 감정은 어느 한 감정만 나타나는 것이 아니라 다양한 감정의 복합으로, 눈에 띄는 감정이 드러나는 것이다. 인간의 애매모호한 감정 상태와 유사한 감성을 표현하는 알고리즘으로 dynamic emotion space를 이용한 감성 표현 알고리즘을 제안한다. 기존의 감성 표현 아바타들이 미리 설정된 몇 개의 감정만을 데이터 베이스에서 불러와 표현하는 반면에, 본 논문에서 제안하는 감성 표현 시스템은 동적으로 변화하는 감성 공간을 이용하여 감성을 표현함으로써 무수히 다양한 표정을 표현할 수 있다. 실제의 인간의 복합적이고 다양한 표정을 표현할 수 있는지를 알아보기 위해 실제 구현 및 실험을 수행하고, dynamic emotion spaces를 이용한 감성 표현 시스템의 성능을 입증한다.

• 한국전자통신학회논문지
• /
• 제16권1호
• /
• pp.75-80
• /
• 2021

인공 지능은 놀라운 혜택을 제공하는 우리 삶의 중요한 부분이 되고 있다. 이와 관련하여 얼굴 표정 인식은 최근 수십 년 동안 컴퓨터 비전 연구자들 사이에서 뜨거운 주제 중 하나였다. 저해상도 이미지의 작은 데이터 세트를 분류하려면 새로운 소규모 심층 합성곱 신경망 모델을 개발해야 한다. 이를 위해 소규모 데이터 세트에 적합한 방법을 제안한다. 이 모델은 기존 심층 합성곱 신경망 모델에 비해 총 학습 가능 가중치 측면에서 메모리의 일부만 사용하지만 FER2013 및 FERPlus 데이터 세트에서 매우 유사한 결과를 보여준다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2022년도 추계학술발표대회
• /
• pp.559-561
• /
• 2022

인공지능 시대에 들어서면서 개인 맞춤형 환경을 제공하기 위하여 사람의 감정을 인식하고 교감하는 기술이 많이 발전되고 있다. 사람의 감정을 인식하는 방법으로는 얼굴, 음성, 신체 동작, 생체 신호 등이 있지만 이 중 가장 직관적이면서도 쉽게 접할 수 있는 것은 표정이다. 따라서, 본 논문에서는 정확도 높은 얼굴 감정 식별을 위해서 Convolution Block Attention Module(CBAM)의 각 Gate와 Residual Block, Skip Connection을 이용한 Identity- CBAM Module을 제안한다. CBAM의 각 Gate와 Residual Block을 이용하여 각각의 표정에 대한 핵심 특징 정보들을 강조하여 Context 한 모델로 변화시켜주는 효과를 가지게 하였으며 Skip-Connection을 이용하여 기울기 소실 및 폭발에 강인하게 해주는 모듈을 제안한다. AI-HUB의 한국인 감정 인식을 위한 복합 영상 데이터 세트를 이용하여 총 6개의 클래스로 구분하였으며, F1-Score, Accuracy 기준으로 Identity-CBAM 모듈을 적용하였을 때 Vanilla ResNet50, ResNet101 대비 F1-Score 0.4~2.7%, Accuracy 0.18~2.03%의 성능 향상을 달성하였다. 또한, Guided Backpropagation과 Guided GradCam을 통해 시각화하였을 때 중요 특징점들을 더 세밀하게 표현하는 것을 확인하였다. 결과적으로 이미지 내 표정 분류 Task에서 Vanilla ResNet50, ResNet101을 사용하는 것보다 Identity-CBAM Module을 함께 사용하는 것이 더 적합함을 입증하였다.

• 한국인터넷방송통신학회논문지
• /
• 제14권3호
• /
• pp.139-146
• /
• 2014

본 논문에서는 얼굴 영상으로부터 자동으로 사람의 감정을 인식하는 효과적인 방법을 제안한다. 얼굴 표정으로부터 감정을 파악하기 위해서는 카메라로부터 얼굴영상을 입력받고, ASM (active shape model)을 이용하여 얼굴의 영역 및 얼굴의 주요 특징점을 추출한다. 추출한 특징점으로부터 각 장면별로 49차의 크기 및 변이에 강인한 특징벡터를 추출한 후, 통계기반 패턴분류 방법을 사용하여 얼굴표정을 인식하였다. 사용된 패턴분류기는 Naive Bayes, 다중계층 신경회로망(MLP; multi-layer perceptron), 그리고 SVM (support vector machine)이며, 이중 SVM을 이용하였을 때 가장 높은 최종 성능을 얻을 수 있었으며, 6개의 감정분류에서 50.8%, 3개의 감정분류에서 78.0%의 인식결과를 보였다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2016년도 제54차 하계학술대회논문집 24권2호
• /
• pp.293-294
• /
• 2016

스마트폰, 블랙박스, CCTV 등을 통해 다양하고 방대한 영상 데이터가 발생하고 있다. 그중에서 사람의 얼굴 영상을 통해 개인을 인식 및 식별하고 감정 상태를 분석하려는 다양한 연구가 진행되고 있다. 본 논문에서는 디지털영상처리 분야에서 널리 사용되고 있는 SIFT알고리즘을 이용하여, 얼굴영상에 대한 특징점을 추출하고 이를 기반으로 성별, 나이 및 기초적인 감정 상태를 분류할 수 있는 시스템을 제안한다.

• 방송과미디어
• /
• 제22권1호
• /
• pp.35-46
• /
• 2017

글로벌 라이프로그 미디어 클라우드 서비스를 위하여 네트워크 기술, 클라우드 기술 멀티미디어 App 기술 및 하이라이팅 엔진 기술이 요구된다. 본 논문에서는 미디어 클라우드 서비스를 위한 개발 기술 및 서비스 기술 개발 결과를 보였다. 하이라이팅 엔진은 표정인식기술, 이미지 분류기술, 주목도 지도 생성기술, 모션 분석기술, 동영상 분석 기술, 얼굴 인식 기술 및 오디오 분석기술 등을 포함하고 있다. 표정인식 기술로는 Alexnet을 최적화하여 Alexnet 대비 1.82% 우수한 인식 성능을 보였으며 처리속도면에서 28배 빠른 결과를 보였다. 행동 인식 기술에 있어서는 기존 2D CNN 및 LSTM에 기반한 인식 방법에 비하여 제안하는 3D CNN 기법이 0.8% 향상된 결과를 보였다. (주)판도라티비는 클라우드 기반 라이프로그 동영상 생성 서비스를 개발하여 현재 테스트 서비스를 진행하고 있다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2006년도 학술대회 1부
• /
• pp.976-981
• /
• 2006

수화는 청각장애인이 사용하는 시각적인 언어이다. OpenGL 기반의 가상 현실 공간에서 수화 동작을 표현하기 위해서는 수화 동작 데이터를 삽입하고 수정하는 편집 프로그램이 필요하다. 하지만, 기존의 수화 동작 편집기는 수화를 잘 이해하지 못하는 일반 사용자가 손 모양을 정확하게 편집하거나 얼굴 표정을 표현하는데 어려움이 있다. 또한, 수화 사전에 포함되는 각 수화 단어의 데이터 수가 많기 때문에 이를 효율적으로 생성하고 저장하는 프로그램이 절실히 필요하다. 본 논문에서는 사용자의 편의성을 높이기 위해 수화 동작 그래픽 편집기를 개선하는 방법을 제안한다. 이를 위해 각 손 모양에 대해 21 개의 파라마터로 구성된 데이터를 손가락 별로 분류한 후, 손가락 고유 기호로 변환하고, 손 모양 이름과 일련 번호를 부여하여 손 모양 데이터를 얻었으며, 유사한 손 모양을 그룹으로 묶은 손 모양 그룹 데이터를 구성하여 손 모양 데이터 사전을 구축하였다. 구축된 손 모양 사전을 수화 동작 편집기에 적용함으로써 사용자는 손 모양 그룹과 손 모양 이름, 일련번호를 선택하여 손의 각 관절 움직임을 쉽게 편집할 수 있으며, 이를 가상현실 공간에서 움직여 볼 수 있다. 또한, 얼굴 표정과 안색을 편집할 수 있는 기능을 추가함으로써 수화 동작 중에 얼굴 표정을 쉽게 표현할 수 있도록 하였다.

• 한국산업정보학회논문지
• /
• 제12권3호
• /
• pp.60-68
• /
• 2007

본 논문에서는 자동으로 사용자의 얼굴 표정을 인식할 수 있는 시스템을 제안한다. 제안된 시스템은 휴리스틱 정보를 기반으로 설계된 트리 구조를 이용하여 행복, 역겨움, 놀람의 감정과 무표정을 인식한다. 카메라로부터 영상이 들어오면 먼저 얼굴 특징 검출기에서 피부색 모델과 연결성분 분석을 이용하여 얼굴 영역을 획득한다. 그 후에 신경망 기반의 텍스처 분류기를 사용하여 눈 영역과 비 눈 영역으로 구분한 뒤 눈의 중심 영역과 에지 정보를 기반으로 하여 눈, 눈썹, 입 등의 얼굴 특징을 찾는다. 검출된 얼굴 특징들은 얼굴 표정 인식기에 사용되며 얼굴 인식기는 이를 기반으로 한 decision tree를 이용하여 얼굴 감정을 인식한다. 제안된 방법의 성능을 평가하기 위해 MMI JAFFE, VAK DB에서 총 180장의 이미지를 사용하여 테스트하였고 약 93%의 정확도를 보였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2021년도 추계학술발표대회
• /
• pp.834-836
• /
• 2021

멀티모달 감정인식을 통해 사람의 감정을 정확하게 분류하고, 사람의 감정에 어울리는 음악을 매칭하는 시스템을 설계한다. 멀티모달 감정 인식 방법으로는 IEMOCAP(Interactive Emotional Dyadic Motion Capture) 데이터셋을 활용해 감정을 분류하고, 분류된 감정의 분위기에 맞는 음악을 매칭시키는 시스템을 구축하고자 한다. 유니모달 대비 멀티모달 감정인식의 정확도를 개선한 시스템을 통해 텍스트, 음성, 표정을 포함하고 있는 동영상의 감성 분위기에 적합한 음악 매칭 시스템을 연구한다.