• 한국정보과학회논문지:소프트웨어및응용
• /
• 제31권6호
• /
• pp.799-807
• /
• 2004

본 논문에서는 사람의 얼굴표정과 음성 속에 담긴 6개의 기본감정(기쁨, 슬픔, 화남, 놀람, 혐오, 공포)에 대한 특징을 추출하고 인식하고자 한다. 이를 위해 얼굴표정을 이용한 감정인식에서는 이산 웨이블렛 기반 다해상도 분석을 이용하여 선형판별분석기법으로 특징을 추출하고 최소 거리 분류 방법을 이용하여 감정을 인식한다. 음성에서의 감정인식은 웨이블렛 필터뱅크를 이용하여 독립적인 감정을 확인한 후 다중의사 결정 기법에 외해 감정인식을 한다. 최종적으로 얼굴 표정에서의 감정인식과 음성에서의 감정인식을 융합하는 단계로 퍼지 소속함수를 이용하며, 각 감정에 대하여 소속도로 표현된 매칭 감은 얼굴에서의 감정과 음성에서의 감정별로 더하고 그중 가장 큰 값을 인식 대상의 감정으로 선정한다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2008년도 학술대회 1부
• /
• pp.540-546
• /
• 2008

미래에는 로봇이 사람의 감정 상태를 이해하거나 적절하게 자신의 행동을 표현하는 기능은 중요해 질 것이다. 사람간의 교류에서 메세지의 93%가 행동 표현에 있으며, 바디 랭귀지는 감정의 양을 표현하므로 행동 표현은 중요한 감정 표현 수단이다. 최근의 로봇들은 얼굴, 제스처, LED, 소리 등의 복합적 방법을 이용하여 사람과 교류하고 있지만 포즈는 위치와 방위, 얼굴이나 제스처는 속도, 말이나 색 풍은 시간에 대한 정보가 필요하기 때문에 하나의 모델로 통합하거나 동기화 시키기 어렵다. 한편 작은 세기의 감정에서, 얼굴은 쉽게 표현이 가능하지만 제스처는 표현이 힘들다. 또한 기존의 감정 경계는 같은 형태와 크기를 가지거나, HHI 분야에 국한되어 연구되어 왔다. 본 논문에서는 정서 공간에서 감정의 경계를 어떻게 정의할 것이며, 복합적 표현 방법을 시스템적으로 어떻게 동기화할 수 있을지를 제안한다.

• 감성과학
• /
• 제22권2호
• /
• pp.37-48
• /
• 2019

본 연구의 목적은 최근 심리구성주의 정서이론에서 제안한 얼굴정서 지각 과정에 미치는 언어의 영향을 정신물리학적 방법을 사용하여 검증하는 것이다. 본 연구에서는 감정단어가 얼굴표정 전에 제시될 경우, 얼굴표정의 정서 범주에 대한 판단 기준을 그 감정단어가 표상하는 정서 개념 맥락에 가깝게 이동시킬 것이라는 가설을 세웠다. 실험에서는 분노 또는 기쁨을 표현하는 감정단어가 표적 얼굴 전에 잠시 제시되었고, 표적 얼굴로는 중립에서 분노 (실험 1), 중립에서 행복 (실험 2)으로 점진적으로 변화하는 얼굴표정 중 하나가 무선적으로 제시되었다. 실험참가자는 표적얼굴의 정서를 분노 혹은 중립 (실험 1), 행복 혹은 중립 (실험 2)으로 판단하는 2안 강제선택 과제를 수행하였다. 실험 1 결과, 통제조건과 비교하여 분노 표현 감정단어들은 표적 얼굴정서를 분노로 판단하는 판단 경계 (PSE: the point of subjective equality)를 낮추었고, 행복 표현 감정단어들은 판단 경계를 높였다. 중립-행복 표정을 판단하는 실험 2에서는 반대의 결과가 관찰되었다. 본 연구의 결과는 얼굴정서를 지각하는 과정이 다양한 맥락 정보를 사용하여 능동적으로 구성하는 과정이며, 감정단어들은 정서에 대한 개념적 맥락을 제공함으로써 얼굴정서 지각에 영향을 준다는 구성된 정서 이론의 주장을 지지하는 것으로 해석할 수 있다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제24권4호
• /
• pp.1-9
• /
• 2018

본 논문은 얼굴의 표정 변화를 통해 감정을 분석하는 방법으로 조현병의 초기 증상을 스스로 인지할 수 있는 감정 트레이닝 프레임워크를 제안한다. 먼저, Microsoft의 Emotion API를 이용하여 캡처된 얼굴 표정의 사진으로부터 감정값을 얻고, 피크 분석 기반 표준편차로 시간에 따라 변화하는 얼굴 표정의 미묘한 차이를 인식해 감정 상태를 각각 분류한다. 그리하여 Ekman이 제안한 여섯 가지 기본 감정 상태에 반하는 감정들의 정서 및 표현능력이 결핍된 부분에 대해 분석하고, 그 값을 이미지 색상 변환 프레임워크에 통합시켜 사용자 스스로 감정의 변화를 쉽게 인지하고 트레이닝 할 수 있도록 하는 것이 최종목적이다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2011년도 추계학술발표대회
• /
• pp.295-297
• /
• 2011

본 논문에서는 동적얼굴영상으로부터 감정인식을 위해 벡터 표현 보다는 직접적인 텐서 표현으로 특징들을 추출하는 텐서 기반 다선형 주성분분석(MPCA: Multilinear Principal Component Analysis) 기법을 사용한다. 사람 6가지의 얼굴 표정을 사용하는데 한 사람의 각 표정마다 5프레임으로 묶어서 텐서 형태로 취하여 특징을 추출하고 인식한다. 시스템의 성능 평가는 CNU 얼굴 감정인식 데이터베이스를 이용하여 특징점 개수와 성능척도에 따른 실험을 수행하여 제시된 방법의 유용성에 관해 살펴본다.

• 한국콘텐츠학회논문지
• /
• 제5권2호
• /
• pp.147-155
• /
• 2005

본 논문은 여러 가지 감정들 중에서 4가지 감정의 범주 즉, 중성, 두려움, 싫증 및 놀람을 포함한 음성과 감성이 결합되어진 얼굴의 표정을 좀 더 정확하고 자연스러운 3차원 모델로 만들 수 있는 FAES(a Facial Animation with Emotion and Speech) 시스템을 구축하는데 그 주된 목적이 있다. 이를 위해서 먼저 사용할 훈련자료를 추출하고 난후에 감성을 처리한 얼굴 애니메이션에서는 SVM(Support vector machine)[11]을 사용하여 4개의 감정을 수반한 얼굴 표정을 데이터베이스로 구축한다. 마지막으로 얼굴 표정에 감정과 음성이 표현되는 시스템을 개발하는 것이다. 얼굴 표정을 위해서 본 논문에서는 한국인 청년을 대상으로 이루어졌다. 이런 시스템을 통한 결과가 기존에 제시된 방법에 비해서 감정의 영역을 확대시킴은 물론이고 감정인지의 정확도가 약 7%, 어휘의 연속 음성인지가 약 5%의 향상을 시켰다.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 2009년도 제40회 하계학술대회
• /
• pp.1819_1820
• /
• 2009

본 논문에서는 로봇의 감정과 의사표현을 위해서 3D모델 기반의 시뮬레이션이 가능한 에디팅 툴킷을 이용하였고, 사람과 로봇의 감정 상호 작용과 로봇이 제공하는 서비스의 구현을 위해서 다양한 멀티모달 표현을 생성하였다. 로봇은 얼굴표정, 그리고 목과 팔의 움직임으로 멀티모달 표현을 하였으며, 멀티모달 감정/의사 표현을 구성하는 각 모달리티별 표현들은 에디팅 툴킷을 통하여 동기화되었다. 이렇게 생성된 로봇의 멀티모달 감정/의사 표현은 DB형태로 저장되고, 이를 재조합하고 수정하여 새로운 표현을 생성할 수 있도록 하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 추계학술대회
• /
• pp.79-82
• /
• 2020

얼굴 영상으로부터 사람의 감정을 예측하는 연구는 최근 딥러닝의 발전과 함께 주목받고 있다. 본 연구에서 우리는 연속적인 변수를 사용하여 감정을 표현하는 dimensional model에 기반하여 얼굴 영상으로부터 감정 상태를 나타내는 지표인 valance/arousal(V/A)을 예측하는 딥러닝 네트워크를 제안한다. 그러나 V/A 예측 모델의 학습에 사용되는 기존의 데이터셋들은 데이터 불균형(data imbalance) 문제를 가진다. 이를 해소하기 위해, 우리는 오토인코더 구조를 가지는 얼굴 영상 생성 네트워크를 학습하고, 이로부터 얻어지는 균일한 분포의 데이터로부터 V/A 예측 네트워크를 학습한다. 실험을 통해 우리는 제안하는 얼굴 생성 오토인코더가 in-the-wild 환경의 데이터셋으로부터 임의의 valence, arousal에 대응하는 얼굴 영상을 성공적으로 생생함을 보인다. 그리고, 이를 통해 학습된 V/A 예측 네트워크가 기존의 under-sampling, over-sampling 방영들과 비교하여 더 높은 인식 성능을 달성함을 보인다. 마지막으로 기존의 방법들과 제안하는 V/A 예측 네트워크의 성능을 정량적으로 비교한다.

• 한국지능시스템학회:학술대회논문집
• /
• 한국지능시스템학회 2007년도 추계학술대회 학술발표 논문집
• /
• pp.82-85
• /
• 2007

현재 가정을 비롯한 여러 분야에서 서비스 로봇(청소 로봇, 애완용 로봇, 멀티미디어 로봇 둥)의 사용이 증가하고 있는 시장상황을 보이고 있다. 개인용 서비스 로봇은 인간 친화적 특성을 가져야 그 선호도가 높아질 수 있는데 이를 위해서 사용자의 감정 인식 및 표현 기술은 필수적인 요소이다. 사람들의 감정 인식을 위해 많은 연구자들은 음성, 사람의 얼굴 표정, 생체신호, 제스쳐를 통해서 사람들의 감정 인식을 하고 있다. 특히, 음성을 인식하고 적용하는 것에 관한 연구가 활발히 진행되고 있다. 본 논문은 감정 인식 시스템을 두 가지 방법으로 제안하였다. 현재 많이 개발 되어지고 있는 음성인식 모듈을 사용하여 단어별 감정을 분류하여 감정 표현 시스템에 적용하는 것과 마이크로폰을 통해 습득된 음성신호로부터 특정들을 검출하여 Bayesian Learning(BL)을 적용시켜 normal, happy, sad, surprise, anger 등 5가지의 감정 상태로 패턴 분류를 한 후 이것을 동적 감정 표현 알고리즘의 입력값으로 하여 dynamic emotion space에 사람의 감정을 표현할 수 있는 ARM 플랫폼 기반의 음성 인식 및 감정 표현 시스템 제안한 것이다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2000년도 추계학술발표논문집 (상)
• /
• pp.715-718
• /
• 2000

다중 사용자 분산 가상환경 시스템에서는 참여자들 사이의 의사 교환을 위해 텍스트 중심의 채팅과 TTS 등을 지원하고 언어 외적인 의사교환을 지원하기 위해 참여자의 대리자인 아바타에 몸짓이나 얼굴 표정 및 감정등을 표현할 수 있도록 애니메이션 기능을 추가하여 사용한다. 하지만 아바타 애니메이션으로 참여자의 의사 및 감정 표현을 표현하는 데는 한계가 있기 때문에 자유로운 만남 및 대화를 지원할 수 있는 환경이 필요하다. 따라서 이러한 문제를 해결하기 위해서는 참여자의 얼굴과 음성을 가상 공간상에 포함시킴으로써 보다 분명하고 사실적인 의사교환과 감정표현이 가능할 것이다. 이 논문에서는 컴퓨터 네트워크를 통해 형성되는 다중 사용자 가상 환경에서 참여자들의 의사 교환 및 감정 표현을 극대화하고 자유로운 만남과 대화를 제공하는 실시간 화상 대화가 가능한 분산 가상 환경 시스템을 설계하였다. 설계한 시스템은 참여자들의 거리와 주시 방향에 따라 이벤트의 양을 동적으로 제어함으로써 시스템의 부하를 최적화할 수 있는 구조를 갖고 있다.