• 한국콘텐츠학회:학술대회논문집
• /
• 한국콘텐츠학회 2019년도 춘계종합학술대회
• /
• pp.183-184
• /
• 2019

본 논문에서는 로봇과 사람의 자연스러운 감정 소통을 위한 비디오 시퀀스 표정생성 대화 시스템을 제안한다. 제안된 시스템에서는 실시간 비디오 데이터로 판단된 관객의 감정 상태를 반영한 대답을 하며, 딥러닝(Deep Learning)을 활용하여 대화의 맥락에 맞는 로봇의 표정을 실시간 생성한다. 본 논문에서 관객의 표정을 위해 3만여개의 비디오 데이터로 학습한 결과 88%의 학습 정확도로 표정 생성이 가능한 것으로 확인되었다. 본 연구는 로봇 표정 생성에 딥러닝 방식을 적용한 것에 그 의의가 있으며 향후 대화 시스템 자체에도 딥러닝 방식을 확대 적용하기 위한 초석이 될 수 있다는 점에 의의가 있다.

• 제어로봇시스템학회지
• /
• 제20권2호
• /
• pp.39-45
• /
• 2014

얼굴 표정 인식은 인간 중심의 human-machine 인터페이스의 가장 중요한 요소 중 하나이다. 현재의 얼굴 표정 인식 기술은 주로 얼굴 영상을 이용하여 특징을 추출하고 이를 미리 학습시킨 인식 모델을 통하여 각 감정의 범주로 분류한다. 본 논문에서는 이러한 얼굴 표정 인식 기술에 사용되는 표정 특징 추출 기법과 표정 분류 기법을 설명하고, 각 기법에서 많이 사용되고 있는 방법들을 간략히 정리한다. 또한 각 기법의 특징들을 나열하였다. 또한 실제적 응용을 위해서 고려해야할 사항들에 대하여 제시하였다. 얼굴 표정 인식 기술은 인간 중심의 human-machine 인터페이스를 제공할 뿐만 아니라 로봇 분야에서도 활용 가능할 것으로 전망한다.

• 디자인융복합연구
• /
• 제16권6호
• /
• pp.137-152
• /
• 2017

본 연구는 실버세대를 위한 컴패니언 로봇의 인터랙션 경험 디자인을 위해 사용자 태스크- 로봇 기능 적합도 매핑에 기반한 로봇 유형 분석과 멀티모달 대화 인터랙션에서의 로봇 감정표현 연구를 수행하였다. 노인의 니즈 분석을 위해 노인과 자원 봉사자를 대상으로 FGI, 에스노그래피를 진행하였으며 로봇 지원 기능과 엑추에이터 매칭을 통해 로봇 기능 조합 유형에 대한 분석을 하였다. 도출된 4가지 유형의 로봇 중 표정 기반 대화형 로봇 유형으로 프로토타이핑을 하였으며 에크만의 얼굴 움직임 부호화 시스템(Facial Action Coding System: FACS)을 기반으로 6가지 기본 감정에 대한 표정을 시각화하였다. 사용자 실험에서는 로봇이 전달하는 정보의 정서코드에 맞게 로봇의 표정이 변화할 때와 로봇이 인터랙션 사이클을 자발적으로 시작할 때 사용자의 인지와 정서에 미치는 영향을 이야기 회상 검사(Story Recall Test: STR)와 표정 감정 분석 소프트웨어 Emotion API로 검증하였다. 실험 결과, 정보의 정서코드에 맞는 로봇의 표정 변화 그룹이 회상 검사에서 상대적으로 높은 기억 회상률을 보였다. 한편 피험자의 표정 분석에서는 로봇의 감정 표현과 자발적인 인터랙션 시작이 피험자들에게 정서적으로 긍정적 영향을 주고 선호되는 것을 확인하였다.

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 2004년도 추계학술대회 학술발표 논문집 제14권 제2호
• /
• pp.309-312
• /
• 2004

본 논문에서는 인간과 로봇의 상호작용을 위해 감정에 기반한 감정 처리 모델을 설계하였다. 감정 재현 기술은 사용자에게 친근감을 주기 위해 로봇 시스템이 제스처, 표정을 통하여 사람이나 동물의 감성과 동작을 표현하는 분야이다. 로봇이 감정을 표현하는 문제에는 많은 심리학적, 해부학적, 공학적 문제가 관련된다. 여러가지 애매모호한 상황임에 불구하고 심리학자인 Ekman과 Friesen에 의해 사람의 여섯 가지 기본 표정이 놀람, 공포, 혐오, 행복감, 두려움, 슬픔은 문화에 영향을 받지 않고 공통적으로 인식되는 보편성을 가지고 있는 것으로 연구됐다. 사람의 행동에 대한 로봇의 반응이 학습되어 감정모델이 결정되고, 그 결과가 행동결정에 영향을 주어 로봇의 행동에 반영되도록 하였다. 본 논문에서는 인간과 로봇과의 상호작용을 통해 정보를 축적하고 인간의 반응에 적응해나 갈 수 있는 감정 처리 모델을 제안한다.

• 한국컴퓨터정보학회논문지
• /
• 제28권12호
• /
• pp.33-40
• /
• 2023

한국이 초고령사회로 진입하면서 노인 복지에 대한 필요성이 증가하고 있으나 현재 복지 인력 부족이 사회문제로 대두되고 있다. 이에 대한 해결책으로 노인의 사회적 고립감 완화와 위급 상황 시 비상 연락 등의 기능을 하는 노인 돌봄 로봇이 활발히 연구되고 있다. 하지만 이러한 기능들은 사용자의 접촉이 있어야만 작동하여 기존 노인 돌봄 로봇의 한계점으로 자리 잡고 있다. 본 논문에서는 기존의 문제를 해결하기 위해 상용화된 노인 돌봄 로봇과 카메라를 통해 직접적인 접촉 없이도 사용자와 상호작용할 수 있는 돌봄 로봇 시스템을 제안한다. 돌봄 로봇에 연결된 엣지 디바이스에 표정 인식 모델과 행동 인식 모델을 탑재하였고, 공공데이터를 통해 모델의 학습 및 성능검증을 진행했다. 실험 결과를 통해 표정 인식과 행동 인식의 성능이 각각 정확도 96.5%, 90.9%인 것을 확인할 수 있으며, 수행 시간의 경우에는 각각 50ms, 350ms인 것을 확인할 수 있다. 해당 결과는 제안한 시스템의 표정 및 행동 인식 정확도가 높고 추론 시간이 효율적임을 확인하며, 이는 비접촉 상황에서도 원활한 상호작용을 가능하게 한다.

• 한국콘텐츠학회논문지
• /
• 제15권2호
• /
• pp.74-85
• /
• 2015

타악기가 주는 긍정적인 효과가 우울증을 겪는 노인에게 자아 존중감의 증가 및 우울증의 감소를 유도할 수 있다는 사실을 바탕으로 음악 요법을 로봇에 접목하여 노인들이 음악을 직접 연주할 수 있게 하는 타악기 로봇의 콘텐츠가 개발되었다. 노인의 우울증 완화를 위한 음악치료 로봇의 콘텐츠로써, 노인과 로봇의 상호작용 요소가 도출되었다. 회상을 자극할 수 있는 노래가 선정되었고 노래의 연주에 따른 타악기의 타격에 대한 점수체계가 개발되었다. 또한 상호작용 요소 중 노인들의 감성적 자극요인이 될 수 있는 로봇 표정 요소가 디자인되었다. 표정은 무표정, 기쁨, 아주기쁨으로 구분되며 타악기의 연주 참여도에 따라 실시간으로 변화하여 적극적 참여를 유도하게 된다. 노인이 로봇에서 나오는 음악을 따라 연주하고 참여도의 정도에 따라 노인과 로봇이 상호작용할 수 있다면 단순한 음악 게임기가 아닌 우울증을 완화시킬 수 있는 로봇으로서의 효과가 극대화 될 수 있을 것으로 기대한다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2007년도 학술대회 1부
• /
• pp.1057-1062
• /
• 2007

얼굴표정 인식은 심리학 연구, 얼굴 애니메이션 합성, 로봇공학, HCI(Human Computer Interaction) 등 다양한 분야에서 중요성이 증가하고 있다. 얼굴표정은 사람의 감정 표현, 관심의 정도와 같은 사회적 상호작용에 있어서 중요한 정보를 제공한다. 얼굴표정 인식은 크게 정지영상을 이용한 방법과 동영상을 이용한 방법으로 나눌 수 있다. 정지영상을 이용할 경우에는 처리량이 적어 속도가 빠르다는 장점이 있지만 얼굴의 변화가 클 경우 매칭, 정합에 의한 인식이 어렵다는 단점이 있다. 동영상을 이용한 얼굴표정 인식 방법은 신경망, Optical Flow, HMM(Hidden Markov Models) 등의 방법을 이용하여 사용자의 표정 변화를 연속적으로 처리할 수 있어 실시간으로 컴퓨터와의 상호작용에 유용하다. 그러나 정지영상에 비해 처리량이 많고 학습이나 데이터베이스 구축을 위한 많은 데이터가 필요하다는 단점이 있다. 본 논문에서 제안하는 실시간 얼굴표정 인식 시스템은 얼굴영역 검출, 얼굴 특징 검출, 얼굴표정 분류, 아바타 제어의 네 가지 과정으로 구성된다. 웹캠을 통하여 입력된 얼굴영상에 대하여 정확한 얼굴영역을 검출하기 위하여 히스토그램 평활화와 참조 화이트(Reference White) 기법을 적용, HT 컬러모델과 PCA(Principle Component Analysis) 변환을 이용하여 얼굴영역을 검출한다. 검출된 얼굴영역에서 얼굴의 기하학적 정보를 이용하여 얼굴의 특징요소의 후보영역을 결정하고 각 특징점들에 대한 템플릿 매칭과 에지를 검출하여 얼굴표정 인식에 필요한 특징을 추출한다. 각각의 검출된 특징점들에 대하여 Optical Flow알고리즘을 적용한 움직임 정보로부터 특징 벡터를 획득한다. 이렇게 획득한 특징 벡터를 SVM(Support Vector Machine)을 이용하여 얼굴표정을 분류하였으며 추출된 얼굴의 특징에 의하여 인식된 얼굴표정을 아바타로 표현하였다.

• 한국전자통신학회논문지
• /
• 제17권6호
• /
• pp.1137-1144
• /
• 2022

본 연구에서는 감정을 표현하기 위한 표정 연습을 보조하는 인공지능을 개발하였다. 개발한 인공지능은 서술형 문장과 표정 이미지로 구성된 멀티모달 입력을 심층신경망에 사용하고 서술형 문장에서 예측되는 감정과 표정 이미지에서 예측되는 감정 사이의 유사도를 계산하여 출력하였다. 사용자는 서술형 문장으로 주어진 상황에 맞게 표정을 연습하고 인공지능은 서술형 문장과 사용자의 표정 사이의 유사도를 수치로 출력하여 피드백한다. 표정 이미지에서 감정을 예측하기 위해 ResNet34 구조를 사용하였으며 FER2013 공공데이터를 이용해 훈련하였다. 자연어인 서술형 문장에서 감정을 예측하기 위해 KoBERT 모델을 전이학습 하였으며 AIHub의 감정 분류를 위한 대화 음성 데이터 세트를 사용해 훈련하였다. 표정 이미지에서 감정을 예측하는 심층신경망은 65% 정확도를 달성하여 사람 수준의 감정 분류 능력을 보여주었다. 서술형 문장에서 감정을 예측하는 심층신경망은 90% 정확도를 달성하였다. 감정표현에 문제가 없는 일반인이 개발한 인공지능을 이용해 표정 연습 실험을 수행하여 개발한 인공지능의 성능을 검증하였다.

• 한국산업정보학회논문지
• /
• 제20권2호
• /
• pp.57-63
• /
• 2015

얼굴 표정인식 기술은 다른 감정인식기술에 비해 비접촉성, 비강제성, 편리성의 특징을 가지고 있다. 비전 기술을 심리로봇에 적용하기 위해서는 표정인식을 하기 전 단계에서 얼굴 영역을 정확하고 빠르게 추출할 수 있어야 한다. 본 논문에서는 성능이 향상된 얼굴영역 검출을 위해서 먼저 영상에서 YCbCr 피부색 색상 정보를 이용하여 배경을 제거하고 상태 기반 방법인 Haar-like Feature 방법을 이용하였다. 입력영상에 대하여 배경을 제거함으로써 처리속도가 향상된, 배경에 강건한 얼굴검출 결과를 얻을 수 있었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2019년도 추계학술대회
• /
• pp.128-130
• /
• 2019

최근 딥러닝의 급격한 발전과 함께 얼굴표정 인식(facial expression recognition) 기술이 상당한 진보를 이루었다. 얼굴표정 인식은 컴퓨터 비전 분야에서 지속적으로 관심을 받고 있으며, 인포테인먼트 시스템(Infotainment system), 인간-로봇 상호작용(human-robot interaction) 등 다양한 분야에서 활용되고 있다. 그럼에도 불구하고 얼굴표정 인식 분야는 학습 데이터의 부족, 얼굴 각도의 변화 또는 occlusion 등과 같은 많은 문제들이 존재한다. 본 논문은 얼굴표정 인식 분야에서의 위와 같은 고유한 문제들을 다룬 기술들을 포함하여 고전적인 기법부터 최신 기법에 대한 연구 동향을 제시한다.