• 한국컴퓨터그래픽스학회논문지
• /
• 제28권3호
• /
• pp.23-29
• /
• 2022

가상인간은 가상공간(가상 현실, 혼합 현실, 메타버스 등)에서 Unity와 같은 3D Engine 전용 모델링 도구로 구현된다. 실제 사람과 유사한 외모, 목소리, 표정이나 행동 등을 구현하기 위해 다양한 가상인간 모델링 도구가 도입되었고, 어느 정도 수준까지 인간과 의사소통이 가능한 가상인간을 구현할 수 있게 되었다. 하지만, 지금까지의 가상인간 의사소통 방식은 대부분 텍스트 혹은 스피치만을 사용하는 단일모달에 머물러 있다. 최근 AI 기술이 발전함에 따라 가상인간의 의사소통 방식은 과거 기계 중심의 텍스트 기반 시스템에서 인간 중심의 자연스러운 멀티모달 의사소통 방식으로 변화할 수 있게 되었다. 본 논문에서는 다양한 대화 데이터셋으로 미세조정한 인공신경망을 사용해 사용자와 자연스럽게 대화 할 수 있는 가상인간을 구현하고, 해당 가상인간이 생성하는 문장의 감정값을 분석하여 이에 맞는 표정을 발화 중에 나타내는 시스템을 구현하여 사용자와 가상인간 간의 실시간 멀티모달 대화가 가능하게 하였다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제29권4호
• /
• pp.1-6
• /
• 2023

메타버스 환경에서의 배경음악은 사용자의 몰입감을 증진시키기 위해 사용된다. 하지만 현재 대부분의 메타버스 환경에서는 사전에 매칭시킨 음원을 반복 재생하며, 이는 빠르게 변화하는 사용자의 상호작용 맥락에 어울리지 못해 사용자의 몰입감을 저해시키는 경향이 있다. 본 논문에서는 보다 몰입감 있는 메타버스 대화 경험을 구현하기 위해 1) 한국어 멀티모달 감정 데이터셋인 KEMDy20을 이용하여 발화로부터 감정을 추출하는 회귀 신경망을 구현하고 2) 음원에 arousal-valence 레벨이 태깅되어 있는 DEAM 데이터셋을 이용하여 발화 감정에 대응되는 음원을 선택하여 재생한 후 3) 아바타를 이용한 실시간 대화가 가능한 가상공간과 결합하여 몰입형 메타버스 환경에서 발화의 감정에 어울리는 배경음악을 실시간으로 재생하는 시스템을 구현하였다.

• 인지과학
• /
• 제21권1호
• /
• pp.157-175
• /
• 2010

의사소통에서 대화자 간 감정의 이해는 메시지의 내용만큼이나 중요하다. 비언어적 요소에 의해 감정에 관한 더 많은 정보가 전달되고 있기는 하지만, 텍스트에도 화자의 감정을 나타내는 언어적 표지가 다양하고 풍부하게 녹아들어 있다. 본 연구의 목적은 인간언어공학에 활용할 수 있는 감정 온톨로지를 구축할 수 있도록 그 구성요소를 분석하는 데 있다. 텍스트 기반 감정 처리 분야의 선행 연구가 감정을 분류하고, 각 감정의 서술적 어휘 목록을 작성하고, 이를 텍스트에서 검색함으로써, 추출된 감정의 정확도가 높지 않았다. 이에 비해, 본 연구에서 제안하는 감정 온톨로지는 다음과 같은 장점이 있다. 첫째, 감정 표현의 범주를 기술 대상과 방식에 따라 6개 범주로 분류하고, 이들 간 상호 대응관계를 설정함으로써, 멀티모달 환경에 적용할 수 있다. 둘째, 세분화된 감정을 분류할 수 있되, 감정 간 차별성을 가질 수 있도록 24개의 감정 명세를 선별하고, 더 섬세하게 감정을 분류할 수 있는 속성으로 강도와 극성을 설정하였다. 셋째, 텍스트에 나타난 감정 표현을 명시적으로 구분할 수 있도록, 경험자 기술 대상과 방식 언어적 자질에 관한 속성을 도입하였다. 넷째, 본 연구의 감정분류는 Plutchik의 분류와 호환성을 갖고 있으며, 언어적 요소의 기술에서 국제표준의 태그세트를 수용함으로써, 다국어 처리에 활용을 극대화할 수 있도록 고려했다.

• 정보과학회 논문지
• /
• 제44권12호
• /
• pp.1252-1257
• /
• 2017

대화에서 화자의 의도는 감정, 화행, 그리고 서술자로 표현될 수 있다. 따라서 사용자 질의에 정확하게 응답하기 위해서 대화 시스템은 발화에 내포된 감정, 화행, 그리고 서술자를 파악해야한다. 많은 이전 연구들은 감정, 화행, 서술자를 독립된 분류 문제로 다뤄왔다. 그러나 몇몇 연구에서는 감정, 화행, 서술자가 서로 연관되어 있음을 보였다. 본 논문에서는 Convolutional Neural Netowork를 이용하여 감정, 화행, 서술자를 동시에 분석하는 통합 모델을 제안한다. 제안 모델은 특정 추상화 계층과, 공유 추상화 계층으로 구성된다. 특정 추상화 계층에서는 감정, 화행, 서술자의 독립된 정보가 추출되고 공유 추상화 계층에서 독립된 정보들의 조합이 추상화된다. 학습 시 감정의 오류, 화행의 오류, 서술자의 오류는 부분적으로 역 전파 된다. 제안한 통합 모델은 실험에서 독립된 모델보다 좋은 성능(감정 +2%p, 화행 +11%p, 서술자 +3%)을 보였다.

• 한국콘텐츠학회논문지
• /
• 제19권9호
• /
• pp.81-91
• /
• 2019

최근 우리나라는 급격한 고령화와, 급격한 산업화로 인한 가족의 역할 약화로 고령자 부양 자체의 문제나 부양의 질적 하락과 같은 다양한 문제를 겪고 있다. 이 중 부양의 질적 측면에서 고령자의 정서 지지에 관한 문제가 주요한 이슈가 되고 있다. 이런 정서적 지지에 관한 문제는 다양한 물적 인적 지원을 통해 해결하는 것이 가장 좋은 해결책일 것이다. 그러나, 여러 가지 한계로 인해 자원의 효율적 이용 차원의 접근이 시도되고 있으며 그중 디지털 기술의 융합을 통한 지원 노력에 주목할 필요가 있다. 본 연구에서는 고령화 현상으로 인한 고령자 수발 인력난의 문제와 수발 서비스의 질적 하락 문제 중 정서 측면의 문제에 주목하고, 디지털 기술의 융합을 통해 정서 측면을 지원하기 위해 디지털 기술이 어떠한 형태로 접목되었는지 사례를 분석하였다. 그중 스마트 스피커를 통한 고령자 지원의 가능성을 확인하고 스마트 스피커를 통한 정서적 지원을 제안하였다. 또한 중년 고령자를 대상으로 스마트 스피커의 사용성 평가와 함께 인뎁스 인터뷰를 진행함으로써 중년 고령자의 정서 지지를 위한 스마트 스피커 대화체계 가이드라인을 제안하였다. 본 연구결과를 토대로 고령자의 정서 지지를 위한 스마트 스피커 개발 시 대화체계 디자인을 위한 기초자료가 될 수 있을 것으로 기대 된다.

• 감성과학
• /
• 제14권1호
• /
• pp.101-116
• /
• 2011

정서 컴퓨팅 분야는 인간과 컴퓨터 간 상호작용을 효과적이게 하기 위하여 사용자의 정서를 재인하는 컴퓨터 시스템을 개발했다. 본 연구의 목적은 심리학적 이론에 기반한 정서 재인 연구들을 고찰하고 보다 진보된 정서 재인 방법을 제안하고자 하였다. 본 연구의 본론에서는 심리학적 이론에 근거한 대표적인 정서 재인 방법을 고찰하였다. 첫째, Darwin 이론에 근거한 얼굴 표정 기반 정서 재인 방법을 고찰하였다. 둘째, James 이론에 근거한 생리신호기반 정서 재인 방법을 고찰하였다. 셋째, 앞의 두 이론에 통합적으로 근거한 다중 모달리티 기반 정서 재인 방법을 고찰하였다. 세 가지 방법들은 이론적 배경과 현재까지 이루어진 연구 결과들을 중심으로 고찰되었다. 결론에서는 선행 연구의 한계점을 종합하여 보다 진보된 정서 재인 방법을 제안하였다. 본 연구는 첫째, 현재 사용되고 있는 제한된 생리 신호에 대한 대안으로 다양한 생리 반응(예., 뇌 활동, 얼굴온도 등)을 정서 재인에 포함하도록 제안하였다. 둘째, 애매한 정서를 구분할 수 있도록 정서의 차원 개념에 기반한 정서 재인 방법을 제안하였다. 셋째, 정서 유발에 영향을 미치는 인지적 요소를 정서 재인에 포함하도록 제안하였다. 본 연구에서 제안한 정서 재인 방법은 다양한 생리 신호를 포함하고, 정서의 차원적 개념에 기반하며, 인지적 요소를 고려한 통합적인 모델이다.

• 한국엔터테인먼트산업학회논문지
• /
• 제13권8호
• /
• pp.167-180
• /
• 2019

본 연구는 오디오북 텍스트 형상화를 위해 유사언어를 활용하여 공감각적 음성 훈련 성과를 알아보려는 것에 그 목적이 있다. 훈련을 위한 오디오북 텍스트는 톨스토이의 <사람은 무엇으로 사는가> 작품을 이용하였고 음색, 톤, 포즈, 속도, 억양, 강세, 감정표현의 유사언어를 활용하였으며, H 도서관 시각장애인 교육생 10명을 연구 참여자로 선정해 질적 분석을 하였다. 본 연구에서 제기한 연구문제를 토대로 연구한 결과는 다음과 같다. 첫째, 오디오 북 텍스트 형상화를 위한 음성훈련에서 오감의 두 개 감각 이상이 동시에 작용하는 공감각적 음성 훈련은 화자에게 텍스트가 갖고 있는 본래의 목적과 의미, 배경 등의 시각화를 형상화하면서 결과물을 창출하였다. 둘째, 유사언어의 활용은 오디오북 텍스트 형상화를 위한 문장과 대사의 의미 전달을 표현하는 전 과정에서 도움이 되었다. 또한 연구대상자마다 조금의 차이는 있었지만 톤, 포즈, 억양이 중요하다고 생각하는 공통점을 발견할 수 있었다. 셋째, 시각장애인은 감각적인 면과 기억력이 발달되어 있어 훈련과정에서 대사 습득과 전달 수용정도가 빨랐다. 또한 훈련과정에서 교사의 우호적 행동이 매우 중요한 핵심적 매개 작용을 하면서 이들의 적극적인 참여로 많은 발전을 하여 훌륭한 결과를 도출하였다.

• 지능정보연구
• /
• 제19권4호
• /
• pp.81-96
• /
• 2013

웹의 발전과 콘텐츠 산업의 팽창으로 비디오 데이터가 폭발적으로 증가함에 따라 데이터의 정보 검색은 매우 중요한 문제가 되었다. 그동안 비디오 데이터의 정보 검색과 브라우징을 위해 비디오의 프레임(frame)이나 숏(shot)으로부터 색채(color)와 질감(texture), 모양(shape)과 같은 시각적 특징(features)들을 추출하여 비디오의 내용을 표현하고 유사도를 측정하는 내용 기반(content-based)방식의 비디오 분석이 주를 이루었다. 영화는 하위 레벨의 시청각적 정보와 상위 레벨의 스토리 정보를 포함하고 있다. 저차원의 시각적 특징을 통해 내용을 표현하는 내용 기반 분석을 영화에 적용할 경우 내용 기반 분석과 인간이 인지하는 영화의 내용 사이에는 의미적 격차(semantic gap)가 발생한다. 왜냐하면 영화의 스토리는 시간의 진행에 따라 그 내용이 변하고, 관점에 따라 주관적 해석이 가능한 고차원의 의미정보이기 때문이다. 따라서 스토리 차원의 정보 검색을 위해서는 스토리를 모델링하는 정형화된 모형이 필요하다. 최근 들어 소셜 네트워크 개념을 활용한 스토리 기반의 비디오 분석 방법들이 등장하고 있다. 그러나 영화 속 등장인물들의 소셜 네트워크를 통해 스토리를 표현하는 이 방법들은 몇 가지 문제점들을 드러내고 있다. 첫째, 등장인물들의 관계에만 초점이 맞추어져 있으며, 스토리 진행에 따른 등장인물들의 관계 변화를 역동적으로 표현하지 못한다. 둘째, 등장인물의 정체성과 심리상태를 보여주는 감정(emotion)과 같은 심층적 정보를 간과하고 있다. 셋째, 등장인물 이외에 스토리를 구성하는 사건과 배경에 대한 정보들을 반영하지 못하고 있다. 따라서 본 연구는 기존의 스토리 기반의 비디오 분석 방법들의 한계를 살펴보고, 문제 해결을 위해 문학 이론에서 제시하고 있는 서사 구조에 근거하여 스토리 모델링에 필요한 요소들을 인물, 배경, 사건의 세 가지 측면에서 제시하고자 한다.