Automatic Adaptation Based Metaverse Virtual Human Interaction

자동 적응 기반 메타버스 가상 휴먼 상호작용 기법

Recently, virtual human has been widely used in various fields such as education, training, information guide. In addition, it is expected to be applied to services that interact with remote users in metaverse. In this paper, we propose a novel method to make a virtual human' interaction to perceive the user's surroundings. We use the editing authoring tool to apply user's interaction for providing the virtual human's response. The virtual human can recognize users' situations based on fuzzy, present optimal response to users. With our interaction method by context awareness to address our paper, the virtual human can provide interaction suitable for the surrounding environment based on automatic adaptation.

최근 가상 휴먼은 국방, 의료, 산업, 유통, 문화, 엔터테인먼트 등 다양한 서비스 분야에서 교육, 훈련 정보 가이드, 홍보 전시 등 널리 활용되고 있다. 또한, 가상 휴먼을 통해 원격지에 접속한 사용자와 상호작용하기 위한 메타버스 서비스가 급속히 확대 적용될 것으로 전망하고 있다. 메타버스 환경 안에서 가상 휴먼(혹은 아바타)을 이용한 상호작용은 참여자가 현실 세계의 실제 친구와 대화하는 것처럼 자연스럽게 소통하는 방식으로 운용이 되고, 이를 위해서는 사용자의 음성, 동작, 감정 등 다양한 입력을 기반으로 반응하는 가상 휴먼 상호작용 매핑 관계를 제작하여야 한다. 또한, 현실 세계의 변화에 동작하는 가상 휴먼의 경우 현실의 환경에 기반한 상호작용 동작이 되도록 지원하여야 한다. 하지만, 기존 가상 휴먼 상호작용 방법은 미리 정해진 반응형 패턴을 제작하기 위해 수작업으로 동작 결과를 프로그래밍하여 구현되었다. 이러한 방법은 개발 기간이 상대적으로 많이 소요되고, 상호작용 수정이 쉽게 변경하지 못하는 단점이 있다. 또한, 실제 주변 환경의 영향에 의해 반응적으로 동작하는 상호작용을 지원하기가 어렵다고 할 수 있다. 본 논문에서는 가상 휴먼의 직관적인 상호작용을 위해 음성, 동작, 감정 등 사용자의 멀티모달 입력과 주변 환경에 대한 반응하는 가상 휴먼 제작 방법을 제시한다. 이를 위한 가상 휴먼 상호작용 저작도구를 통해 쉽고 빠르게 사용자와 반응하는 가상 휴먼의 표현을 생성하고, 가상 휴먼이 자동 적응 기반으로 사용자 입력 및 주변 환경에 변화에 동작할 수 있도록 하였다.