Augmented reality based virtual humans for remote guide

증강현실 가상 휴먼 기반 원격지 가이드 상호작용 기술 개발

Failure situations occur frequently in the industry, and the existing 2D-based manual for this purpose is not intuitive to understand and it is difficult to immediately interact with maintenance experts. In this paper, we propose a technology that enables workers to perform maintenance in real time with the help of experts without restrictions in time and place based on augmented reality when a failure situation occurs at a remote location. A local virtual human-based expert diagnoses a failure situation based on an adapted panoramic image of a remote failure situation while wearing an HMD headset, and gives instructions to a remote operator. In addition, in an augmented reality (AR) environment in a remote location, for the interaction between the operator and the expert, the HMD's microphone is used to create the expert's hand as well as verbal communication. You can use to point or draw a picture. If this technology is used, it is possible to overcome the limitations of the existing 2D-based manual, and to provide assistance in performing maintenance smoothly remotely even if an expert does not directly visit a remote location.

산업체에서 고장 상황이 빈번히 일어나고 이를 위한 기존의 2D 기반 기반의 매뉴얼은 이해가 직관적이지 않고, 유지보수 전문가와 즉각적인 상호작용이 어렵다. 본 논문에서는 원격지에 고장 상황이 발생하였을 때 증강현실을 기반으로 작업자들이 시간과 장소에 제약 없이 실시간으로 전문가의 도움을 받아 유지보수 할 수 있는 기술을 제안한다. 로컬의 가상휴먼 기반 전문가는 HMD 헤드셋을 착용한 상태로 원격지 고장 상황의 적응화 된 파노라마 영상을 기반으로 고장 상황을 진단하고, 원격지의 작업자에게 지시를 내린다. 또한 원격지의 증강현실(AR) 환경에서는 작업자와 전문가의 상호작용을 위해 HMD의 마이크를 이용하여 언어적 소통뿐만 아니라 전문가의 손을 가상으로 생성하고, 가상 손을 사용하여 전문가는 실제 개체에 레이저 포인터를 이용하여 가르키거나, 그림을 그릴 수 있다. 본 기술을 이용한다면 기존의 2D 기반의 매뉴얼의 한계를 극복할 수 있으며 원격지에 전문가가 직접 방문하지 않더라고 원격에서 유지보수를 원활하게 진행하는데 도움을 제공할 수 있다.