A study on the Metaverse based memorial service platform

Abstract

우리나라의 제사 문화는 코로나(COVID-19)로 왕래 및 접촉이 제한적이다. 또한, 우리나라의 제사 문화는 직접 만나 고인을 추모한다. 본 논문에서는 메타버스(Metaverse) 기술을 적용해 사이버 세상(가상현실)에서 고인을 추모하고 제사 의식할 수 있는 비대면 메타버스 추모관 플랫폼 서비스를 제안한다. 연구에서는 제안하는 서비스는 고인의 일대기를 전시하는 회상관, 고인에 제사를 지내는 제사관, 고인의 유품과 유언장을 확인하는 고인 관을 구성했다. 또한, 가상현실장치(HMD:Head Mounted Display)는 어지러움을 최소화하기 위해 Teleportation, 콘텐츠 해상도를 4K로 했다. 특히, 제사관은 상호작용(interaction) 기술을 적용해 가족 간에 제사하는 실감형 서비스를 제공하도록 했다. 연구된 추모관 메타버스 서비스는 누구나 대면 형태가 아닌 비대면 상태에서 가족 단위로 고인을 추모하는 메타버스 기반의 플랫폼 서비스이다.

Korea's ancestral culture has limited travel and contact due to Corona (COVID-19). In addition, Korean ancestral culture meets in person to commemorate the deceased. In this paper, we propose a non-face-to-face metaverse memorial platform service that can commemorate the deceased and perform ancestral rites in the cyber world (virtual reality) by applying the metaverse technology. The services proposed in the study consisted of a remembrance hall that displays the life story of the deceased, a ancestral hall that conducts ancestral rites for the deceased, and a deceased pavilion that checks the remains and wills of the deceased. In addition, the virtual reality device (HMD: Head Mounted Display) set the teleportation and content resolution to 4K to minimize dizziness. In particular, the priests applied interaction technology to provide an immersive service for ancestral rites between family members. The researched memorial hall metaverse service is a metaverse-based platform service that allows anyone to commemorate the deceased as a family unit in a non-face-to-face state rather than face-to-face.

I. Introduction

우리는 살면서 자서전(自敍傳)을 통해서 자신의 살아온 일대기를 흔적을 남기고자 하고, 누군가로부터 기억에 남 기를 원한다. 또한, 4차 산업혁명 시대에 IT 기술을 이용 한 디지털화된 문서로 자서전을 만들기도 하고 기록한다 [1]. 본 연구에는 현실 세상(Real-World)과 가상세계 (Virtual world)를 융합한 메타버스(Metaverse) 기술을 적용해 영원히 죽지 않고, 가상 세상에서 제2의 삶을 살 수 있도록 체감형 기술을 적용한 추모관 플랫폼 서비스를 연구했다. 또한, 고인과 메타버스 세상에서 다시 만나 소 통할 수 있는 서비스를 연구했다. 2장에서는 본 연구에서 이용된 관련 기술 및 현황 연구를 3장에서는 제안하는 메 타버스 추모관의 구성요소 및 제작 방법을 4장에서는 개발 과정과 5장에서는 결론으로 연구를 마무리한다. 메타버스 기술은 아직 혁신적 앱(Killer app) 콘텐츠가 없는 실정이 다. 대부분이 실험과 간단한 콘텐츠 앱 정도이고, 실 세계 를 그대로 가상세계로 접목하는 디지털 트윈(Digital Twin)기술은 연구 중이다.

II. Preliminaries

2. Related Works

2.1 Digital Twin

현실 세계를 가상세계로 표현하는 디지털 트윈(digital twin)은 미국 제너럴 일렉트릭(GE)이 제안한 것이다[2]. 디 지털트윈은 현실 속 사물의 복사본을 만들고, 현실 세상에 서 발생할 수 있는 현상을 PC로 시뮬레이션해 봄으로써 예측하는 기술이다. 현재, 가상 세상과 실-세상이 연동되 는 기술까지 연구 중이고 이것이 메타버스 기술이다. 메타 버스 기술과 유사한 디지털 트윈은 제조 및 다양한 산업 분야의 문제를 해결할 수 있는 기술이라고도 한다. 디지털 트윈은 하드웨어 시스템의 구조 및 소프트웨어의 동작을 나타내는 데이터와 정보의 조합으로 구성된다. 다시 말해 실-세상의 현상을 분석하고 미래를 예측할 수 있는 인터페 이스라고 할 수 있다. 그림1은 디지털트윈과 메타버스 서 비스의 관계를 도식화한 것이다. 디지털트윈의 개념과 메 티버스서비스는 매우 유사한 형태로 구성되는데 현실 세 계를 시뮬레이션(simulation)이 아닌 에뮬레이션 (emulation)형태로 진행되고 현실 세계와 상호작용까지 확장 가능한 플랫폼 서비스이다[3].

Fig. 1. Digital Twin and Metaverse Service

2.2 Metaverse

메타버스(Metaverse)는 가상 및 초월을 뜻하는 '메타 '(meta)와 세계 및 우주를 뜻하는 '유니버스'(universe)를 합성어이다. '가상 우주'라고 해석하기도 했다. 어원은 1992년 출간된 닐 스티븐슨의 소설 '스노크래시'에서 사용 됐다[4]. 메타버스는 3차원 공간에서 현실 생활과 법적 활 동 등이 금융, 직업 및 학습이 연결된 가상의 세계를 뜻한 다. 또한, 가상현실, 증강현실의 개념으로서, 현실을 디지 털 기반의 세계로 확장해 가상의 공간에서 활동하는 시스 템이다. 정치와 경제, 사회, 문화의 전반적 측면에서 현실 과 비현실이 공존하는 생활형, 게임형 가상세계라는 의미 사용하기도 한다[5].

그림 2는 메타버스의 개념을 도식화한 것으로 Meta의 뜻과 Universe의 합성어로 메타버스를 정의하고 있다. 본 연구에서는 추모관 서비스에 아바타를 생성하고 고인이 되기 전 360도 촬영을 통해 고인 정보를 수집 후 3D 고인 아바타를 제작했다.

Fig. 2. Concept of Metaverse

그림 3은 추모관에서 사용할 고인이 되기 전 360 포토 스캔너를 통해서 3차원 아바타를 수집하는 과정이다. 총 95대의 HD급 촬영 장비를 통해서 실시간을 정보를 수집 하고 전문도구(AgiSoft)를 통해서 아바타를 만들어낸다.

Fig. 3. 360 degree Photo Scan of Avatar

2.3 Virtual Memorial Sevice

코로나-19로 인해 대면보다는 줌(zoom)과 같은 화상회 의 시스템을 이용한 비대면으로 소통하고 대화는 현상이 늘어가고 있다. 비대면 공간에서 대면과 같은 분위기를 조 정하기 위한 기술로 가상현실(Virtual Reality) 기술을 적 용하고 있다[6]. 또한, IT 기술을 융합해 가상현실에서 고 인(故人)을 추모할 수 있는 기술에 대한 관심이 부각되고 있다. 한국 문화는 다양한 종교(유교,불교, 기독교, 천주교 등)를 가지고 있지만 대부분 종교와 상관없이 고인(조상) 에 대한 추모가 대부분 한다. 하지만 비대면으로 인한 사 람 간의 모임이 제약이 있고, 추모공원마저 코로나로 인해 개방하지 않는 대신 비대면 추모관을 디스플레이 하는 방 식으로 가상의 성묘나 추모를 진행한다[7]. 한국장례문화 진흥원에서는 추석 연휴 623개의 국내 장사시설에서 온라 인 성묘·추모 서비스를 제공했다. 유족은 직접 고인에 대 한 온라인 추모관을 만들고, 차례상·분향·헌화·사진첩 등의 기능을 이용해 각각 추모했다[8].

그림 4는 별다락(Star Attic)에서 제안한 사이버 조문 및 추모관 서비스로 3D 공간으로 만든 추모관이다. 별다 락은 3D 형태로 뷰잉모드(Viewing Mode)를 제공하고 있 으며, 유품실, 고인의 애장품 실 등을 전시하고 있다. 주요 목적으로 가상현실 조문 관은 장례식에서 비대면 온라인 으로 장례 기간 중 어느 때든 조문할 수 있도록 부고 문자 와 함께 제공된다고 한다[9]. 하지만 본 연구에서 제안하는 방법인 실감형 콘텐츠를 적용한 체감형 추모관은 제공하 도록 하고, 멀티접속을 통해 가족 간의 대화를 한다. 또한, 제사 관은 가족과 함께 제사를 지낼 수 있도록 상호작용 기술을 포함하고 있다. 또한, 고인이 된 분과 가상세계에 서 만나서 게임을 즐길 수 있도록 고인과 만남을 제공할 수 있다[9].

Fig. 4. Virtual memorial of "Star Attic"

2.4 How to solve the dizziness of virtual devices

가상현실을 보는 장치는 고질적인 어지러움을 가지고 있어, 사용자의 접근성이 낮은 상태이다. 그림5는 어지러 움이 발생하는 이유와 해결책을 제시한 것이다. 어지러움 의 문제는 사람의 수평을 관장하는 이석이 눈으로 들어오 는 영상과 몸 움직임에 대한 불일치로 대부분이 발생하고 있다. 이를 해결하기 위해 쓰레드밀(Threadmills)과 같은 장치를 사용해서 최소화하고 있다. 또한, 가상현실장치의 디스플레이와 3d 입체 콘텐츠를 볼 때 수렴의 문제가 있 다. 이러한 문제를 해결하기 위해서는 고해상도의 디스플 레이 장치를 사용해야 한다. 현재, 출시된 가상현실장치는 2.6K(3264 x 1632) 수준의 해상도를 가지고 있다. 향후 4K(3840 x 2160), 8K, 11K 이상을 지원하는 가상현실 장 치를 사용할 경우 어지러움이 최소화된다.

Fig. 5. 360 degree Photo Scan of Avatar

III. The Proposed Scheme

본 절에서는 연구된 메타버스 추모관 시스템의 구성 및 제작과정에 대하여 제시한다. 그림 6는 본 연구에서 제안 하는 체감형 메타버스형 추모관 구성이다.

Fig. 6. The propose of Metaverse Memorial Hall

추모관 사용자인 유가족이 가상현실 서비스에 HMD를 통해서 추모관에 입장한다. 추모관은 3D모델링으로 제작된 각종 소품, 아바타, 고인의 전신스캔 모델을 기반으로 배치되었다. 추모공간에 입장하면 회상관, 제사관, 고인관 (유품)을 체험한다. 그림 7은 추모관 서비스를 참여하는 절 차이다. (1) Intro : 유가족의 마음을 달 낼 수 있도록 효과 음을 삽입. (2) User Login : 멀티접속을 위한 유가족(사 용자) 구분, (3) Select Avatar : 유가족 자신의 아바타를 선택(여자, 남자, 어린이, 성인), (4) Memorial Space: 고 인의 과거(회상관), 현재(제사관), 미래(고인관-유언장)를 체험한다. 과정별 세부내용은 다음절에 설명한다.

Fig. 7. The Process of Memorial Service

3.1 Intro and Users login

메타버스 추모관 플랫폼 서비스는 인트로(intro) 영상 및 가족(유가족) 멀티접속을 위한 로그인(이름) 기능을 제공한 다. 최초 들어가며 영상은 고인에 대한 만남의 우울함을 최 소화하기 위해 실감형 효과 영상 및 음향을 넣어 간결하게 마무리했다. 본 연구는 기존 서비스와 다르게 음성 대화 기 능과 멀티접속기술을 적용해 가족 간의 대화 서비스를 지원 한다. 유가족(사용자)이 본 서비스에 접속시 사용자의 이름 을 입력하며, 최대 인원 20명까지 동시 접속하도록 설계했 다. 멀티접속을 지원하기 위해 3차원객체의 움직임을 실시 간으로 공유하는 기술인 PUN(Photon Unity Network) 서 버로 구축했다[10]. 그림 8은 포톤 서버와 멀티접속 로그인 기능을 구현한 것으로 유가족의 이름 입력을 통해서 사용자 를 구분한다. 유가족(사용자)의 이름을 가상공간에서 입력 할 수 있도록 Virtual Keyboard를 개발했다[11].

Fig. 8. multi-connect to Metaverse Service

그림8의 오른쪽은 Photon Server를 이용해 멀티접속 과 음성 대화를 지원하는 서비스로 추모공간에 접속하기 위한 ID(사용자 이름)만을 입력해 접속을 진행한다. 현재 최대 20인까지 동시 접속한다. 향후 서버가 증설된다면 더 많은 그룹에서 여러 사람이 동시 접속할 수 있다.

3.2 Avatar service for Memorial Hall

추모관 아바타 서비스는 실감형 콘텐츠를 활용한 서비스 로 가족 구성원에 해당하는 캐릭터를 선택할 수 있도록 남자, 여자, 성인, 청소년을 구분해서 선택하도록 했다[그림9].

Fig. 9. Avatar Selection Service

또한, 고인에 대한 3D 영정 스캔을 위해 고인이 되기전 스캔을 했으며, 추모관의 고인관에 배치를 했다[12].

Fig. 10. Editing Avatar of Dead Person

기존 방법은 전문 3D 제작 도구를 이용해 인체 모델링 으로 제작을 했다면 본 연구에서는 360도 포토스케너를 통해서 인체모델을 완성했다. 360도 포토 스캐너는 95대 의 HD급 카메라를 통해 전신 스캔 후 3D로 변환했다. 그 림10은 Agisoft Photoscan tool를 사용해 후 작업을 진 행한 것이다[13].

그림11은 360도 포토스케너를 통한 고인 영정을 3차원 상에서 수집한 3차원 아바타를 Maya Tools을 사용해 메트리얼(material) 및 쉐이딩(shading) 작업한 것이다. 또 한 고인에 대한 움직임 (유언장낭독, 제사관 입장) Bone 작업을 진행했다. 또한, 고인에 대한 직접 스캔작업이 어 려우면 3D 모델 얼굴 아바타에 2D 형태의 사진을 직접 쉐 이딩 작업으로 제작할 수 있다.

Fig. 11. Dead person editing of the Maya

3.3 3D Space design for Memorial Hall

추모관 3d 공간디자인은 그림12와 같이 (a)로비 (Lobby), (b)회상관(Recall hall), (c)제사관(Priest Hall), (d)고인관(Dead person Hall)으로 구성했다. (a)로비는 유 가족이 자신의 이름을 입력하고 입장하는 곳이다. (b)회상 관은 고인이 되신 분의 태어나서 죽을때 까지 전 과정을 멀티미디어 적인 요소를 접목해서 가상현실 세계로 구현했 다. (c)제사관은 고인을 대상으로 가족이 모여 제사를 지내 는 것으로 최대 10명까지 함께 같은 공간에 입장할 수 있 으며, 지역을 특색에 맞도록 제사음식을 배치하고 제사를 지내는 곳이다. (d)고인관은 고인에 대한 유품 감상하고 만 져 볼 수 있으며, 미리 녹취된 유언장을 청취하는 곳이다.

Fig. 12. Space design of the memorial hall

특히, 그림13에서 제사관의 경우 제사에 필요한 음식 및 제사용품은 지역에 특색에 맞도록 새롭게 배치할 수 있 도록 했으며, 유가족이 상호작용을 통해 체험할 수 있다.

Fig. 13. Ancestral rites Interaction

그림 13은 제사관에서 유가족과 제사를 진행하는 과정 을 도식화한 것으로 술잔 및 술병에 대한 인터렉션 기술을 적용했다. 인터렉션 기술은 VR 장비, 유니티 엔진, XR Interaction Toolkit Package(Software Development Kit)와 같은 3개의 요소가 필요하다.

표1은 가상현실 장치의 컨트롤러와 프로그램을 통해 제어 하는 과정이다. 특히 XR interaction Toolkit 설치는 [Window > Package Manager > Advanced > Show preview packages]와 같은 과정이 필요하고, XR Plugin Management 설정은 [Edit > Project Settings > XR Plugin Management] 과정이 필요하다. HMD 장치의 오른 쪽 컨트롤러와 왼쪽 컨트롤러의 제어를 위해 Camera Offset GameObject의 상속으로 Left Hand, Right Hand GameObject를 생성한다. 또한, Input Devices 가져오기 서비스 진행했다[14]. 표2는 제사관에서 사용한 인터렉션 기 술을 적용한 제사용품이다. 과일, 한국의 국 등 콘텐츠이며, 모델링을 통해 설계 및 디자인, 쉐이딩을 거쳐 제작되었다.

Table 1. Oculus Quest 2 Input Device Recognition

Table 2. Consist of contents of memorial hall

3.4 User Multi-Connection Network

연구한 메타버스 추모관은 사용자(가족)가 동시에 접속 하기 위한 기술로 Open-Source로 제공하는 Photon Server를 사용했다. 멀티접속을 지원하는 포톤사이트에서 PUN 키 발급받고, Unity 연결을 통한 서버 구축을 했다.

또한, unity 내부 Scene 기본설정 및 환경 구현, NetworkManager.cs 생성 및 Unity 내부 GameObject 연동, NetworkPlayer 오브젝트 Sphere 추가 연동 및 Resources Prefab 변환, NetworkPlayer Prefab Photon View 컴포넌트 구성했다. 최대 다자간 서버 연동 을 위해 멀티유저 환경을 구축했다.

그림 14는 멀티 지원을 통해 Photon 서버에 접속하기 위한 절차로 (1) 사용자를 구분하기 위한 Name Server와 (2) 멀티접속을 위한 서버 및 (3) 객체를 배포하는 Game Server로 구분된다.

Fig. 14. Connect to Multi-User Server Flow

Fig. 15. Implementation of Multi-User Server

그림 14은 멀티유저 서버에 접속을 추모관을 이용해서 구현한 것으로 사용자의 입력을 받기 위한 가상키보드 UI 인터페이스를 구현했고 접속된 사용자와 음성 대화를 통 해서 소통할 수 있다. 추모관 내부의 음성 대화 범위는 3M-5M 범위로 설정했다. 대화의 범위는 실 세계에서 대 화하는 범위와 유사하게 동작하며, 멀어지면 점점 더 소리 는 작아진다. 범위는 유동적으로 조절하고 특정 사용자의 소리를 막을 수 있다.

IV. Implementation

개발환경은 표3와 같이 Windows10 기반의 Unity 2019에서 진행했으며, Maya 및 Blender에서 3D모델링을 통해서 3D 추모관 객체를 제작했다.

Table 3. Development environment

표4은 추모관 구성요소이며 사용자로그인->캐릭터선택 -> 공간내부->고인관->제사관->영상관 등으로 구성되고 어지러움 및 착용의 부담을 최소하기 위해 Teleportation 기능과 이동기능을 동시에 구성했다.

Table 4. Memorial Hall Components

연구에서 구현된 추모관은 영상관, 고인관, 제사관으로 구성되어 있고 제사 관의 경우 가족 간에 제사를 참여해 의식을 치를 수 있도록 구성했다. 이러한 기능은 인터렉션 기술 기반의 협업식 활동을 할 수 있다. 또한, 고인 관의 경우 살아생전 고인에 대한 360도 촬영을 통해서 3D 모듈 화했으며, AgiSoft를 통해서 보정작업을 진행했다. 제작된 고인 3D 영정 오브젝트는 게임엔진인 유니티를 통해서 제 작되었고 가상현실 장치인 오큘러스 퀘스트2에서 직접 확 인했다.

V. Conclusions

코로나 19로 인한 사회적 거리두기의 강화로 대면 활동 이 점점 더 위축되고 없어지는 실정에서 우리나라와 같은 조상을 숭배하고 모임이 많은 현실에서 4차 산업혁명의 기 술중 메타버스 기술을 융합한 기술이 필요하다. 또한, 체 감형(실감형) 기술을 접목한 비대면에서 현실 세계와 같은 효과를 확인하는 솔루션이 필요한 실정이다. 이에 본 논문 에서는 코로나로 인한 비대면 상태가 지속하면서 가족 간 의 왕래가 없어지는 상황을 고려해 메타버스 환경(가상현 실)에서 고인이 되신 분을 추모할 수 있는 솔루션을 연구 했다. 연구한 서비스는 고인의 일대기를 전시하는 회상관, 고인에 제사를 지내는 제사 관, 고인의 유품과 유언장을 확인하는 고인 관으로 구성했다. 이로써 누구나 쉽게 사이 버 공간에서 여러 사람이 동시 접속하고, 서로 이야기를 나누며, 제사를 함께할 수 있는 솔루션이다. 또한, 멀티접 속을 위한 서버로 Photon Open API를 이용해 유니티 환 경으로 구현했다. 음성 대화 및 최대 10명까지 접속하고, 음성 대화 범위는 3M 안의 범위에서 동작하도록 구현했으 며 대화 상태가 멀어지면 점점 더 소리의 세기가 점점 더 작아지도록 해 현실 세계와 유사하게 구현했다. 본 연구로 기존 논문의 대부분 PC와 연결된 유선 형태로 제작된 콘 텐츠를 무선형태의 HMD로 제작했으며, 특히 추모관에서 제사관의 경우 인터렉션 기술을 적용한 가족 간의 소통을 위주로 연구됐다는 부분에서 우수성을 제시했다. 향후 연 구 과제로 WebGL과 유니티 WebXR를 활용한 웹 퍼블리 쉬 기능을 이용해 웹 상태에서 누구나 쉽게 접속하도록 구 현할 필요가 있다.