디지털 휴먼 컨텐츠 생성 시스템의 설계

The Design of Digital Human Content Creation System

Abstract

본 논문에서는 디지털 휴먼 컨텐츠 생성 시스템을 제안한다. 디지털 휴먼 컨텐츠 생성 시스템은 전신 스케닝을 통해 3D AI 모델링 작업을 하고, 3D 모델링 후처리와 텍스쳐링, 리깅 작업으로 제작된다. 이를 가상현실 컨텐츠 정보와 결합함으로써 가상현실 내에서 가상 모델의 자연스러운 동작이 이뤄질 수 있고, 하나의 시스템에서 효율적으로 디지털 휴먼 컨텐츠를 생성할 수 있다. 따라서 자원을 최소화하는 가상현실 기반의 디지털 휴먼 컨텐츠 생성이 가능하도록 하는 효과가 있다. 또한 사람에 의한 3D 모델링 및 텍스쳐링 작업은 전처리 과정을 필요로 하지 않는 자동화된 전처리 공정을 제공하며, 다양한 디지털 휴먼 컨텐츠를 효율적으로 관리하는 기술을 제공고자 한다. 특히 가상 모델을 구성하기 위한 3D 모델링 및 텍스쳐링 등의 전처리 공정은 인공지능에 의해 자동으로 수행되도록 함으로써 신속하고 효율적인 가상 모델 구성이 이뤄질 수 있다는 장점이 있다. 또한 시그니처 모션을 통해 디지털 휴먼 컨텐츠 구성 및 관리가 용이하게 이뤄질 수 있다는 장점이 있다.

In this paper, we propose a digital human content creation system. The digital human content creation system works with 3D AI modeling through whole-body scanning, and is produced with 3D modeling post-processing, texturing, rigging. By combining this with virtual reality(VR) content information, natural motion of the virtual model can be achieved in virtual reality, and digital human content can be efficiently created in one system. Therefore, there is an effect of enabling the creation of virtual reality-based digital human content that minimizes resources. In addition, it is intended to provide an automated pre-processing process that does not require a pre-processing process for 3D modeling and texturing by humans, and to provide a technology for efficiently managing various digital human contents. In particular, since the pre-processing process such as 3D modeling and texturing to construct a virtual model are automatically performed by artificial intelligence, so it has the advantage that rapid and efficient virtual model configuration can be achieved. In addition, it has the advantage of being able to easily organize and manage digital human contents through signature motion.

1. 서론

코로나 등 전세계적인 감염병의 확산으로 인해, 교육, 회의, 전시회 및 대회 등에서 온라인 및 비대면 환경에 대한 요구가 증가되고 있으며, 이에 관한 연구나 수요도 급증하고 있는 실정이다[1, 2].

다양한 컨텐츠를 비대면으로 제공하는 것에 대한 많은 연구가 이루어지고, 가상현실과 함께 증강현실은 그 필요성과 중요성이 점점 더 커져가고 있다[3].

종래 기술은 주로 특정 컨텐츠를 대상으로 하고 사용자에게 일방적인 컨텐츠를 전달하는데 그치고 있으므로 가상현실을 기반으로 하되 사용자의 다양한 참여가 가능하도록 하는 기술로 디지털 휴먼을 생성하고 이를 활용하는 기술이 주목받고 있다[4, 5].

본 논문에서는 디지털 휴먼 컨텐츠 생성 시스템을 설계해서 이를 이용한 디지털 휴먼 컨텐츠 생성 방법이다. 미리 설정된 가상 모델 구성 방법에 기초하여 구성된 가상 모델과 미리 수집된 모션 정보를 매칭하여 디지털 휴먼[6] 정보를 생성하고, 이를 가상현실 컨텐츠 정보와 결합함으로써 가상현실 내에서 가상 모델의 자연스러운 동작이 이루어질 수 있고 하나의 시스템에서 효율적으로 디지털 휴먼 컨텐츠를 생성할 수 있도록 하는 디지털 휴먼 컨텐츠 생성 시스템을 설계하고자 한다.

본 논문은 2장에서 선행 연구에 대해 소개하고, 3장에서는 디지털 휴먼 컨텐츠 생성 시스템 구성도를 설명하고, 4장에서는 디지털 휴먼 컨텐츠 생성 방법을 설명하고, 5장에서 실제 디지털 휴먼 컨텐츠 제작을 설명하고, 6장에서 결론을 제시한다.

2. 선행 연구

스마트 팩토리를 위한 클라우드 지능형 예측 기반 생산 자동화 시스템 및 방법은 그림 1과 같다.

그림 1. 디지털 휴먼 영상 형성을 위한 전자 장치 및 방법과 그를 수행하도록 컴퓨터 판독 가능한 기록 매체에 저장된 프로그램[7]

Fig. 1. Electronic apparatus and method for digital human image formation and program stored in computer readable medium performing the same[7]

그림 1에서 보면 디지털 휴먼 영상 형성을 위한 전자 장치 및 방법과 그를 수행하도록 컴퓨터 판독 가능한 기록 매체에 저장된 프로그램이 제공된다. 디지털 휴먼 영상 형성을 위한 전자 장치는 대상체의 이미지를 획득한다.

대상체의 이미지로부터 디지털 휴먼 영상의 얼굴 이미지 형성을 위한 제1 특징점 및 디지털 휴먼 영상의 모발 이미지 형성을 위한 제2 특징점을 추출한다.

대상체와 디지털 휴먼 영상과의 친밀도 및 대상체의 나이를 고려하여 제1 특징점에 제1 가중치를 부여하고, 대상체의 움직임, 바람 및 대상체 외부에서 작용하는 힘을 고려하여 제2 특징점에 제2 가중치를 부여하고, 대상체의 실시간 얼굴 형상 및 실시간 자세를 고려하여 제1 특징점 및 제2 특징점에 제3 가중치를 부여한다.

제1 가중치 및 제3 가중치가 반영된 제1 특징점 및 제2 가중치 및 제3 가중치가 반영된 제2 특징점을 이용하여 대상체와 일치도가 가장 높은 대역 모델을 선택하고, 대역 모델을 3차원 스캐닝하고, 다양한 각도에서의 이미지를 촬영하여 제1 3차원 데이터를 형성한다.

제1 3차원 데이터를 이용하여 대상체의 제1 영상을 형성하고, 미리 설정된 표정 템플릿을 뎁스 카메라로 촬영하여 제2 3차원 데이터를 형성하고, 제2 3차원 데이터를 이용하여 대상체의 표정을 나타내는 제2 영상을 형성하고, 3차원 애니메이션 포인트를 이용하여 제1 영상과 제2 영상을 합성하여 디지털 휴먼 영상을 형성한다.

종래 기술은 대상체와 디지털 휴먼 영상과의 친밀도 및 대상체의 나이를 고려하여 디지털 휴먼 영상에 가중치를 부여함으로써 보다 정교하면서도 실감나는 디지털 휴먼 영상을 형성할 수 있다는 장점이 있으나, 디지털 휴먼 영상을 구성하는데 친밀도, 나이 및 다수의 가중치 등 많은 고려사항으로 인해 얼굴 및 몸/바디를 포함한 전신의 고해상도의 영상을 구성하기 위해서는 리소스가 많이 소요되고, 가상현실 컨텐츠와의 결합을 통한 디지털 휴먼 컨텐츠를 생성하는데 많은 시간이 필요함은 물론 끊김없는 영상 제공이 어렵다는 한계가 있으며, 친밀도 및 가중치 등에 의한 영상 구성의 효율성 향상이 크지 않다는 문제가 있다.

3. 디지털 휴먼 컨텐츠 생성 시스템 구성도

본 논문에서는 종래 기술이 가지는 문제점을 해결하기 위한 것으로 사용자 모델을 통한 이미지 수집부터 가상현실 기반의 디지털 휴먼 컨텐츠 생성까지 하나의 시스템에서 이루어지도록 하는 디지털 휴먼 컨텐츠 생성 시스템을 제공하고자 한다.

또한 사람에 의한 3D 모델링(3D Modeling) 및 텍스쳐링(Texturing) 등의 전처리 과정을 필요로 하지 않는 자동화된 전처리 공정을 제공하며, 다양한 디지털 휴먼 컨텐츠를 효율적으로 관리하는 기술을 제공고자 한다.

따라서 디지털 휴먼 컨텐츠 생성 시스템을 설계한다. 디지털 휴먼 컨텐츠 생성 시스템의 구성도는 그림 2와 같다.

그림 2. 디지털 휴먼 컨텐츠 생성 시스템의 구성도

Fig. 2. Configuration diagram of Digital Human Content Creation System

그림 2에서 보면 디지털 휴먼 서버, 컨텐츠 관리 서버 및 이와 네트워크 연결된 메타버스 클라우드 서버를 포함한다.

디지털 휴먼 서버는 미리 설정된 가상 모델 구성방법에 기초하여 가상 모델을 구성한다.

디지털 휴먼 서버는 미리 수집된 모션 정보를 가상 모델과 매칭하여 디지털 휴먼 정보를 생성하고, 디지털 휴먼 정보를 메타버스 클라우드 서버로 전달하는 기능을 수행한다.

디지털 휴먼 서버의 구성도는 그림 3과 같다.

그림 3. 디지털 휴먼 서버의 구성도

Fig. 3. Configuration diagram of digital human server

그림 3에서 보면 디지털 휴먼 서버는 가상 모델 생성 스튜디오에서 수집된 사용자 이미지 정보, 모션 정보 수집 스튜디오에서 수집된 모션 정보는 물론 가상 모델 구성 및 디지털 휴먼 생성 과정에서 일시적으로 발생된 데이터를 저장하도록 하는 메모리부, 통신모듈을 포함하여 구성되는 통신부, 가상 모델의 구성 및 관리가 이루어지도록 하는 가상 모델 구성/관리부, 디지털 휴먼 정보의 생성 및 관리가 이루어지도록 하는 디지털 휴먼 정보 생성/관리부 및 서버의 전반적인 운영이 이루어지도록 하는 운영부를 포함한다.

컨텐츠 관리 서버는 복수의 가상현실 컨텐츠 정보, 다양한 사용자 모델 정보 및 디지털 휴먼 정보를 관리하는 등 컨텐츠 전반의 관리를 담당하는 서버이며, 메타버스 클라우드 서버의 요청에 의해 적어도 어느 하나의 가상현실 컨텐츠 정보를 메타버스 클라우드 서버로 전달하는 기능을 수행한다.

컨텐츠 관리 서버는 서버 운영의 전반적인 기능을 담당하는 운영모듈, 사용자 모델 관리모듈, 디지털 휴먼 정보 관리모듈, 가상현실 컨텐츠 정보 관리모듈 및 통신모듈을 구비할 수 있다.

복수의 가상 현실 컨텐츠 정보는 컨텐츠 관리 서버에 구비된 저장매체에 미리 저장될 수도 있으나, 바람직하게 컨텐츠 관리 서버와 네트워크 연결된 별도의 가상 현실 컨텐츠 정보 DB에 저장될 수 있다. 가상현실 컨텐츠 정보는 교육컨텐츠를 포함한 다양한 분야에서 가상현실을 직접, 간접적으로 체험할 수 있는 컨텐츠에 관한 것이다.

메타버스 클라우드 서버는 컨텐츠 관리 서버로부터 수신된 가상현실 컨텐츠 정보 및 디지털 휴먼 정보를 결합하여 디지털 휴먼 컨텐츠를 생성하는 기능을 수행한다.

예를 들면 메타버스 클라우드 서버는 서버 운영의 전반적인 기능을 담당하는 운영모듈, 디지털 휴먼 컨텐츠 DB, 디지털 휴먼 컨텐츠 관리모듈, 이벤트 정보 관리모듈 및 통신모듈을 구비할 수 있다.

이벤트 정보 관리모듈은 디지털 휴먼 컨텐츠 관리모듈에 통합될 수 있으며, 디지털 휴먼 컨텐츠 DB에는 미리 설정된 이벤트 정보가 함께 저장될 수 있다.

디지털 휴먼 컨텐츠 생성 시스템은 디지털 휴먼 서버, 컨텐츠 관리 서버 및 메타버스 클라우드 서버 외에도 메타버스 클라우드 서버에서 생성된 디지털 휴먼 컨텐츠를 표시할 수 있도록 하는 표시장치를 더 구비할 수 있으며, 가상 모델을 구성하기 위해 사용자 모델의 사용자 이미지를 수집할 수 있도록 하는 가상 모델 생성 스튜디오 및 사용자 모델의 모션 정보를 수집할 수 있도록 하는 모션 정보 수집 스튜디오를 더 구비할 수 있다.

네트워크는 5G 기반의 네트워크로 구성될 수 있으며, 기존의 저속 네트워크망에 비해 5G 기반의 네트워크로 구성되는 경우, 가상현실 컨텐츠 정보는 물론 디지털 휴먼 정보의 데이터를 효율적으로 전달하는 과정에서 데이터 손실이나 시간 지연이 발생할 가능성이 높으므로 보다 빠르고 대용량의 데이터 전송이 이루어질 수 있도록 한다는 점에서 5G 기반의 네트워크로 구성한다.

가상 모델 생성 스튜디오의 구성 및 디지털 휴먼 서버와의 네트워크 연결을 나타내는 모식도는 그림 4와 같다.

그림 4. 가상 모델 생성 스튜디오의 구성 및 디지털 휴먼 서버와의 네트워크 연결을 나타내는 모식도

Fig. 4. Schematic diagram showing the configuration of virtual model creation studio and network connection with digital human server

그림 4에서 보면 가상 모델 생성 스튜디오는 전신 캡쳐 장치를 포함하며, 전신 캡쳐 장치는 적어도 복수개의 카메라와 조명을 구비하며, 복수개의 카메라 및 조명을 제어하고 사용자 이미지 정보를 획득하여 네트워크를 통해 디지털 휴먼 서버로 전달하는 기능을 수행하는 통신모듈이 구비된 제어부를 포함하여 이루어진다.

예를 들면 전신 캡쳐 장치는 16 내지 64개의 볼류메트릭 카메라(Volumetric Camera) 또는 32 내지 128개의 포토그래메트릭 카메라(Photogrammetric Camera)가 사용자 모델이 내부에 수용될 수 있는 철제 프레임의 외부에 고르게 구비되어 사용자 모델의 360도 전신을 촬영할 수 있도록 구성될 수 있다. 또한 볼류메트릭 카메라는 RGB-D 카메라, 키넥트 센서가 결합된 RGB 카메라 등 깊이 값을 생성할 수 있는 카메라일 수 있다.

조명은 사용자 모델에 그림자가 발생하지 않도록 다수개 구비될 수 있으며, 불필요한 그림자로 인해 사용자 이미지의 품질이 저하되는 것을 방지하면서 사용자 모델의 텍스쳐가 잘 드러날 수 있도록 배치 및 설정하는 것이 바람직하다. 조명은 후술하는 텍스쳐링 및 리깅 자동화를 위해 다양한 위치에 구비되거나 2 이상의 파장을 조사할 수 있도록 구성될 수도 있다.

모션 정보 수집 스튜디오의 구성 및 디지털 휴먼 서버와의 네트워크 연결을 나타내는 모식도는 그림 5와 같다.

그림 5. 모션 정보 수집 스튜디오의 구성 및 디지털 휴먼 서버와의 네트워크 연결을 나타내는 모식도

Fig. 5. Schematic diagram showing the configuration of motion information collection studio and network connection with digital human server

그림 5에서 보면 모션 캡쳐 장치를 포함하며 모션 캡쳐 장치를 제어하고 사용자 모델(UM)의 얼굴(UF)의 움직임을 나타내는 페이스모션 정보와 사용자 모델의 손/바디(UB)의 움직임을 나타내는 바디모션 정보 중 적어도 어느 하나를 획득하여 네트워크를 통해 디지털 휴먼 서버로 전달하는 기능을 수행하는 통신모듈이 구비된 제어부를 포함하여 이루어진다.

모션 캡쳐 장치는 카메라 형태로 이루어져서 사용자 모델의 신체 전체를 촬영하면서 얼굴의 움직임과 바디의 움직임을 각각 구분하여 인식, 저장할 수 있도록 구성될 수 있다.

또한 모션 캡쳐 장치는 사용자 모델의 얼굴의 움직임 및 후술하는 사용자 모델의 음성 정보를 수집하는 페이스모션 캡쳐(감지) 장치나 사용자 모델의 바디에 다수개 부착하여 사용자 모델의 바디의 움직임 정보를 수집하는 센서, 장갑, 스마트 워치 형태의 바디모션 캡쳐 장치로 나누어 구성될 수도 있다.

카메라 또는 페이스 모션 캡쳐 장치는 사용자 모델의 얼굴의 시선처리, 표정 등을 촬영하고 시선이나 표졍의 변화에 따른 특징점을 확인할 수 있도록 하며, 디지털 휴먼 서버는 이러한 특징점의 변화를 통해 사용자 모델의 페이스모션 정보를 수집할 수 있다.

카메라에 의해 사용자 모델의 동작 이전과 이후를 비교하여 사용자 모델의 신체 움직임을 감지함으로써 사용자 모델의 바디모션 정보를 수집할 수 있다.

또한 모션 정보 수집 스튜디오에 구비된 제어부와 유/무선 연결된 바디모션 캡쳐 장치를 이용하는 경우 바디모션 캡쳐 장치는 위치센서, 기울기 센서 등의 다양한 형태의 센서일 수 있으며, 사용자 모델의 신체에 부착되어 사용자 모델의 동작에 따라 위치가 변경되는 경우 변경된 상태 정보를 제어부에 전달함으로써 사용자 모델의 움직임에 따른 사용자 모델 바디모션 정보를 수집할 수 있게 된다.

제어부는 통신모듈을 통해 카메라, 페이스모션 감지장치 및 바디모션 감지장치에 의해 수집된 사용자 모델의 페이스모션 정보 및 사용자 모델의 바디모션 정보를 디지털 휴먼 서버로 전달한다.

스마트 워치 형태의 바디모션 캡쳐 장치는 모션 정보를 제공하는 사용자 모델의 바이오 정보를 추가적으로 수집할 수 있으며 사용자 모델의 바이오 정보를 토대로 디지털 휴먼 서버로 전달되는 사용자 모델의 모션 정보가 일부 또는 전부가 전달되지 않도록 제어될 수 있다.

사용자 모델의 바이오 정보는 스마트 워치에 의해 수집된 심박수, 산소포화도, 체지방, 체성분, (비채혈) 혈당, 혈압, 심전도 등의 사용자 의료 정보일 수 있다.

예를 들면 사용자 모델의 건강상태가 좋지 않은 경우, 사용자 모델의 모션 정보가 디지털 휴먼 서버로 그대로 전달되는 것을 차단하는 것이 바람직한 경우가 있으며 바이오 정보에 따라 잘못된 모션 정보가 디지털 휴먼 서버로 전달되지 않도록 미리 설정될 수 있다.

가상 모델 생성 스튜디오의 구성을 나타내는 모식도는 그림 6과 같다.

그림 6. 가상 모델 생성 스튜디오의 구성을 나타내는 모식도

Fig. 6. Schematic diagram showing the configuration of the virtual model creation studio

그림 6에서 보면 사용자 모델의 그림자가 발생하지 않도록 조명을 제어하면서 사용자 이미지를 획득(그림 6(a))한 다음, 특정 위치의 조명을 더 켜거나 끈 상태 또는 조명의 파장을 조절하여 일부 조명이 다른 파장을 갖도록 함으로써 기존 수집된 사용자 이미지에서 변경된 사용자 이미지를 획득(그림 6(b))하고, 최초의 사용자 이미지와 변경된 사용자 이미지의 차이점 분석을 인공지능 처리 모듈로 수행함으로써 텍스쳐링이 더욱 부각되고 가상 모델 기초 모델링 정보에 텍스쳐링이 자동으로 처리될 수 있게 된다.

4. 디지털 휴먼 컨텐츠 생성 방법

본 논문에서는 디지털 휴먼 컨텐츠 생성 방법은 디지털 휴먼 서버, 컨텐츠 관리 서버 및 이와 네트워크 연결된 메타버스 클라우드 서버를 포함하는 디지털 휴먼 컨텐츠 생성 시스템에서 이루어진다.

디지털 휴먼 컨텐츠 생성 방법의 순서도는 그림 7과 같다.

그림 7. 디지털 휴먼 컨텐츠 생성 방법의 순서도

Fig. 7. Flowchart of digital human content creation method

그림 7에서 보면 디지털 휴먼 서버가 미리 설정된 가상 모델 구성방법에 기초하여 가상 모델을 구성하는 단계(a), 디지털 휴먼 서버가 미리 수집된 모션 정보를 가상 모델과 매칭하여 디지털 휴먼 정보를 생성하는 단계(b), 디지털 휴먼서버가 디지털 휴먼 정보를 메타버스 클라우드 서버로 전달하는 단계(c) 및 메타버스 클라우드 서버가 컨텐츠 관리 서버로부터 수신된 가상현실 컨텐츠 정보 및 디지털 휴먼 정보를 결합하여 디지털 휴먼 컨텐츠를 생성하는 단계(d)를 포함하여 이루어진다. b 단계의 모션 정보의 수집은 a 단계와 동시에 또는 a 단계보다 먼저 이루어질 수도 있다.

디지털 휴먼 컨텐츠 생성 방법은 메타버스 클라우드 서버가 디지털 휴먼 컨텐츠를 사용자 단말에 표시하는 단계(e)를 포함한다.

사용자 단말은 표시장치이고, 디지털 휴먼 컨텐츠를 시청하는 사용자의 스마트폰, 태블릿, PC 모니터, HMD(Head Mount Display) 등 가상현실 컨텐츠를 시청할 수 있는 다양한 형태의 표시장치이고, 이동 가능하도록 구성함으로써 언제 어디서나 다양한 디지털 휴먼 컨텐츠를 활용할 수 있도록 하고, 이를 위해 무선으로 네트워크를 구성한다.

e 단계에서는 미리 설정된 이벤트 정보가 함께 표시될 수 있으며 사용자는 이벤트 정보를 통해 가상현실 컨텐츠와 디지털 휴먼 정보가 포함된 디지털 휴먼 컨텐츠를 더욱 실감있게 시청할 수 있다.

가상 모델을 구성하는 단계를 설명하는 순서도는 그림 8과 같다.

그림 8. 가상 모델을 구성하는 단계를 설명하는 순서도

Fig. 8. Flowchart outlining the steps to construct a virtual model

그림 8에서 보면 미리 설정된 가상 모델 구성 방법은 디지털 휴먼 서버와 네트워크 연결된 가상 모델 생성 스튜디오에 구비된 전신 캡쳐 장치를 통해 사용자 모델을 촬영하여 사용자 이미지 정보를 수집하는 단계(a1), 사용자 이미지 정보에 기초하여 가상 모델 기초 모델링 정보를 생성하는 단계(a2) 및 생성된 가상 모델 기초 모델링 정보를 후처리하여 가상 모델을 구성하는 단계(a3)를 포함하여 이루어질 수 있다.

사용자 이미지 정보에 기초하여 가상 모델 기초 모델링 정보를 생성하는 단계(a2)는 사용자 모델의 360도 전신에 대한 사용자 이미지를 수집하고, 각각의 이미지를 인공지능을 이용하여 결합시키면서 자동화된 모델링 과정을 거쳐 가상 모델 기초 모델링 정보를 생성하는 것이다.

예를 들면 가상 모델 기초 모델링 정보는 사용자 모델의 입체감 없는 360도 외형으로 이해될 수 있다. 다른 예로 가상 모델 기초 모델링 정보는 전신 캡쳐 장치에 볼류메트릭 카메라를 이용하는 경우 사용자 모델의 사용자 이미지로부터 깊이값을 측정하여 저품질의 텍스쳐링 및 리깅이 이루어짐으로써 색상 및 질감이나 관절 및 뼈대가 간단히 부여된 상태의 360도 외형일 수도 있다.

가상 모델 기초 모델링 정보는 텍스쳐링(Texturing) 및 리깅(Rigging) 등의 후처리를 거쳐 입체감 있는 3차원의 가상 모델을 구성할 수 있다.

a3 단계는 가상 모델 기초 모델링 정보에 색상 및 질감을 부여하여 입체감이 생기도록 하는 텍스쳐링 단계(a31) 및 가상 모델 기초 모델링 정보에 관절 및 뼈대를 부여함으로써 후술하는 모션 정보와 결합하여 가상 모델의 움직임이 가능하도록 하는 리깅 단계(a32)를 포함할 수 있다. 이때, a31 단계(텍스쳐링 단계) 및 a32 단계(리깅 단계) 중 적어도 어느 하나는 인공지능 처리 모듈에 의해 자동으로 이루어질 수 있다.

예를 들면 가상 모델을 구성하는 단계를 설명하는 모식도는 그림 9와 같다.

그림 9. 가상 모델을 구성하는 단계를 설명하는 모식도

Fig. 9. Schematic diagram explaining the steps to construct a virtual model

그림 9에서 보면 사용자 모델의 사용자 이미지를 수집하고, 사용자 이미지에 기초하여 가상 모델 기초 모델링 정보(AM1)를 생성할 수 있으며, 텍스쳐링된 가상 모델 기초 모델링 정보(AM2) 및 리깅을 통한 입체화가 이루어진 가상 모델(AM)을 순차적으로 구성할 수 있다. 텍스쳐링된 가상 모델 기초 모델링 정보(AM2)에 관절 및 뼈대를 부여하기 위한 리깅 기초 모델이다.

종래 텍스쳐링 단계 및 리깅 단계는 디자이너 또는 그래픽 엔지니어가 가상 모델을 구성하기 위해 수작업을 통해 후처리하도록 함으로써 디지털 휴먼 컨텐츠 생성에 많은 시간과 인력이 소비된다는 문제가 있었으며, 볼류메트릭 카메라를 이용하는 경우에도 텍스쳐링 및 리깅의 품질이 좋지 않아 추가적인 작업을 필요로 하였다.

본 논문에서는 후처리 공정은 텍스쳐링 단계(a31) 및 리깅 단계(a32)를 자동으로 이루어질 수 있도록 함으로써 효율적으로 디지털 휴먼 컨텐츠를 생성할 수 있다.

예를 들면 a31 단계는 전신 캡쳐 장치에 구비된 적어도 하나 이상의 서로 다른 위치 또는 서로 다른 파장을 갖는 복수개의 조명에 의해 촬영된 적어도 2 이상의 사용자 이미지 정보에 기초하여 자동으로 처리될 수 있다.

사용자 모델의 포즈 이미지를 설명하는 모식도는 그림 10과 같다.

그림 10. 사용자 모델의 포즈 이미지를 설명하는 모식도

Fig. 10. Schematic diagram explaining the pose image of the user model

그림 10에서 보면 사용자 이미지 정보는 사용자 모델의 복수개의 미리 설정된 포즈 이미지 정보(PI1, PI2)를 포함하며 a32 단계는 사용자 모델의 포즈 이미지 정보(PI1, PI2)에 기초하여 자동으로 처리될 수 있다.

사용자 모델이 미리 설정된 포즈를 취하고 각각에 대한 사용자 이미지를 추가적으로 수집하도록 하는 경우는 미리 설정된 포즈를 취하기 전의 사용자 이미지 정보(PI0)와 사용자 모델의 포즈 이미지 정보(PI1, PI2)를 비교함으로써 사용자 모델의 관절과 뼈대의 형태를 용이하게 파악할 수 있으므로 각각의 사용자 이미지 정보(PI0)와 사용자 모델의 미리 설정된 포즈 이미지 정보(PI1, PI2)의 비교 분석을 인공지능 처리 모듈로 수행함으로써 가상 모델 기초 모델링 정보에리깅이 자동으로 처리될 수 있게 된다. 텍스쳐링 단계(a31) 및 리깅 단계(a32)는 동시 또는 순차로 이루어질 수 있으며, a32 단계가 a31 단계 이전에 이루어질 수도 있다.

예를 들면 미리 수집된 모션 정보는 디지털 휴먼 서버와 네트워크 연결된 모션 정보 수집 스튜디오에 구비된 모션 캡쳐 장치를 통해 수집된 사용자 모델의 움직임 정보(표정 및 움직임)이며, 얼굴의 움직임을 나타내는 페이스모션 정보와 바디 및 손의 움직임을 나타내는 바디모션 정보 중 적어도 어느 하나를 포함할 수 있다.

페이스모션 정보는 사용자 모델의 시선이나 표정 등을 통해 사용자 모델의 감정이나 심리 상태 등이 전달될 수 있도록 하는 것이며, 바디 모션 정보는 사용자 모델의 움직임이 전달될 수 있도록 하는 것이다.

5. 실제 디지털 휴먼 컨텐츠 제작

본 논문에서는 디지털 휴먼 컨텐츠를 제작하였다. 디지털 휴먼 컨텐츠 제작은 전신 스케닝을 통해 3D AI 모델링 작업을 하고, 3D 모델링 후처리와 텍스쳐링, 리깅 작업으로 제작된다. 제작 과정은 그림 11부터 그림 15까지와 같다.

디지털 휴먼 컨텐츠 제작은 전신 스케닝을 통해 3D AI 자동 모델링 작업은 그림 11과 같다.

그림 11. 실제 모델과 AI 자동 3D 캡처 모델링

Fig. 11. Real model and AI automatic 3D capture modeling

3D 모델링 후처리와 텍스쳐링, 리깅 작업은 그림 12와 그림 13과 같다.

그림 12. 모델링 및 텍스쳐 보정 결과

Fig. 12. Modeling and texture correction results

그림 13. 몸, 얼굴 리그 추가 작업

Fig. 13. Body and face rigs additional work

언리얼 엔진에 디지털 휴먼과 모션 캡쳐 장치 리그 동기화를 위한 블루 프린트 작업은 그림 14와 같다.

그림 14. 디지털 휴먼과 모션 캡쳐 장치 리그 동기화

Fig. 14. Digital human and motion capture device rigs synchronize

마지막으로 실시간 모션 동기화 결과물은 그림 15와 같다.

그림 15. 실시간 모션 동기화 결과

Fig. 15. Real-time motion synchronization results

기존의 디지털 휴먼 제작과 본 논문에서 설계한 디지털 휴먼 제작 기간을 비교하면 그림 16과 같다.

그림 16. 기존의 디지털 휴먼 제작과 본 논문에서 설계한 디지털 휴먼 제작 기간 비교

Fig. 16. Comparison of Original digital human production and designed in this paper digital human production period

그림 16에서 보면 기존의 디지털 휴먼 제작은 약 6개월이 걸리는 반면 본 논문에서 설계한 디지털 휴먼 제작 기간은 약 3개월이 예상된다.

또한 기존의 디지털 휴먼 제작과 본 논문에서 설계한 디지털 휴먼 트윈 1건 별 소요 비용 비교하면 표 1과 같다.

표 1. 디지털 휴먼 트윈 1건 별 소요 비용

Table 1. Cost per digital human twin Unit: 1,000 won

기존 가상 모델 3D 모델링 제작환경 한계는 다음과 같다.

· 대부분의 3D 모델링 제작 시 수작업에 의존하여 필요 소요기간이 4개월 이상 소모된다.

· 영상 기술 발달로 고품질의 가상 모델이 요구되며 품질에 따라 가상 모델 제작 기간이 증가된다.

· 가상 모델 수요 증가로 인한 저비용 · 고품질 · 제작기간 단축을 위한 3D 모델링 솔루션 필요하다.

따라서 본 논문에서 설계한 디지털 휴먼 제작 효과는 다음과 같다.

· 3D 모델링 제작 과정의 포토그래메트릭 기술 도입 기대효과가 있다.

· 카메라 촬영 및 AI 3D 모델링 자동화에 따른 제작 기간 단축 및 인력 최소화 된다.

· 고화질 카메라 촬영 기반 고품질 가상 모델 제작된다.

· 다수의 가상모델 동시 촬영을 통한 3D 모델링 작업 효율성 제고된다.

6. 결론

본 논문에서는 종래기술이 가지는 문제점을 해결하기 위한 것으로 사용자 모델을 통한 이미지 수집부터 가상현실 기반의 디지털 휴먼 컨텐츠 생성까지 하나의 시스템에서 이루어지도록 하는 디지털 휴먼 컨텐츠 생성 시스템을 설계하였다. 따라서 필요 자원을 최소화하는 가상현실 기반의 디지털 휴먼 컨텐츠 생성이 가능하도록 하는 효과가 있다.

또한 사람에 의한 3D 모델링 및 텍스쳐링 등의 전처리 과정을 필요로 하지 않는 자동화된 전처리 공정을 제공하며, 다양한 디지털 휴먼 컨텐츠를 효율적으로 관리하는 기술을 제공하였다. 특히 가상 모델을 구성하기 위한 3D 모델링 및 텍스쳐링 등의 전처리 공정은 인공지능에 의해 자동으로 수행되도록 함으로써 신속하고 효율적인 가상 모델 구성이 이뤄질 수 있다는 장점이 있다.

또한 시그니처 모션을 통해 디지털 휴먼 컨텐츠 구성 및 관리가 용이하게 이루어질 수 있다는 장점이 있다.