하이브리드 센싱 기반 다중참여형 가상현실 이동 플랫폼 개발에 관한 연구

A Study on the Development of Multi-User Virtual Reality Moving Platform Based on Hybrid Sensing

Abstract

Recently, high-performance HMDs (Head-Mounted Display) are becoming wireless due to the growth of virtual reality technology. Accordingly, environmental constraints on the hardware usage are reduced, enabling multiple users to experience virtual reality within a single space simultaneously. Existing multi-user virtual reality platforms use the user's location tracking and motion sensing technology based on vision sensors and active markers. However, there is a decrease in immersion due to the problem of overlapping markers or frequent matching errors due to the reflected light. Goal of this study is to develop a multi-user virtual reality moving platform in a single space that can resolve sensing errors and user immersion decrease. In order to achieve this goal hybrid sensing technology was developed, which is the convergence of vision sensor technology for position tracking, IMU (Inertial Measurement Unit) sensor motion capture technology and gesture recognition technology based on smart gloves. In addition, integrated safety operation system was developed which does not decrease the immersion but ensures the safety of the users and supports multimodal feedback. A 6 m×6 m×2.4 m test bed was configured to verify the effectiveness of the multi-user virtual reality moving platform for four users.

1. 서론

4차 산업혁명 시대에 따른 가상현실에 대한 관심도가 증가하고 있고 최근 하드웨어의 발전에 따라가상현실에 사용되던 PC기반의 고성능 HMD(Head Mounted Display)의 무선화가 이루어지고 있으며 [1,2], 이에 따라 전선배치 등의 환경적인 제약이 줄어들어 단일 물리적 공간 내에서 다중 사용자의 가상현실 체험이 가능하게 되었다. 이로 인하여 기존, 협소한 공간에서 혼자만 즐기던 가상현실 체험을 다수의 가상현실 사용자들의 동시에 공간과 감각을 실시간으로 공유하며 협동이나 경쟁 요소를 부여함에 따라 새로운 융합 콘텐츠 생성과 다양한 산업군에 적용되어 협업, 시뮬레이션 등에 활용이 가능하다. 특히, 문화산업의 문화체험, 교육, 협동 놀이 등과 같은 문화산업 콘텐츠 융합 수요에 대응하여 단순험이나 일반적인 시나리오 중심의 기존 가상현실 게임에서 새로운 문화기술 패러다임의 제시가 가능하여 보다 높은 인기 요소로 접근하여 높은 발전 가능성을 기반으로 관련 산업이 성장하고 있다[3]. 이에 따라 전세계적으로 모션캡쳐, 웨어러블 디바이스 등의 요소기술을 접목한 다중참여형 가상현실 이동 플랫폼에 대하여 지속적인 연구개발과 제품 출시가 진행되고있다.

현재까지의 대부분 가상현실 사용자는 개인적으로 확보한 룸스케일의 물리적 공간에서 접속하여 다중 사용자 참여형 콘텐츠를 진행할 경우 네트워크상의 온라인 가상 세계에서 접속하는 경우가 일반적이었다[4]. 하지만 가상현실에 사용되는 디바이스와 응용 분야에 대한 개발이 꾸준히 이루어짐에 따라 HMD의 무선화와 3차원 위치추적 및 모션캡쳐 기술의 보급을 통해 다수의 사람이 가상현실에서 인터랙션하며 단순 VR/AR/MR뿐만 아니라 게임, 영화, 의료 분야의 콘텐츠와 위치추적 및 모션센서와 같은 요소기술은 항공, 철도, 로봇, 자동차 등의 다양한 이종산업 분야에서도 적용이 시작되고 있다[5-7]. 하지만 가상현실 기술은 사용자가 HMD를 착용함에 따라 사용자-사용자간, 물리 구조물-사용자간 이탈 및 충돌로 인한 안전사고 이슈가 존재한다. 가상체험 공간에서 충돌방지는 콘텐츠 시나리오에 따른 가상 아바타의 이동 동선을 제한하여 충돌을 방지하는 것이 보편적이며 가상 아바타와 가상환경의 장애물에서 발생하는 충돌을 방지하고자 하는 연구가 주로 진행되고 있다[8]. 주변 물체를 탐지하여 충돌방지 경고를 하는 방법은 청각 경고, 촉각 경고 등이 있다. 청각경고로는 광학식 카메라와 자이로스코프를 사용하여 걸어가는 상황에서 장애물을 인식하여 경고하는 방법이 있다[9]. 촉각경고는 안경에 초음파 센서를 적용하여 물체를 탐색하고 진동밴드로 경고하는 방법이 있다[10]. 일부 연구에서는 가상환경에서 다른 사용자의 모습을 가상의 아바타로 보여주는 시도를 했다[11]. Scavarelli의 연구에서는 Avatar, Bounding Box, Camera Overlay세 가지 방법으로 분류하여 사용자에게 시각적 피드백을 제공하여 그 효과를 검증하였으며[12], 미니맵을 활용한 시각화 연구도 활용되고 있다[13].

하지만 다중참여형 이동 가상현실 플랫폼 기술에 사용되는 3차원 위치추적 및 모션 캡처 기술은 활용분야가 급진적으로 늘어나는데 반해 장비 및 시스템의 기술개발은 이에 못 미치고 있다[14].

3차원 위치추적 및 모션캡쳐 기술은 사용하는 매체에 따라 기계식, 광학식, 자기식으로 구분할 수 있다[15,16]. 저가이며 높은 샘플링 속도로 초기 셋업과정이 필요 없지만 기계 장치 착용에 대한 불편함과 관절 부착에 따른 정확도 오류가 발생하며 자기식의 경우 주변 환경의 자기로 인한 노이즈가 발생한다. 광학식은 높은 샘플링 속도와 정밀한 위치 및 동작을 측정할 수 있음에 따라 대부분 3차원 위치추적 및 모션캡처 시스템은 광학식을 채택하고 있다[17].

본 논문에서는 기존 다중참여형 이동 플랫폼의 비전 센서와 마커 기반의 마커데이터 겹침 문제나 반사광으로 인한 잦은 정합 오류로 인한 몰입감 저하를 해결하기 위해 비전센서와 모션센서를 융합한 하이브리드 센싱 기술과 추가로 손동작 인식과 진동/온도 피드백이 가능한 스마트글러브를 적용한 기술을 제안하였다. 또한 사용자의 안전을 보장하면서 몰입도를 해치지 않는 멀티모달 피드백이 가능한 통합안전운용 시스템을 개발하였으며 물리적인 6m×6m공간의 테스트베드를 구축함으로써 4인의 사용자가 체험할 수 있도록 하여 그 효과를 검증하고자 하였다.

본 논문의 구성은 다음과 같다. 2장에서 기술의 정의, 3장에서 하이브리드 센싱 및 햅틱 융합 기술을 제안하며 4장에서 통합 안전운용시스템을 설명한다. 그리고 5장에서는 4인의 사용자를 대상으로 6m×6m공간의 테스트베드에서 실험한 결과를 기반으로 효과성을 검증하고 6장에서 결론을 맺는다.

2. 기술의 정의

2.1 하이브리드 센싱 기술 정의

가상현실 기술과 IMU기반의모션센서, 반사식 마커 기반 비전센서, 액티브 마커 기반 비전센서, 스마트 글러브를 이용한 제스처 인식, 햅틱 디바이스 등을 융합하여 가상현실환경에서 사용자가 물리 환경에서 이동하며 실감형 체험을 부여하기 위한 선행연구 및 제품 출시는 지속적으로 이루어지고 있다. 하지만 비전센서를 이용한 경우 마커의 겹침 문제나 반사광으로 인한 정합오류가 발생하고 모션센서, 스마트글러브, 햅틱 디바이스는 고가로 구성된 시장형성과 각 기술별 개별 동작하는 형태로 가상현실 환경에서 사용하기 위하여 각각 별도의 개발절차가 요구되어 보급이 더딘현황이다. 이에 따라 본 연구는 물리 환경에서 다중 사용자가 이동하며 안전하게 실감형 가상현실 체험 구현을 목적으로한 비전/모션/햅틱 융합 하이브리드 센싱 기반 다중참여형 가상현실 이동 플랫폼 기술을 제안하고자 하며 이에 대한 구성도는 Fig.1과 같다.

Fig. 1. Configuration of multi-user virtual reality moving platform based on hybrid sensing.

사용자 3차원 좌표에 대한 위치 추적은 적외선 액티브 마커와 비전센서로 추적하며 가상현실 콘텐츠에서 사용자의 움직임은 착용형 디바이스인 모션센서와 스마트 글러브로 구현한다. 또한 가상객체와의 상호작용을 위하여 스마트글러브에서 진동 및 온도 피드백이 가능한 형태로 구성하였다. 기존 위치추적을 위한 비전센서의 경우, 센서의 화각 등과 같은 사양으로 인하여 인식범위의 한계가 있었으나 본 연구에서 제안하는 하이브리드 센싱 기술은 비전센서의 사각영역을 모션센서 데이터와 융합하여 추정하도록 하여 기존 비전센서와 모션센서의 단점을 보완하도록 하였다. 또한, 비전센서, 모션센서, 스마트글러브에 대한 1개의 S/W로 통합 제어 및 모니터링이 가능하도록 하였으며 시스템 구성은 Fig.2와 같다. 착용형 H/W에서 수신된 데이터를 통합 제어 S/W에서 연산한 후 사용자 위치, 모션에 대하여 VRHMD 내 콘텐츠와 안전운용 시스템에 송신하도록 하였다. 또한, 실감형 체험을 위하여 진동 온도 피드백을 스마트 글러브에 부여 할 수 있도록 하였으며 Unitiy package 형태의 SDK로 제공하여 가상현실 콘텐츠에 쉽게 적용하도록 개발하였다.

Fig. 2. System diagram of hybrid sensing & safety system.

2.2 다중 사용자 통합 안전운용 시스템 정의

다중참여형 가상현실 이동 플랫폼에서는 다수의 사용자가 VRHMD를 착용한 후 이동하며 콘텐츠를 체험함에 따라 사용자-사용자간 충돌, 사용자-물리구조물간 충돌, 안전 체험영역 이탈 등의 위험상황이 반드시 발생하게 된다. 가상현실 기술은 HMD 착용으로 인하여 물리환경에 대한 인지가 어려움에 따라 안전성 확보에 대한 연구는 필수적이다. 대부분의 가상현실 체험은 사용자 외 보조인력을 투입하여 안전상황에 대처하고 있으나 다수의 인력이 필요함에 따라 이를 개선하기 위하여 본 연구에서는 사용자 통합 안전운용 시스템을 제안하고자 한다.

사용자 통합 안전운용 시스템은 Fig.2와 같은 구조로 동작하며 하이브리드 센싱 시스템 또는 VR HMD나 상용 비전센서와 연동하여 사용자 위치 및 모션 데이터를 수신하여 모니터링 프로그램에 2D/ 3D형태로 가시화하고 실시간으로 사용자 위치정보기반 사용자-사용자간 거리, 사용자-물리 구조물과의 거리를 연산하여 설정 거리값에 도달하는 경우 관리자용 모니터링 프로그램과 사용자 HMD에 시각 및 청각의 멀티모달 경고를 송출하여 관리자 및 사용자 모두 위험상황에 직관적으로 대응할 수 있도록 개발하였다.

3. 비전/모션/햅틱 융합 하이브리드 센싱 기술개발

3.1 비전센서 기반 사용자 위치추적 기술

비전센서 기반 사용자 위치추적을 위한 하드웨어는 적외선 비전 카메라와 사용자 착용형 액티브 마커로 구성되며 다중 비전 카메라로 측정되는 2차원 액티브 마커의 좌표로부터 3차원 좌표를 확률기반 공분산 형태로 추정한다.

사용자 3차원 위치 추적을 위한 비전 카메라 전자부는 디스플레이, 디버그 기능이 모두 구현되며 크기를 최소화하기 위하여 Fig.3과 같이 프로세스 보드를 이미지 처리부, 신호처리 컴퓨팅부, 전원부의 3- Layer로 구성하였다. 이미지 센서 보드의 이미지 센서는 1.8V로직의 OnSemi사의 PYTHON₄₈0을 사용하였으며 프로세스 신호처리 컴퓨팅 보드는 디버깅을 위하여 HDMI및 USB단자와 LinuxOS구동을 위한 SD슬롯을 포함하여 개발하였다. 또한 3차원 위치정보에 대하여 프로세스 보드에서 저장 할 수 있도록 EEPROM을 적용하였으며 640×480해상도를 120FPS로 전송하기 위해서 신호 레벨 변환 회로는 230.4MHz이상의 전송속도를 만족할 수 있도록 개발하였다. 전원부의 경우 PoE(Power over Ethernet)의 전원을 안정적으로 공급하기 위하여 정류기와 전원 스위치, 상태 확인을 위한 적외선 LED를 적용하였다.

Fig. 3. Interface block diagram of vision camera.

비전 카메라와 함께 사용되는 사용자의 실시간 위치 추적을 위한 적외선 LED기반의 액티브 마커는 850nm근적외선을 발광하는 LED를 사용하였으며 최대파워 파장 850nm, 빔폭 60°, 방사 강도 100mA 조건에서 17mW/sr를 만족하도록 개발하였다. 액티브 마커의 메인보드는 저전력 프로세서와 3차원 위치 추적을 위한 광학식 카메라와 동기화를 위한 RF 모듈을 포함하였으며 650mAh배터리를 이용하여 DC₅V/30mA조건에서 약 15시간 이상 사용이 가능하도록 개발하였다.

전원 구성은 12V DC JACK을 이용하거나 PoE (Power over Ethernet)를 통해 최대 DC12V/3A를 받도록 되어 있으며 이미지센서의 로직이 1.8V로 구성됨에 따라 1.8V-3.3V레벨 변환 회로를 구성하였다. 640×480해상도에 120Hz의 신호를 전송하기 위해서 신호레벨 변환회로 인터페이스는 230MHz이상의 전송 속도를 만족할 수 있도록 하였으며 주요신호가 500MHz가 초과되어 임피던스 매칭이 되도록 하였다. PoE(Power over Ethernet)는 신호와 전원이 합쳐진 형태로 신호와 전원을 완벽히 분리하기 위한 필터 회로를 구성하여 유도용량 및 정전용량으로 인한 기생 성분이 없도록 하였으며 사양은 Table 1과 같다.

Table 1. Specification of vision camera & active marker.

비전 카메라와 액티브 마커를 이용한 사용자 위치추적은 Fig.4(a)와 같이 모든 카메라에서 바라본 마커의 공분산이 중첩하는 지점을 3차원 마커의 확률적 위치로 추정한다. Fig.4(b)는 카메라에서 바라본 한 점에 대한 공분산이며 θm은 카메라 중점에서 벌어진 각을 의미한다. 2차원 공분산 C_xy의 산출은 식(1)과 같으며 카메라 중점에서 벌어진 θ로 회전된 공분산 행렬은 P와 공분산의 중심 x 는 식 (2)와 같다.

\(C_{x y}=\left[\begin{array}{ll} \sigma_{x x} & \sigma_{x y} \\ \sigma_{x y} & \sigma_{y y} \end{array}\right]\)       (1)

\(P=T C_{x y} T^{-1}, T=\left(\begin{array}{c} \cos \theta-\sin \theta \\ \sin \theta \cos \theta \end{array}\right), \hat{x}=T\left[\begin{array}{l} x \\ y \end{array}\right]\)       (2)

Fig. 4. Location estimation method through covariance intersection. (a) Schematic of covariance intersection and (b) Covariance of 2-D Markers.

공분산 행렬에서 각축의 길이 a1, a2는 식(3)과 같으며 이때 a1계수는 카메라에서 감지 가능한 마커의 최대 거리 D를 사용하며 a2는 카메라 좌표계 기준으로 픽셀과 픽셀 사이의 계산된 각도 θ_l를 통해 산출한다.

\(a 1=\sqrt{\sigma_{x x}}=D, a 2=\sqrt{\sigma_{y y}}=D \sin \theta_{l}\)       (3)

다수의 비전 카메라의 교차 공분산은 가중치 w를 사용한 개별추종의 컨벡스 조합(Convex combination)으로 연산되며 개별 카메라의 공분산 P1과 P2로 교차 공분산 P_CI와 개별 카메라 공분산 중심인 식(2)의 \(\hat{x}\)와 식(4)의 PCI를 이용하여 교차공분산의 중심위치인 x_CI를 산출한다.

\(\begin{array}{l} P_{C I}^{-1}=\omega P_{1}+(1-\omega) P_{2}^{-1}, \\ x_{C I}=\omega P_{C I} P_{1}^{-1} \widehat{x_{1}}+(1-\omega) P_{C I} P_{2}^{-1} \widehat{x_{2}} \end{array}\)       (4)

액티브 마커를 착용한 사용자의 위치 추적을 위하여는 3차원 공간에서의 위치추정을 수행하여야 하며 3차원 공분산 행렬을 이용하나 2차원과 달리 3축에 존재하는 타원체로 연산됨에 따라 공분산 행렬에서 각축의 길이 a1은 2차원과 같이 식 (3)을 이용하여 산출하며 a2는 카메라 좌표계 기준으로 x축 방향의 픽셀과 픽셀 사이의 계산된 각도 θ_l를 이용하고 a3는 카메라 좌표계 기준으로 y축 방향으로 산출하도록 한다.

이를 기반으로 사용자의 위치 정보를 취득하기 위해 3개 이상의 마커가 필요로 하며, 이때 마커의 위치정보를 조합하여 위치 및 자세 정보를 지닌 강체(Rigidbody)를 생성하도록 한다. 마커들의 모음은 하나의 강체로 설정하게 되며, 3차원 공간에서 찾아낸 모든 마커 중에서 선택된 마커들의 마커 모음을 정렬하고 그 둘을 비교하여 최적의 회전과 위치 이동정보을 추정한다. Fig.5(a)와 같이 처음 선택된 마커 셋을 A라고 하고 3차원 공간에서 찾아낸 마커 셋을 B라고 할 때 회전 R과 이동 t를 구하는 방식은 Fig. 5(b)와 같다. 두 데이터 세트에서 동일한 점은 같은 색을 가지며, R은 회전이고 t는 평행 이동을 의미한다. 데이터셋 A의 포인트를 데이터셋 B에 정렬하는 최적화를 수행하며 이 변환은 모양과 크기를 유지하기 때문에 강체 변환(rigid-transform)이라고 한다.

Fig. 5. Concept of rigid-transform. (a) Configuration of active marker dataset and (b) Optimization of active marker dataset.

다중참여형 가상현실 이동 플랫폼에서 다수의 사용자가 착용한 액티브 마커의 강체를 추적하여 3차원 공간 상 위치를 가시화하여 사용자 위치 모니터링 프로그램을 개발하였으며 이는 Fig.6와 같다.

Fig. 6. Monitoring program of Multi-user position tracking.

3.2 IMU 기반 모션센서 기술

다중참여형 가상현실 이동 플랫폼에서 사용자의 행동을 콘텐츠에 반영하여 인터랙션을 할 수 있도록 각각의 관절각을 산출하여 3차원 공간상의 움직임을 인체골격 움직임으로 변환하는 IMU(Inertial Measurement Units)기반 신체 부착형 모션센서 기술을 개발하였으며 이에 대한 사양은 Table 2와 같다.

Table 2. Specification of motion sensor.

신호처리부는 비정렬 오차가 최소화 되도록 부품을 배치하고 가속도센서의 병진 운동에 의한 동적 가속도 유입을 줄이기 위해 중심에 위치시키며 내부 센서에 신호 왜곡을 일으키지 않도록 비자 성체의 재질을 사용하며 자기센서의 주변 회로의 영향을 덜 받도록 격리 설계하였다. 또한, 초소형 크기를 만족시키기 위해 Multi-LayerPCB설계를 수행하며 양쪽 연결부분은 비교적 고정이 쉬운 4-pole AUX 단자를 사용하여 설계하였다. 모션센서는 신체에 부착하여 관절 회전량을 측정함에 따라 Wi-Fi/Bluetooth/2.4GHzRF 무선통신 모듈을 적용하여 개발하였다. 개발된 모션센서는 인체 관절부위 14개에 부착되며 이는 Fig. 7와 같다.

Fig. 7. Configuration of motion sensor attachment part.

IMU기반의 모션센서는 정밀한 관절 회전량 측정을 위해 센서 데이터 보상필터 적용이 필수적이며 이는 Fig.8과 같다. 자이로스코프 출력값의 바이어스를 제거하기 위해 Fig.8(a)의 필터 알고리즘을 적용하여 각속도의 정밀도를 유지하도록 하였으며 센서모듈을 정적인 상태로 유지하였을 때 측정되는 자이로스코프 출력값의 평균을 저장하여 보상해 주도록 하였다. 가속도 센서의 경우 조립시 발생하는 기울어짐 오차가 발생함에 따라 Fig.8(b)의 필터 알고리즘을 적용하여 센서 회전값 측정 및 중력가속도 오류를 해결하였다. 지구 자기장을 측정하는 지자기센서는 자성을 띈 물체에 의해 왜곡이 발생하여 방위값 계산 정밀도가 저하됨에 따라 Fig.8(c)의 필터 알고리즘을 적용하여 센서모듈을 X-Y, X-Z방향으로 회전하여 지자기센서의 3축 출력값을 보상하도록 하였다.

Fig. 8. Compensation filter algorithm of Sensor data. (a) Gyroscope compensation filter, (b) Acceleration compensation filter, and (c) Geomagnetic compensation filter.

모션센서를 착용한 사용자의 움직임을 고러하여 동적 움직임에 강인한 센서 데이터 융합을 위해 자이로스코프를 기준으로 센서모듈의 회전량을 측정하고 가속도센서에서 추출한 중력 가속도값으로Roll, Pitch에 대한 회전량, 지자기센서에서 추출한 방위값으로 Yaw를 보상하도록 하였으며 이를 적용하여 Fig. 9와 같이 모션센서 펌웨어를 개발하였다.

Fig. 9. Architecture of motion sensor firmware.

모션 센서 모듈로부터 수신 받은 인체의 각 관절 회전 정보를 이용하여 인체 골격 움직임 Full-body 3차원 모션 캡쳐를 위해C#기반으로 모션캡처 프로그램을 개발하였으며 3차원 그래픽 처리는 Unity 게임 엔진의 오픈소스인 Helixtoolkit을 이용하였다. 모션 센서에서 입력받는 현재 자세 정보의 보정을 위하여 Fig.10과 같은 T-Pose자세 보정 알고리즘을 적용하였으며 T-Pose초기값을 쿼터니언으로 저장하고 인체 골격 구조를 재현할 때 사용하는 개별관절의 상대적인 위치정보를 사용하여 초기 보정을 수행하도록 하였다.

Fig. 10. Block diagram of T-Pose posture correction algorithm.

3.3 손동작 인식 및 진동/온도 피드백 스마트글러브기술

다중참여형 가상현실 플랫폼 체험 시 제스처를 이용한 컨트롤러로 사용하며 진동/온도 피드백을 위해모션 측정부와 햅틱 피드백부로 구분하여 실감형 가상현실 체험용 스마트글러브를 개발하였다.

모션 측정부는 5개의 유연센서를 이용하여 손가락의 움직임 변화를 측정하도록 하였으며 ADC(Analog-Digital Converter) 회로를 설계하여 Unsignedint 16bit포맷으로 각 손가락별 ADC값을 전송하도록 개발하였다. 손가락 관절의 경우 3개 관절로 구성하였으며 사용성을 고려하여 유연센서가 100°의 최대변형이 가능하도록 하였다. 또한, 전원 레벨, 사용자 손 사이즈, 습관 등 다양한 변수에 적응 가능하도록 손가락 움직임 모션 측정을 위하여 Fig.11와 같이 실시간 데이터를 처리하도록 개발하였다.

Fig. 11. Calculated Process of real-time finger motion data.

수신한 손가락 움직임 ADC값을 이용하여 Fig. 9의 저장된 최댓값, 최소 값을 이용하여 식 (5)을 적용하였다. 여기서 θ_f는 최종수정각, θ_thre는 손가락 회전제한각, θ_ADC는 현재 ADC값, θ_min는 ADC최소값, θ_max는 ADC최대값을 의미한다. 손가락 구부러짐 움직임의 추정을 수행하도록 하였으며 산출된 손가락 움직임 데이터는 모션센서 데이터 수집부에 UDP 통신으로 송출하여 모션센서 프로그램과 연동되도록 하였다.

\(\theta_{f}=\theta_{\text {thre }}-\frac{\left(\theta_{A D C}-\theta_{\min }\right)}{\left(\theta_{\max }-\theta_{\min }\right)} \times 100\)       (5)

햅틱 피드백부는 사용자가 착용하는 스마트글러브의 손가락 끝 영역에 진동 모터를 부착하였으며 모터 진동 설정 용이성을 위해 두 개의 인자로 정형화하여 모터 진동 주파수의 최대/최소값 영역을 제어 할 수 있도록 하였다. 진동 명령 신호는 적어도 하나 이상의 진동 데이터 셋을 포함하며 진동강도와 이에 대응하는 진동 유지 시간을 포함하도록 하였다. 진동 강도의 범위는 진동부의 동작 주파수 범위에 스케일링하여 진동 강도에 대응하는 진동 주파수를 산출하도록 하였으며 Fig.12과 같은 진동 피드백 알고리즘을 적용하였다. 진동의 세기는 1∼48사이의 범위로 오른쪽/왼쪽 10개 손가락을 통해 진동패턴을 적용하였으며 특정 가상 사물에 스마트글러브가 접촉하면 정해진 시간동안 생성한 진동 패턴을 UDP 통신을 통해 스마트글러브로 전달하여 MCU 출력값으로 진동 모터를 작동시키도록 하였다.

Fig. 12. Algorithm of Vibration feedback.

온도 피드백을 위하여 전도성 물질 여러 층의 양 끝에 온도 차이가 지속되어 한쪽 접합부에서 흡열하고 다른 접합부에서 발열이 일어나고 전류 방향을 반대로 하면 흡열과 발열이 반대로 일어나는 제베트효과를 역으로 이용한 펠티어소자를 스마트글러브에 적용하였다. 펠티어소자에 진입하는 전류량에 따른 열Q(W)를 식 (6)을 기반으로 산출하여 사용하는 장소의 온도가 변하더라도 일정한 감각을 느낄 수 있도록 하였다. 여기서 T_r은 현재 온도(℃), T_C는 도달 온도(℃), K는 열전도율(W/m·K), S는 표면적 (m²), T는 단열판 두께(M)를 의미한다.

\(Q_{1}(W)=\left(T_{r}\left({ }^{\circ} \mathrm{C}\right)-T_{C}\left({ }^{\circ} \mathrm{C}\right)\right) \times K(W / m \cdot K) \times S\left(m^{2}\right) / T\)       (6)

온도 피드백은 15℃∼45℃사이에서 10℃ 간격으로 온도를 변화하여 설정 패킷을 UDP통신으로 온도 설정값을 스마트글러브에서 펠티어소자로 구현하도록 개발하였으며 손동작 모션캡처 및 진동, 온도피드백을 위한 스마트글러브 사양은 Table3과 같다.

Table 3. Specification of smart glove.

3.4 비전/모션/햅틱 융합 하이브리드 센싱 통합 제어기술

하이브리드 센싱 기술은 1단계인 모션센서와 스마트글러브 연동, 이후 2단계인 비전센서 기반 사용자 위치데이터 연동의 2가지 단계로 구분되며 1단계의 경우 상기 2.3에서 논한 것과 같이 스마트글러브개발 시 UDP통신으로 모션센서 프로그램과 연동되도록 하였다. 2단계의 경우 사용자 머리에 부착된 액티브 마커로 수신된 위치데이터를 모션데이터가 리깅된 3D모델에 그대로 적용하는 경우 사용자의 머리 각도가 변할 때 사용자와 3D모델간의 크기 차이, 목 축의 Pivot차이에 의해 미끄러짐 현상으로 오차가 발생함에 따라 이를 해소하기 위하여 보정 알고리즘을 개발하였다. 이는 Fig.13과 같으며 캐릭터 사이징, 피봇 조절의 2단계로 구현하였으며 액티브 마커의 위치데이터를 적용할 모션 행위자는 차렷 자세, 고개 숙인 자세, 고개 젖힌 자세의 3번의 보정을 수행하도록 하였다.

Fig. 13. Calibration algorithm of hybrid sensing data.

Fig.11의 알고리즘 중 실제 사용자를 반영한 3D 모델의 크기조절은 액티브 마커 좌표의 높이로 추정할 수 있으며 이는 식(7)과 같이 산출된다.여기서 H_3D는 보정된 3D모델의 높이, H_C는 보정 전 3D 모델의 높이, ∆H는 사람과 3D모델의 높이 차이를 의미한다. 최적 Pivot은 3D모델의 머리 중점 좌표에서 액티브 마커 좌표를 기준으로 최근의 Pivot에서 다가간 지점과 멀어진 지점의 Pivot을 잡고, 보다 오차가 적은 지점을 도출하여 반복적으로 가장 적은 오차를 내는 조건을 도출하도록 하였으며 이는 식 (8)을 이용하여 산출한다. 여기서 m(Pivot)은 Pivot 오차, Pivot1 : 움직인 Pivot좌표, Pivot2는 원거리 Pivot 좌표를 의미한다.

\(H_{3 D}=H_{C} \times\left(1+\Delta H \div H_{C}\right)\)       (7)

\(\begin{array}{c} \text { Math.min }(\mathrm{m}(\text { pivot }), \mathrm{m}(\text { pivot } 1), \mathrm{m}(\text { pivot } 2))== \\ \mathrm{m}(\text { pivot }) \end{array}\)       (8)

개발 알고리즘을 적용하여 사용자 위치추적을 위한 비전센서 및 IMU기반의 모션캡처와 손동작 인식과 진동/온도 피드백이 가능한 스마트글러브를 융합한 하이브리드 센싱기술의 통합 제어 및 모니터링이 가능한 프로그램을 개발하였다. 이는 가상현실 콘텐츠 개발 프로세스 단축 및 활용도 증대를 위하여 Unity package 형태의 SDK형태로 개발하였으며 Fig. 14와 같다.

Fig. 14. Control & monitoring program of Hybrid sensing technology.

4. 가상현실 플랫폼 통합 안전운용 시스템 개발

4.1 가상현실 플랫폼에서의 다중 사용자 통합 안전운용 시스템

다중참여형 이동 가상현실 플랫폼에서는 HMD를 착용한 사용자의 자유도 구현에 따른 안전사고 방지가 필수적임에 따라 사용자 활동반경과 위치데이터를 기반으로 충돌 및 이탈상황에 대한 모니터링과사용자 HMD로 자동 경고 송출이 가능한 통합 운용시스템을 개발하였으며 이에 대한구성도는 앞서 논한 Fig. 2와 같다.

통합 안전운용 시스템은 제안하는 하이브리드 센싱 기술을 사용하는 경우와 VRHMD만 단독 사용하는 경우를 모두 고려하여 개발하였다. 하이브리드 센싱 기술과 연동 시 하이브리드 센싱 통합 제어 프로그램과 연동하여 사용자의 위치, 모션 데이터를 입력받아 사용자-사용자간, 사용자-물리구조물간, 플랫폼 체험공간 이탈상황에 대하여 실시간으로 거리를 연산산하고 충돌, 이탈 가능성을 분석해 모니터링 프로그램과 사용자 VRHMD에 경고를 송출하도록 하였다. VRHMD만 단독 사용하는 경우 Photon 서버 연동을 통해 HMD와 컨트롤러의 위치 데이터를 수신받아 연산하도록 하였으며 수신되는 위치, 모션 데이터의 경우 단순 거리산출뿐만 아니라 안전 모니터링 프로그램의 3D모델에 연동하여 직관적으로 모니터링이 가능하도록 개발하였다.

관리자용 다중 사용자 안전 모니터링 프로그램은 Fig.15과 같다. 수신되는 하이브리드 센싱 데이터또는 VRHMD의 위치, 모션 데이터를 3D view의 아바타에 적용 및 사용자간 거리를 표현하여 관리자가 직관적으로 모니터링이 가능하도록 개발하였으며 관리자가 사용자간 거리 및 위치를 즉각적으로 파악하고 대응하기 위하여 Topview형태의 2D 미니맵을 적용하였다. 사용자의 안전 상태 가시화는 상태패널과 시스템 로그에 표현하도록 개발하였다. 사용자 상태패널은 안전상태는 녹색, 사용자간 충돌은 빨간색, 사용자-물리구조물간 충돌은 파란색, 이탈상황은 노란색으로 가시화 하도록 하였다.

Fig. 15. Multi-user safety monitoring program.

각 위험상황의 안전거리 기준 설정은 ISO14122-3기반 사람 보폭과 ISO15535기반 사람 필길이 통계 데이터를 기반으로 사용자-사용자 안전거리 Defalut 80cm, 사용자-물리구조물간 안전거리 Defalut 100 cm로 권장하도록 개발하였다. 사용자-사용자 안전거리는 사용자 각각 80cm로 총 160cm이며 이는 사용자가 콘텐츠를 체험하여 팔동작 움직임이 있어도 충돌이발생하지 않는 최소거리 기준으로 설정하였다.

사용자 통합 안전운용 시스템은 관리자의 모니터링 기능과 함께 사용자 HMD에 시각 및 청각의 멀티모달 경고를 송출하도록 하여 사용자가 직접 위험상황에 대응하도록 하였다.

사용자의 뷰포트에 충돌/이탈 상황에 대한 그래픽데이터를 전송하여 투명 레이어처리를 통해 시각 요소 중첩으로 인한 몰입도 저하요인을 차단하는 시각적 피드백을 제공하며 충돌체 방향 및 이탈영역 방향에서의 스테레오 경고 사운드를 출력하여 청각적 피드백을 제공한다. 이 때 사용자와 사용자간의 경고는 붉은색으로, 사용자와 물리구조물간의 경고는 파란색으로 표현하여 직관적으로 충돌 요인을 인식할 수 있게 하며, 이탈경고에 대해서는 범위를 기준으로 노란색으로 표시하여 구분한다.

4.2 다중 사용자 동시 경고 송출 알고리즘

3.1에서 논한 것과 같이 통합 안전운용 시스템에서는 실시간으로 사용자의 위치 및 모션 데이터를 활용하여 안전상황을 분석하여 다수의 사용자의 HMD에 경고를 송출하게 되며 이에 대하여 연동을위해 콘텐츠에서 Unity package 형태로 SDK를 적용하도록 개발하였다. 해당 SDK를 콘텐츠에 적용하여 별도의 조작없이 즉각적으로 통합 안전운용 시스템의 경고를 수신하도록 하였으며 이에 대한 알고리즘은 Fig. 16과 같다. 수신되는 위치 및 모션 데이터를 시스템에서 운용하는 모니터링 프로그램 3D모델에 연동하여 Rigidbody를 생성하고 이를 이용하여 충돌여부를 분석하여 충돌 대상자가타 사용자인지, 물리구조물인지 구분하여 시각적, 청각적 경고를 Client인 사용자 HMD에 송출하도록 하였다. 이를 통하여 관리자의 개입 전 사용자가 즉각적으로 회피 및 이동이 가능함에 따라 위험상황 발생 요소를 최소화하도록 개발하였다.

Fig. 16. Algorithm of warning data send to multi-user HMD.

4.3 멀티모달 피드백

3.2절의 알고리즘을 통해 다중 사용자 HMD로 송출되는 경고는 시각적, 청각적 경고 피드백이 혼합된 멀티모달 피드백 기술을 제공한다. 이는 통합 안전운용 시스템에서 실시간으로 분석된 사용자와 사용자 간의 충돌, 사용자와 물리구조물간의 충돌과 안전영역 이탈 상황에 대해 사용자가 직접 대응 할 수 있도록 피드백하는 것을 의미한다. 충돌/이탈 상황 그래픽 가시화 및 사운드 경고는 사용자의 뷰포트에 충돌/이탈 상황에 대한 그래픽 데이터를 전송하여 투명 레이어 처리를 통해 시각 요소 중첩으로 인한 몰입도 저하 요인을 차단하는 시각적 피드백을 제공하며 충돌체 방향 및 이탈영역 방향에서의 스테레오 경고사운드를 출력하여 청각적 피드백을 제공한다. 시각적 피드백은 사용자와 사용자간의 경고는 붉은색으로, 사용자와 물리구조물간의 경고는 파란색으로 표현하여 직관적으로 충돌 요인을 인식할 수 있게 하며, 이탈경고에 대해서는 범위를 기준으로 노란색으로 표시하여 구분하였으며 Fig. 17과 같다.

Fig. 17. Graphic warning feedback. (a) User-user collision, (b) User-real object collision, (c) Out of the safe zone, and (d) Complex situation warning.

청각적 피드백의 경우 충돌체 또는 안전영역 경계부를 중심으로 볼륨조절을 통해 간섭 단계별 경고를 구현하였다. 사용자의 충돌경고 영역에 다른 사용자 또는 구조물이 있을 경우 충돌체 방향에서 스테레오 사운드로 경고 사운드를 출력하게 하며 사용자가 안전영역을 벗어나는 경우 사용자에게 안전영역의 경계방향에서 스테레오 사운드로 경고 사운드를 출력하게 하였다.

5. 실험 및 검증

5.1 하이브리드 센싱 기술 성능 검증

하이브리드 센싱 기술의 성능검증을 위하여 ①사용자 위치추적을 위한 적외선 기반 비전센서, ②3D 모션 트래킹을 위한 IMU기반의 모션센서, ③햅틱제스쳐를 구현하는 스마트글러브 등을 연동하여 다중 모션 및 3D인터랙션을 위한 가상-물리 객체간 정합률 실험, 진동패턴 동작 지연율과 온도 피드백의 오차율에 대한 검증을 위한 실험 등을 수행하였다. 가상-물리 객체간 정합률 실험 구성은 Fig.18과 같다. 6m×6m 물리/가상 공간에서 액티브마커, 모션센서, 스마트글러브를 착용한 사용자가 ㄷ자형으로 구성된 동선을 따라 이동하며 최종적으로 가상현실과 리깅된 실제 환경의 공을 잡는 형태로 가상-물리 정합도 및 진동/온도 피드백 성능 검증을 위한 실험을 진행하였다.

Fig. 18. Experimental set-up of Adjustment rate using hybrid sensing.

이때, 실제 환경의 공에 액티브마커를 부착하여 가상환경의 공에 리깅을 하였으며 센서를 부착한 사용자가 실제 환경속의 공을 접촉하는 것이 성공한 경우 녹색에서 붉은색으로 변경되도록 설정하여 실제-가상 정합률 실험을 수행하였다. 4명의 사용자를 대상으로 총 30회 반복 실험을 수행하였으며 수행한 실험의 결과는 Fig.19와 같이 평균 94.1%임을 검증하였다.

Fig. 19. Result of Adjustment rate using hybrid sensing.

스마트글러브의 진동 피드백 성능 검증을 위하여 VR콘텐츠에서 정해진 시간동안 생성한 진동패턴을 UDP통신을 통해 스마트글러브로 전송한 후 스마트글러브의 MCU출력값으로 진동모터를 작동시키고 동작 로그를 분석하여 성능검증을 수행하였으며 그 결과는 Fig.20과 같다. 5가지 진동 패턴을 부여하였을 때 평균 약 10ms이내로 동작함을 검증하였다.

Fig. 20. Result of vibration feedback test.

온도 피드백에 대한 온도 정밀도 분석을 위하여 15℃∼45℃ 사이에서 10℃ 간격으로 온도를 변화하여 설정 패킷을 UDP통신을 통해 스마트글러브로 전송하고 실제 구현된 온도를 적외선 온도계로 측정하여 검증을 수행하였다. 실험을 수행한 결과 25℃∼ 35℃ 영역에서 4℃이상의 높은 오차가 발생하였으며 평균 3.3℃ 온도 오차가 발생함을 확인하였으며 이는 사람이 느끼기에 큰 차이가 없으나 실제 가상현실 콘텐츠를 체험하며 인터랙션 부여 시 극적인 사실감 부여를 위하여 오차 최소화에 대한 추가 연구가 필요하다.

5.2 4인 사용자 대상 안전운용 효과성 검증

본 논문에서 제안하는 하이브리드 센싱 기반 다중 참여형 가상현실 이동 플랫폼의 안전 운용 효과성 검증을 위하여 알루미늄 프로파일로 구성된 6m×6m×2.4m(W×D×H)공간의 테스트베드에서 4명의 사용자가 위치추적을 위한 액티브 마커, 모션센서, 스마트글러브를 착용하여 VR콘텐츠를 체험하며 실험을 수행하였으며 구성은 Fig.21과 같다. 이때 실험에 참여한 사용자의 정보는 Table4와 같으며 가상현실 체험 경험이 있는 4명으로 구성하였다. 실제 사용자의 이동에 대한 경고송출 여부 및 실제 위험상황 방지에 대한 분석을 위하여 사용자-사용자간 안전거리 80cm, 사용자-물리구조물간 안전거리 100cm로 가정하였으며 이탈 안전거리는 테스트베드 구조물 외곽으로부터 100cm부터 경고를 송출하도록 설정하여 4명의 사용자에 대해 상황별 각각 10회 실험을 수행하였으며 참여 사용자에게는 충돌 및 이탈상황에 대한 멀티모달 피드백 경고 형태에 대하여 설명하였으며 경고 발생 시 움직임을 정지하고 손을 들도록하여 관찰이 가능하도록 하였다. 실험 절차는 Fig. 22과 같으며 정량적으로 사용자 이동 거리 분석을 위하여 테스트베드 바닥에 사용자-사용자간 충돌을 위한 붉은색, 사용자-물리구조물 충돌 분석을 위한 파란색으로 마킹하여 분석을 수행하였다.

Fig. 21. Experimental set-up of multi-user safety system.

Table 4. Information of test participants.

Fig. 22. Experimental task process.

사용자-사용자간 충돌, 사용자-물리구조물간 충돌, 안전영역 이탈, 복합 충돌 상황을 모사하여 실험을 수행하였으며 결과는 Fig.23과 같다. 관리자용 안전모니터링 프로그램과 사용자 HMD내 경고 송출 정확도는 Fig.23(a)와 같이 사용자-사용자간 충돌 평균 100%, 사용자-물리구조물간 충돌시 97.5%, 안전영역 이탈 시 97.5%, 복합 충돌 시 90.0%로 총 평균 96.3%임을 확인하였다. 안전영역 이탈 및 복합충돌 상황의 경우 순간적으로 비전 카메라의 수신영역을 벗어나게 됨에 따라 비교적 낮은 경고 송출 정확도가 도출되었다. 경고 송출에 따른 실제 안전 이슈 상황에 대한 방지 여부에 대한 실험 결과는 Fig. 23(b)와 같다. 사용자-사용자간 충돌 평균 97.5%, 사용자-물리구조물간 충돌시 95%, 안전영역 이탈 시 92.5%, 복합 충돌 시 92.5%로 총 평균 94.4%임을 확인하였다. 복합 충돌 상황 외 경고 송출 대비 낮은 결과를 보였으며 이는 사용자가 인지하였으나 동시에 충돌 또는 이탈에 대한 행동을 수행하고 있음에 따라 즉시 행동정지가 어려움으로 인하여 발생함을 확인하였다. 이에 따라 안전운용 효과성 제고를 위하여 단순 실시간 경고 외 사전 예측 경고 알고리즘이 필요할 것으로 사료된다. 복합 충돌 상황의 경우 경고송출 정확도 대비 보다 높은 결과가 나왔으며 이는 주변인의 소리, 물리적 구조물에 대한 사용자의 사전인지 효과로 인하여 발생한 것으로 분석되었다.

Fig. 23. Result of multi-user safety system. (a)Accuracy of warning data and (b)Accuracy of real-time dangerous avoidance.

6. 결론

본 논문에서는 기존 다중참여형 이동 플랫폼의 잦은 정합 오류, 몰입감 저하 등의 문제를 해결하기 위한 비전센서와 모션센서를 융합한 하이브리드 센싱기술, 스마트글러브를 이용한 햅틱 기술, 충돌, 이탈상황에 대한 사용자의 안전을 보장하면서 몰입도를 해치지 않는 멀티모달 피드백이 가능한 통합 안전운용 시스템을 제안하였으며 그 효과성을 검증하였다.

하이브리드 센싱 기술은 6m×6m공간에서 액티브 마커, 모션센서, 스마트글러브를 착용한 사용자가 ㄷ자형으로 구성된 동선을 따라 이동하며 최종적으로 가상현실과 리깅된 실제 환경의 공을 잡는 형태로 가상-물리정합도 및 진동/온도 피드백 성능 검증을 수행하였으며 평균 94.1%의 정합률을 검증하였다. 스마트글러브의 진동 피드백의 경우 진동패턴 생성 후 진동모터의 동작데이터를 비교 분석하여 성능검증을 수행하였으며 5가지 진동 패턴을 부여하였을 때 평균 약 10ms이내로 동작함에 따라 진동 피드백을 통해 사용자가 실시간에 근접하게 실감형 체험이 가능하도록 개발하였다.

온도 피드백은 15℃∼45℃사이에서 10℃ 간격으로 온도를 변화하며 실험한 결과 평균 3.3℃온도 오차가 발생함을 검증하였다. 이는 사람이 느끼기에 큰 차이가 없으나 실제 가상현실 콘텐츠를 체험하며 인터랙션 부여 시 극적인 사실감 부여를 위하여 오차최소화에 대한 추가 연구가 필요하다.

통합 안전운용 시스템의 효과성 검증은 4인 사용자를 대상으로 알루미늄 프로파일로 구성된 6m× 6m×2.4m(W×D×H)물리 공간의 테스트베드에서 사용자-사용자간 안전거리 80cm, 사용자-물리 구조물간 안전거리 100cm로 가정하였으며 이탈 안전거리는 테스트베드 구조물 외곽으로부터 100cm부터 경고를 송출하도록 설정하여 실험을 수행하였으며 안전이슈 상황 총 평균을 분석하였을 때, 경고 송출정확도는 96.3%이며 실제 방지 정확도 94.4%임을 검증하였다. 이는 사용자가 경고를 인지하였으나 동시에 충돌 또는 이탈에 대한 행동을 수행하고 있음에 따라 즉시 행동정지가 어려움으로 인하여 발생함으로 인하여 실제 방지 정확도가 상대적으로 낮은 것으로 분석되었다.

본 논문에서 제안하는 다중참여형 가상현실 이동플랫폼의 하이브리드 센싱 기술 및 통합 안전운용시스템은 기존, VR기기에서 설정되는 1인 중심 체험영역에서 콘텐츠 시나리오 기반 이동동선으로 구성된 체험공간의 한계성을 통합 안전운용 시스템 기반 가상현실 체험 시 발생하는 안전 이슈를 해소하고 하이브리드 센싱 기반 실감형 몰입감 부여 및 체험공간 확대를 통해 6m×6m, 12m×6m등의 넓은 체험공간에서 다수의 사용자가 자유로운 이동을 통한 사용자간 및 가상현실 콘텐츠간 상호작용이 가능하도록 하였다. 이를 통하여 문화기술 산업의 성장에 기여가 가능할 것으로 사료되며 항공, 철도, 로봇, 자동차 등의 다양한 융합산업에서 가상현실 시뮬레이터를 통한 교육훈련, 가상현실 환경에서의 협업 등으로 활용이 가능하여 새로운 융합 생태계 창출이 가능할것으로 예상된다.

향후 연구로는 스마트글러브의 온도 오차 최소화 및 하이브리드 센싱 기술의 상용화 연구를 수행하고자 하며 통합 안전운용 시스템의 예측경고 알고리즘 개발을 수행하고자 한다.