Virtual Reality Sickness Assessment based on Difference between Head Movement Velocity and Virtual Camera Motion Velocity

사용자 머리 움직임 속도와 가상 카메라 움직임 속도 간 차이에 따른 VR 멀미 측정

Abstract

Virtual reality (VR) sickness can have an influential effect on the viewing quality of VR 3D contents. Particularly, watching the 3D contents on a head-mounted display (HMD) could cause some severe level of visual discomfort. Despite the importance of assessing the VR sickness, most of the recent studies have focused on unveiling the reason of inducing VR sickness. In this paper, we subjectively measure the level of VR sickness induced in the viewing of omnidirectional 3D graphics contents in HMD environment. Apart from that, we propose an objective assessment model that estimates the level of induced VR sickness by calculating the difference between head movement velocity and global camera motion velocity.

1. 서 론

  관련 기술의 발전으로 인해 가상환경(virtual reality, VR) 3차원(3-Dimensional, 3D) 콘텐츠가 폭발적으로 증가하고 있다. 게임, 학습, 가상 채팅 등 다양한 VR 3D 영상 콘텐츠가 이미 시중에 나와 있으며, 이들은 콘텐츠를 360도 전방향에서 자유롭게 감상할 수 있다는 장점을 활용하여 현실감을 극대화하고 있다.

  하지만 이와 같은 현대의 360도 3D 몰입형 시청 환경에는 문제가 있다. 기존의 3D 시뮬레이션에서도 흔히 지적되던 문제인 멀미(motion sickness) 문제에서 벗어나지 못한다는 점이 있다[1].

  헤드 마운티드 디스플레이(head mounted display; HMD)는 기존의 평면 모니터와는 달리 3D 콘텐츠 내부에서 360도를 볼 수 있다. 이는 3D 콘텐츠 내부에서 몰입감 있는 체험이 가능하다는 장점을 가 질 수 있게 한다. 이러한 몰입형 특성으로 인해 모니터를 활용하는 3D 시뮬레이션보다 더 높은 수준의 멀미가 발생할 우려가 있다[2]. 아직은 이러한 VR 시청에서의 멀미 (이하 VR 멀미 용어로 사용)에 대 한 명확한 해결책이 존재하지 않고 있다.

  이러한 VR 멀미에 대응하기 위해서 여러 가지 방안이 강구되었다. VR 3D 영상 콘텐츠 제작자들은 영상 콘텐츠의 움직임을 최소화하고 순간이동을 하는 방식을 사용하거나[3], 또는 VR 3D 영상 콘텐츠의 사용 시간을 줄이는 단순한 방식으로 대처하고 있다.

  최근까지 VR HMD 환경에서 VR 멀미가 발생하는 이유를 알아내기 위해 여러 가지 연구가 이루어졌다. 기존의 2D 평면 디스플레이 대비 HMD의 멀미 발현에 관한 연구[4], VR 3D 콘텐츠의 특성이 다를 경우 VR 멀미 발현에 관한 연구[5], HMD 상에서의 360 VR 비디오의 가상 카메라 움직임 크기에 따른 VR 멀미 측정에 관한 연구[6], HMD의 시야각(field of view; FOV)의 차이에 따른 VR 멀미에 대한 연구[7] 등이 이루어졌다. 대부분의 기존 관련 연구들은 VR 멀미의 발생 조건 자체에 대해서만 연구한 경우가 많았다[6, 7]. 하지만, VR HMD 환경에서 VR 3D 콘텐츠 뷰 움직임과 사용자의 머리 움직임 간의 차이 정도에 따라 VR 멀미의 발현 정도가 얼마나 다르게 나타날 수 있는가에 대해서는 연구되지 않았다.

  본 연구에서는 사용자의 VR 3D 콘텐츠 내부에서의 사용자의 머리 움직임 속도와 가상 카메라 움직임 (virtual camera motion) 속도 간 차이에 따른 VR 멀미 발현 정도에 대해 측정하였다. 측정 결과를 바 탕으로 VR 3D 콘텐츠의 가상 카메라 움직임 속도와, 머리 움직임 속도 간의 차이 정도에 따라 발생하는 VR 멀미를 객관적으로 평가하기 위한 정량적 평가 모델을 제시한다.

 

2. 실험 방법

  본 논문에서는 사용자의 머리 움직임 속도와 가상 카메라 움직임 속도 간 차이에 따라 VR 멀미가 발생 할 것이라는 가설을 세우고, 이에 대해 연구하였다.

 

Fig. 1. Overall procedure of the proposed VR sickness modeling.

 

  Fig. 1은 본 논문에서 위의 가설을 증명하기 위해 제안한 방법에 대해 그림으로 표현한 것이다. VR 멀미의 측정에 대해서는 simulator sickness questionnaire(SSQ)[11]를 활용하였다. 본 논문에서는 VR 멀미 측정 실험 부분과 SSQ와 사용자의 머리 움직임 속도와 가상 카메라 움직임 속도 간 차이를 활용한 VR 멀미에 대한 모델링으로 구성하여 연구를 진행하였다. VR 멀미 모델링 부분은 3장에서 자세하게 설명한다. 본 논문에서는 사용자의 머리 움직임 속도와 가상 카메라 움직임 속도 간 차이에 대해 모션 속도 차이(motion velocity difference)로 정의하였다.

 

2.1 VR 멀미 측정 실험 설계(VR Sickness Measure Experimental Design)

   VR 3D 콘텐츠 시청 환경에서 사용자의 모션 속도 차이에 따른 VR 멀미 발현 정도를 측정하기 위한 실험을 진행하였다. 사용자의 머리 움직임과 가상 카메라 움직임에 대해 각각 측정하여, 사용자의 모션 속도 차이를 구하였다.

  VR 멀미 측정 실험에서는 세부적으로 두 가지 VR 3D 콘텐츠를 구성하였다. 하나는 모션 속도 차이가 발생하지 않는 VR 3D 콘텐츠다. 해당 콘텐츠는 사용자의 머리 움직임 속도와 가상 카메라 움직임 속도 간 차이가 없을 때는, 가상 카메라 움직임 속도의 증 가만으로는 VR 멀미가 증가하지 않는다는 가설에 대해 실험하기 위해 구성하였다.

  다른 하나는 인위적으로 모션 속도 차이를 발생시 키는 VR 3D 콘텐츠다. 해당 콘텐츠를 활용하여 사용 자의 머리 움직임 속도와 가상 카메라 움직임 속도 간 차이에 따른 VR 멀미의 발생 정도에 대한 주관적 측정 실험을 진행하였다[8]. 모션 속도 차이를 발생 시키는 VR 3D 콘텐츠는 2가지로 구성하였다. 모션 속도 차이의 방향이 끼치는 영향을 알아보기 위해, 피실험자의 고개 회전 속도 대비 가상 카메라 움직임 속도 비율이 1:0.5인 것과 1:1.5인 것을 혼용하였다.

  실험의 공정성을 위해 실험에 사용된 2가지 VR 3D 콘텐츠 모두 내부 3D 콘텐츠의 구성은 Fig. 2(a) 로 동일하다. 피실험자의 관점에서 볼 때 Fig. 2(b)와 같은 좌우안용 스테레오 뷰로 렌더링 된 구성을 가지고 있다.

 

Fig. 2. VR 3d graphics content used in subjective experiments. (a)Scene composition. (b) Left and right stereoscopic images rendered in the HMD.

 

  실험 기구는 가장 대중화된 HMD 기구인 OculusRift를 사용하였으며[2, 6, 7], Unity를 활용하여 간단하게 구성한 VR 3D 콘텐츠를 제작하여 실험을 진행 하였다.

  3D 시뮬레이터에서 가장 심각한 멀미를 발생시키는 행동이 회전 움직임(rotation)이다[9]. 효율적인 실험을 위해 피실험자에게 VR 3D 콘텐츠 내부에서 고개 회전을 하도록 지시하였다[10].

  전체 실험은 VR 3D 콘텐츠를 총 4번 시청하는 것으로 구성되어 있다. 모션 속도 차이가 없는 VR 3D 콘텐츠와 모션 속도 차이를 발생시키는 VR 3D 콘텐츠들을 각각 2회씩 구성하였다. 2개의 모션 속도 차이가 발생하는 VR 3D 콘텐츠는, 고개 회전 속도 대비 가상 카메라 움직임 속도 비율이 1:0.5인 것과 1:1.5인 것을 각각 하나씩 구성하였다.

 

2.2 피실험자 (Subject)

  본 실험에 참여한 11명의 피실험자는 전부 성인이며, 연령대는 20∼29세이다. 두 명은 여성이며 열한 명은 남성이다. 피실험자는 대학교 캠퍼스에서 모집 되었으며, 사전 stereofly 테스트에서 60sec 이하의 테스트 결과를 낸 사람들로 구성하였다[6]. 피실험자 대부분은 이전에 HMD 기기를 사용한 경험이 없었다.

  본 연구의 결과를 검증하기 위한 검증 실험에는 5명의 피실험자가 참여하였다. 한 명은 여성이며 네 명은 남성이다. 연령대는 20∼54세이다.

 

2.3 실험 장치 (Apparatus)

  실험에 사용된 HMD 장비는 Oculus Rift CV1이다. 이는 FOV 110도에 2160 × 1200 해상도를 가지고 있으며, 헤드 트래킹을 지원한다. 실험에 사용된 PC 는 Intel Xeon, 18GB DDR3 RAM, Titan XP, Windows 10 Pro 환경에서 진행하였다[7]. 본 실험을 진 행 전에 사용된 입체시(stereopsis) 테스트 장비로는 stereofly 테스트를 활용하였다.

 

2.4 VR 멀미 측정 실험 절차

  Fig. 3은 전체 VR 멀미 측정 실험 절차이다. 본 실험에서는 stereofly 테스트, 피실험자의 고개 회전 속도, SSQ에 대해 측정하였다.

Fig. 3. Overall procedure for subjective assessment of VR sickness.

 

Fig. 4. Subjective assessment using HMD.

 

  Fig. 3의 Stereo fly 테스트는 본 실험 전에 피실험자 스크리닝을 위해 진행되었다. 본 실험에서는 고개 회전 속도에 대한 측정을 진행하였으며, Fig. 4에서 보이는 것처럼 오큘러스 리프트를 착용하고 각각의 VR 3D 콘텐츠를 시청하였다. VR 3D 콘텐츠 시청 이후 피실험자들은 개별적으로 SSQ를 작성하였다. 피실험자의 고개 회전 속도 측정은 Oculus Rift를 이용해 이루어졌다. 피실험자가 VR 3D 콘텐츠를 시청할 때 프레임마다 Oculus Rift에서 사용자 머리의 X, Y, Z 축 각각의 변화량을 측정하여 계산하였다. 프레임마다 각각의 축에 대한 변화량을 누적 합산하고, 이를 각각의 VR 3D 콘텐츠 시청 시간으로 나누 어 평균 변화량(deg/sec)으로 환산하였다.

 

\(h_{m}=((x+y+z) / 3) / t\)       (1)

 

  여기서 \(h_m\)은 초당 평균 고개 회전 속도이다. 고개 회전 속도의 단위는 deg/sec이다. \(X\)는 피실험자의 \(X\) 축 고개 회전 속도의 총합, \(y\)는 피실험자의 \(Y\) 축 고개 회전 속도의 총합, \(z\)는 피실험자의 \(Z\) 축 고개 회전 속도의 총합이다. \(t\)는 VR 3D 콘텐츠 시청 시간 이다.

  본 실험에서 모션 속도 차이를 발생시키는 VR 3D 콘텐츠에서는 사용자의 고개 회전 속도와 가상 카메라 움직임 속도의 차이를 구현하였다. 구체적으로, 가상 카메라 모션 속도 \(c_m\)는 초당 평균 고개 회전 속도 \(h_m\)에 대해 수식 (2)와 같이 구해진다. 실험에서 사용된 가중치 변수 α는 0.5와 1.5가 있다.

 

\(c_{m}=\alpha \cdot h_{m}, \quad \alpha \in\{0.5,1.5\}\)       (2)

 

  모션 속도 차이 \(d_m\)은 초당 평균 고개 회전 속도 \(h_m\)에서 가상 카메라 움직임 속도 \(c_m\)을 뺀 값의 절댓 값이다.

 

\(d_{m}=\left|h_{m}-c_{m}\right|\)       (3)

 

  각각의 VR 3D 콘텐츠 시청 종료 이후 시행한 SSQ[11] 테스트는 피실험자의 VR 멀미를 측정하기 위해 진행되었다. 항목은 도표 1과 같다. 각각의 증상에 대한 정도는 none(없음, 0점), slight(약간, 1점), moderate(보통, 2점), severe(심함, 3점)으로 평가하 였다. 점수 계산 방식은 SSQ에서 TC(total score)를 활용하였다[2].

 

Table 1. Simulator sickness questionnaire factors

 

  VR 3D 콘텐츠를 시청하기 전에 최적의 상태에서 실험하기 위해 실험 전에 테스트용 Oculus Rift 장비를 피실험자에 맞춰 조정하였다. 피실험자가 얼굴 체형 상의 특징으로 인해 외부에서 빛이 새어 들어와 VR 3D 콘텐츠 시청 실험에서 몰입감이 떨어지는 것을 방지하기 위해, Oculus Rift의 코 부분을 가린 뒤 콘텐츠를 시청하였다.

  실험은 크게 네 번의 VR 3D 콘텐츠를 1분간 시청하는 방식으로 진행되었다. 이전 VR 3D 콘텐츠 시청 시에 발생한 VR sickness의 영향을 가능한 한 피하 고자, 한 번의 VR 3D 콘텐츠 시청 직후 20분의 휴식 시간을 부여하였다. 하루당 시청하는 VR 3D 콘텐츠의 수를 2개로 제한하였다[6], [12]. 실험 이전에 피실험자가 요청하면 실험을 즉각 중단할 수 있도록 안내하였다.

  하루에 진행하는 VR 3D 콘텐츠 시청 2가지는 서로 다른 특성을 가진 것으로 구성하여 진행하였다. 각각 모션 속도 차이가 없을 경우에 VR 멀미를 측정 하는 것 하나와 모션 속도 차이에 따른 VR 멀미를 측정하기 위한 것으로 구성하였다.

  VR 3D 콘텐츠를 시청하기 전에 피실험자에게 VR 3D 콘텐츠 내부에서 고개 회전을 하는 방식에 대한 지시를 주었다. 피실험자에 대한 지시는 “빠르게 고 개를 돌리세요” 혹은 “느리게 고개를 돌리세요” 둘 중 하나로 지시하였다. 피실험자의 실험 진행 편의성 을 위해 실험자가 먼저 사전 시범을 보였으며, 하루에 두 가지의 지시 중 한 가지 방식으로만 진행하였다.

  각각의 VR 3D 콘텐츠를 시청한 뒤 곧바로 해당 VR 3D 콘텐츠에 대한 SSQ를 작성하도록 하였다. 이를 활용하여 각각의 VR 3D 콘텐츠에 대한 VR 멀미 정도를 측정하였다.

 

3. 실험 결과 및 고찰

3.1 모션 속도 차이가 없는 콘텐츠에 대한 실험 결과

  11명의 피실험자를 대상으로 모션 속도 차이가 없는 VR 3D 콘텐츠에서 피실험자의 가상 카메라 움직임 속도에 따른 VR 멀미를 실험하였다. 모션 속도 차이가 없는 콘텐츠에서는 고개 회전 속도와 가상 카메라 속도가 일치한다. 이 경우 카메라 모션에 따 른 영상 장면의 전체 모션(global scene motion) 속도에 있어서 VR 멀미의 차이는 나타나지 않았다.

  Fig. 5는 피실험자 11명을 대상으로 각각의 VR 3D 콘텐츠에서의 SSQ 평균치를 의미하는 것이다. 왼쪽 막대그래프는 피실험자에게 빠르게 고개를 돌 리라는 지시를 내려 가상 카메라 움직임을 빠르게 한 실험 결과이다(\(h_m=29.64 \ deg/sec\)). 오른쪽 막대 그래프는 피실험자에게 느리게 고개를 돌리라는 지시를 내려 가상 카메라 움직임을 느리게 한 실험 결과이다(\(h_m=13.07 \ deg/sec\)).

 

Fig. 5. SSQ difference between "fast" virtual camera motion experiment and "slow" virtual camera motion experiment. the line bar represents each standard error.

 

  빠른 회전의 경우 SSQ 평균이 8.44이며 느린 회전의 경우 SSQ 평균이 8.52로, 양쪽이 거의 동일한 수준의 SSQ를 나타냈다. 가상 카메라 움직임 속도가 빠르더라도 사용자의 고개 회전 속도가 가상 카메라 속도와 일치한다면 SSQ의 변화는 거의 없다는 결과가 얻어졌다.

 

3.2 모션 속도 차이에 따른 VR 멀미 측정 실험 결과

  본 실험에서는 VR 3D 그래픽스 콘텐츠에서 모션 속도 차이가 나는 경우에 발생하는 VR 멀미에 대해 실험하였다. 실험결과 모션 속도 차이가 크면 클수록 SSQ가 증가하는 경향이 있다는 것을 확인할 수 있었다. 피실험자 중 VR멀미가 발생하지 않는 경우의 데이터는 제외하였다.

  Fig. 6은 가상 카메라 모션 속도와 사용자의 고개 회전의 불일치 정도에 따라 측정된 SSQ에 대해 구간별 평균을 나타낸 것이다. 그림에서 x축의 모션 속도 차이(motion velocity difference)는 고개 회전 속도 와 가상 카메라 모션 속도의 차이를 의미한다. 모션 속도 차이의 방향은 결과의 경향성에 큰 차이를 끼치 지 않았다.

 

Fig. 6. Average SSQ value according to motion velocity difference. The line bar represents each standard error.

 

  위 실험 결과를 바탕으로 모션 속도 차이와 SSQ의 관계를 회귀 분석해본 결과 다음 수식과 같이 모델링 되었다.

 

\(S=14.87 \log d_{m}+12.42\)        (4)

 

  여기서 \(s\)는 예측된 VR 멀미 지수 값을, \(d_m\)은 모션 속도 차이 (motion velocity difference)를 나타낸다. 흥미롭게도, 이러한 결과는 인간 시각 시스템의 인지 모델에서 주로 사용되는 Weber-Fechner’s law와 같은 로그 모델로 얻어졌다[13], [14].

  Fig. 6의 주황색 막대는 검증 실험 데이터의 평균을 표기한 것이다(\(d_m = 7.58, \ SSQ = 18.02\)). 본 실험에 참여한 적이 없는 5명의 피실험자를 대상으로 검증 실험을 진행하였다. 검증실험 결과 모션 속도 차이 \(d_m\)이 5.1∼10.0인 구간에서의 표준오차 범위 내임을 알 수 있었다.

 

4. 결 론

  본 논문에서는 VR 3D 콘텐츠 상에서의 사용자 행동과 VR 멀미의 관계를 연구하였다. VR 3D 콘텐츠와 사용자의 머리 움직임 속도에 따른 VR 멀미를 연구해 본 결과, VR 3D 콘텐츠 내에서의 시점이 빠르게 변화하더라도 사용자의 머리 움직임 속도가 시점 이미지의 변화에 해당하는 만큼 빠르게 변화한다면 VR 멀미는 증가하지 않음을 알 수 있었다.

  VR 3D 콘텐츠의 가상 카메라 움직임 속도와 사용자의 고개 회전 간 불일치를 주는 방식의 실험을 해 본 결과, 가상 카메라 움직임 속도와 사용자의 고개 회전 간의 차이인 모션 속도 차이가 크면 클수록 VR 멀미가 커짐을 알 수 있었다.

  VR 3D 그래픽스 콘텐츠 환경에서 VR 멀미를 발 생시키는 중요한 요인은 VR 3D 영상 콘텐츠의 빠른 이미지 모션 그 자체보다는 사용자의 머리 움직임과 VR 3D 콘텐츠의 가상 카메라 움직임 속도의 상호 간 불일치 때문에 발생하는 것으로 볼 수 있다. 본 실험 결과를 토대로 VR 멀미를 줄이기 위해서는 사용자의 움직임에 최대한 일치하게 VR 3D 영상 콘텐츠에서 반응하게 하는 것이 바람직하다.