A Study on Cyber Sickness according to Shader Application of 3D Objects in Virtual Reality Content

가상현실(VR) 콘텐츠에서 3D 객체의 셰이더 적용에 따른 사이버 멀미 연구

Abstract

Cyber Sickness, which occurs when using Virtual Reality contents, is the most serious problem in immersive Virtual Reality contents. The purpose of this study is to identify the effects and causes of graphic environmental factors on Cyber Sickness in Virtual Reality contents. To this end, cyber sickness experiments were conducted according to the light source and material settings, which are most commonly used in graphical environmental elements. Cyber Sickness measurements were based on the Simulator Sickness Question(SSQ) tool to derive an index that causes Cyber Sickness As a result of the analysis, the smaller the surface roughness, the higher the degree of Cyber Sickness, and the smaller the surface roughness, the smoother the surface of the 3D object, and many specular reflections from the light source occurred, which was confirmed to be the cause of great Cyber Sickness.

1. 서론

최근 가상현실(VR ; Virtual Reality)은 게임, 관광, 의료, 군사 등의 다양한 분야에서 주목받고 있으며, 이로 인해 가상현실에 적용할 수 있는 컴퓨터그래픽과 하드웨어가 발전하고 있다. 또한 이를 기반으로 하는 다양한 종류의 사실감 있는 가상현실 콘텐츠가 증가하고 있다. 특히 HMD(Head Mount Display) 와 주변 센서를 활용한 사용자의 움직임에 능동적으로 반응하는 콘텐츠들이 증가하고 있으며, 사고로 인한 인명 피해가 다수 발생할 수 있는 사격, 낙하 등과 같은 군사훈련을 가상공간에서 실제와 유사하게 체험을 할 수 있는 훈련 시뮬레이션 콘텐츠도 등장하고 있다[1]. 이러한 콘텐츠들은 3D 그래픽 기술력이 발달하면서 가시화되는 가상현실 공간과 실제 공간의 유사도가 높아지고 있다. 하지만 현실과 동일한 가상환경을 구현하는데는 많은 문제점들이 발생하고 있고, 이로 인해 몰입도 저하, 멀미 유발, 현실감 저하가 나타나고 있다[2]. 특히 가상현실에서 나타나는 사이버 멀미(Cyber Sickness)는 가상환경에서 몰입도를 갖는 콘텐츠를 이용하게 되면 멀미 증상이 발생하는 것을 말한다[3]. 주요 증상은 일반적인 불편감, 두통, 위의 부담감, 창백함, 발열, 피로, 졸음, 방향 상실 등이다[4]. 이외에도 자세 불안정성과 구역질(Retching) 등의 증상이 있다[5]. 그리고 가상현실 콘텐츠를 경험하는 사용자 중에는 실제 공간과 가상현실 공간과의 차이로 인한 시각과 전정 감각의 불균형으로 사이버 멀미 증상을 겪는 일이 발생하고 있다[6]. 가상현실 콘텐츠 이용 시에 나타나는 이러한 심한 사이버 멀미로 인해 가상현실 도구를 사용하는데 거부감을 갖는 사용자들이 늘어나고 있다. 대부분의 사이버 멀미 관련 연구들은 HMD에 가시화되는 영상이 사용자의 동작 속도 및 시야각, 시점 등을 맞추지 못해 사이버 멀미 증상이 나타난다는 연구들이며 그래픽환경과 관련된 연구는 이루어지지 않고 있다[7,8].

본 연구에서는 가상현실 콘텐츠 사용 중에 발생하는 하드웨어적인 원인의 사이버 멀미보다는 그래픽환경 요소가 사용자에게 미치는 사이버 멀미 영향과 원인을 확인하고자 한다. 그래픽 환경 요소에 의한 문제점들은 고성능 하드웨어의 출시에 의해 해결될 수도 있지만, 근본적으로 HMD와 같은 장치에 시각화되는 디스플레이 화면은 현실 장면과 차이가 발생할 수밖에 없다. 따라서 가상현실 콘텐츠에서는 사용자에게 제공되는 시각 정보를 실제 환경과 더 유사하게 표현하기 위해 3D 객체에 적용되는 셰이더 (Shader) 효과와 같은 그래픽 환경 요소를 적용하고 있다. 하지만 근본적으로 고해상도의 화상 정보가 낮은 해상도의 HMD에 가시화 되며 부각되는 다즐링문제(Dazzling Trouble)는 셰이더 효과 중에서도 가장 많이 사용되는 광원 및 재질 설정에 따라 가상현실을 체험하는 사용자에게 현실과 다른 3D 객체 표면의 반짝거리는 현상으로 시각적 감각 부조화를 일으켜 사이버 멀미의 원인 되는 것으로 파악되었고 그에 따른 영향을 파악하고자 본 연구를 진행하고자 한다.

이를 위해, 그래픽 환경에서 광원은 동일하게 유지하고 3D 객체의 표면을 표현할 때에 가장 많이 사용되는 표면 거칠기(Roughness)의 값에 따라 나타나는 사이버 멀미를 느끼는 정도를 확인할 필요가 있었으며, 표면 거칠기 값의 차이를 비교하기 위해 3D 객체의 재질을 금속성과 비금속성으로 설정하였다. 표면 거칠기 값은 단계별로 구성하고 가상현실 콘텐츠 사용자의 멀미 정도를 측정하는 실험에 사용하여 재질 설정에 따른 사이버 멀미에 미치는 영향과 원인을 확인한다.

2. 실험방법 및 범위

가상현실에서의 사이버 멀미 영향을 확인하기 위해 실험 장비를 지정하고 원활한 실험을 위해 환경을 통제하였다. 실험에 사용될 가상현실 콘텐츠는 사이버 멀미가 쉽게 유발될 수 있는 좁은 공간을 구성하기 위해 Fig. 1에서와 같이 선박 실내를 모델링하여 실험 콘텐츠로 사용한다. 그리고 그래픽적인 셰이더효과인 재질 설정에 따라 개인이 느끼는 사이버 멀미 정도를 측정한다.

Fig. 1. Ship interior content(Metallic/Non-Metallic).

2.1 실험 장비 및 환경

가상현실에서의 멀미 정도를 현실과 보다 비슷한 환경에서 측정하기 위해 HMD는 Fig. 2와 같은 HTC 사의 VIVE Pro를 사용하여 사이버 멀미 실험을 실시하였다. 최대 2880×1660의 해상도를 통해 주위 환경의 가상 윤곽을 완벽하게 구현하여 주변 상황을 정확하게 인식하는 것이 가능하기 때문이다. 그리고 실험 환경은 3 m×3 m의 플레이 환경을 확보하여 원활한 실험이 진행될 수 있도록 하였다.

Fig. 2. Test equipment(HTC VIVE Pro).

2.2 사이버 멀미 측정

사이버 멀미 측정은 16개 증상으로 사이버 멀미 정도를 측정하는 SSQ(Simulator Sickness Ques- tionnaire) 설문을 사용하였다. SSQ 설문은 케네디 (Kennedy, 1993)가 발표한 SSQ를 기반으로 개발되었으며, 16개의 증상을 3가지 요소로 분류하였다. 3 가지 요소는 안구 운동 불편(Oculomotor), 방향감각 상실(Disorientation), 구토 증상(Nausea)이다. 16개의 증상은 정도에 따라 0점에서 4점까지의 척도로 설정하였으며, 설문에 의해 작성된 점수를 이용하여 Table 1에서와 같이 각 증상 요소에 따라 가중치를 부여하여 사이버 멀미 종합점수를 측정한다. 본 연구에서는 3D 객체에 적용된 셰이더 효과 중에서도 재질 설정에 따른 사이버 멀미 영향을 확인하고자 함으로 종합점수만을 이용하여 실험 결과를 도출하였다. 또한 종합점수 계산방식을 수정하여 모든 증상의 정도를 최고 척도(4점)로 산정한 결과를 기준으로 종합점수의 최고점이 100점이 되도록 하여 비교 분석 정보의 가시성을 높였다.

Table 1. SSQ Calculation Method.

2.3 실험에 사용한 가상현실 콘텐츠

본 연구의 실험에 사용되는 VR(가상현실) 콘텐츠는 HMD를 착용한 사용자가 선박 내부의 좁은 실내 공간에서 제한적인 시점의 변화를 제공한다. 밀집된 공간 속의 여러 재질로 구성된 그래픽 객체들은 다양한 정도로 사용자의 사이버 멀미에 영향을 미치는 것으로 알려져 있다[9]. 이러한 차이를 확인하기 위해 Fig. 3과 같은 콘텐츠 배경을 선정하였다. 실험 시에는 바닥, 벽, 천장을 제외한 실내에 비치된 3D 객체 구조물들에 대한 재질의 셰이더 효과(금속/비금속, 표면 거칠기)를 변경하여 적용하였다. 또한 현실과 같은 몰입감을 주기 위해 광원은 낮 효과를 줄 수 있는 환경광과 실내조명 효과를 줄 수 있는 1개의점광원을 설정하였다.

Fig. 3. VR content background.

2.4 실험절차

Table 2는 본 연구에서 사이버 멀미의 정도를 측정하기 위해 설정한 실험조건이다. 실험조건에 따라 변경 셰이더 효과가 적용되는 3D 객체 재질은 표면 거칠기를 최소 1에서 최대 10까지 10개의 단계로 구분하였고, 재질 속성은 금속성과 비금속성으로 구분하여 실험을 진행하였다. 이때 가상현실 콘텐츠를 실행하는 3D 엔진에서의 표면 거칠기(Roughness) 값의 범위는 0.8에서 0.26으로 단계별로 0.06씩의 값을 감소시켰으며, 금속성을 표현하기 위해 금속성(Me- tallic) 값을 0.7로 설정하였다. 이는 표면 거칠기의 경우에는 해당 범위를 벗어나는 설정값은 가시화되는 3D 객체의 가시성이 너무 왜곡되어 표현되었고, 금속성의 경우에는 0.7 이상의 값에서는 콘텐츠 배경의 3D 객체를 식별할 수 없을 정도로 조명의 반사효과가 커졌기 때문이다. 사이버 멀미 실험 내용은 Fig. 4와 같으며 20세 이상의 성인 10명이 멀미가 없는 상태로 실험을 진행하기 위해 1일 2회 실험을 실시하였다. 이때 3D 객체 재질의 표면 거칠기 값은 동일한 단계로 설정하고 재질 속성만 금속성과 비금속 성으로 변경하였으며, 이월효과(Carryover Effect) 를 줄이기 위해 오전/오후로 구분하여 실험을 실시하였다[10]. 실험 기간은 10일로 각 피실험자는 3D 객체 재질의 표면 거칠기 단계 및 재질 속성(금속성/ 비금속성)에 따라 총 20회의 사이버 멀미 정도 측정에 대한 실험을 수행하였으며, 각 피실험자는 5분간 실험 콘텐츠를 체험하고 10분 이내에 SSQ(Simulator Sickness Questionnaire) 설문에 응답하도록 하였다.

Table 2. Experimental conditions.

Fig. 4. Cybersickness experiment.

3. 실험결과

본 실험의 결과는 제안한 실험절차에 따라 피실험자들이 가상현실 콘텐츠를 체험하고 SSQ 설문으로 사이버 멀미의 정도를 측정한 결과로 산출된 종합점수의 평균값으로 Table 3과 Fig. 5와 같다.

Table 3. Experimental result (Average of SSQ total score).

Fig. 5. Experimental result chart (Average of SSQ total score).

실험 결과를 통해 도출된 수치를 이용하여 3D 객체에 적용되는 셰이더 효과(재질의 금속성과 표면 거칠기)에 따라 사이버 멀미에 주는 영향을 분석해 보면 다음과 같다.

첫째로, 3D 객체의 재질 속성인 금속성과 비금속 성에 따른 사이버 멀미의 큰 차이는 없었지만 금속성 재질로 설정했을 때가 비금속성 재질 일 때 보다 멀미 정도가 다소 높게 나타나는 것을 확인 할 수 있으며, 그에 따라 표면 거칠기 값이 사이버 멀미에 더 많은 영향을 미치는 것을 알 수 있다.

둘째로, 사이버 멀미의 정도가 특정 구간에서 큰 폭으로 상승하는 것을 확인 할 수 있으며, 표면 거칠기가 6단계에서 7단계로 변경되는 구간에서 3D 객체의 재질 속성과 관계없이 사이버 멀미 정도가 가장 큰 폭으로 나타났다. 또한 3D 객체의 재질 속성이 비금속 성인 경우가 금속성인 경우보다 여러 구간에서 사이버 멀미 정도가 큰 폭으로 상승하는 것을 확인 할 수 있다.

실험 결과에 대한 분석을 토대로 이와 같은 결과가 나타나는 원인을 추적해 본 결과, 가장 큰 원인은 본 연구에서 설정한 셰이더 효과(재질의 금속성 과표면 거칠기)가 광원에 의해 나타나는 3D 객체 표면의 정반사와 난반사를 변화시켰기 때문이다. 이로 인해 3D 객체의 표면 거칠기 값이 작아질수록 표면이 매끄러워져 정반사가 나타나는 부분들이 많아졌고, 광원에 의해 3D 객체의 굴곡이 있는 부분에 반짝거리는 현상이 다수 발생되었다. 가상현실 콘텐츠를 체험하는 피실험자의 시점 움직임에 따라 불규칙하게 발생하는 이와 같은 현상은 모든 피실험자들에게 공통적으로 가장 큰 멀미감을 주는 원인이었다.

4. 결론

본 연구에서는 가상현실 콘텐츠에서 하드웨어적인 원인의 사이버 멀미보다는 그래픽 환경 요소가 사이버 멀미에 미치는 영향과 원인을 확인하기 위한 실험을 진행하였다. 3D 객체에 적용되는 셰이더 효과 중에서도 가장 많이 사용되는 광원 및 재질 설정에 따라 시각 정보가 부자연스러워 감각 부조화를 일으키는 사이버 멀미의 원인과 그에 따른 영향을 확인하였다.

3D 객체에 적용되는 셰이더 효과(재질의 금속성과 표면 거칠기)가 사이버 멀미에 미치는 영향을 연구하기 위해 넓은 공간과 높은 해상도의 HMD를 이용한 실험 환경을 구축하였으며, 사이버 멀미를 쉽게 유발 할 수 있는 실험 콘텐츠를 선정하여 3D 객체에 적용되는 셰이더 효과에서 재질의 금속성과 표면 거칠기 값을 변경하고 다수의 피실험자에 의한 실험을 진행하였다. 멀미 정도 측정은 SSQ 도구를 바탕으로 사이버 멀미를 유발시키는 지수를 도출하여 측정하였다. 본 연구를 통해 셰이더 효과에서도 표면 거칠기 값이 작을수록 사이버 멀미 정도가 높게 나타나는 것을 확인하였으며, 이는 3D 객체의 표면 거칠기 값이 작아질수록 표면이 매끄러워져 정반사가 나타나는 부분들이 많아지고 이로 인해 화면상에 나타나는 불규칙한 반짝임 현상이 피실험자들에게 큰 멀미 감을 주는 원인인 것으로 확인되었다.

본 연구는 가상현실 콘텐츠의 3D 객체에 적용되는 셰이더 효과 중에서도 재질의 금속성과 표면 거칠기의 변화가 가상현실 콘텐츠 사용자에게 미치는 사이버 멀미 영향과 그 원인을 규명한 것에 의의가 있다. 본 연구 결과를 통해 향후 현실과 유사한 몰입감을 조성하기 위해 3D 객체에 적용하는 셰이더 효과가 오히려 사용자들에게 더 큰 멀미를 발생시킬 수 있다는 것을 가상현실 콘텐츠 개발자들이 인지하여 콘텐츠 개발에 활용할 것을 기대한다. 추후에는 더 많은 셰이더 효과들과 광원의 관계에 대해 검증할 수 있는 연구를 진행하여 가상현실 콘텐츠 개발에 도움이 될 수 있도록 할 예정이다.