An Analysis of Recovery Rate and a Change of Depth Recognition After Watching 3D Videos

3D 영상 시청 시 콘텐츠에 따른 깊이 인지 변화와 회복도 분석

Abstract

The recent increase in the production of 3D contents allowed viewers to experience various 3D contents. However, some of the viewers did not experience 3D depth well. Several researches were done in past to measure viewers' 3D depth perception, but these researches were done with certain limitations. In this paper, we measured viewers' 3D depth perception and recovery rate in relation with the changes in binocular disparities, saturation, and brightness values after subjects' watching 2D/3D contents. The results showed that when viewers watched the 3D content with positive binocular disparities for 42 minutes, viewers felt that the object seemed to have moved further forward than it was before; with 3D content with negative binocular disparities, viewers felt that the object seemed to be moved backwards. We found that the locational differences of the object in positive disparities were greater than those in the negative binocular disparities. The recovery rate was computed by comparing two measured values of before and after watching 3D contents for 30 minutes. On average, after 30-minute break, viewers showed roughly 50 % of recovery rate.

1. 서 론

3D 콘텐츠의 제작이 많아지면서 사람들이 3D 콘텐츠를 많이 감상할 수 있게 되었다. 그러나, 소수의 사람들은 3D를 정확하게 인지하지 못한다. 3D를 인지하는 것을 확인하기 위한 방법으로는 티트무스 검사, 무선점 입체도, 티엔오 검사가 있다[1-5]. 그러나 기존의 검사들은 3D 깊이를 정확하게 측정하지 못했다. 3D 콘텐츠의 깊이를 측정하기 위해서 측정기를 제작하고 이론값과 측정값을 비교했다[6]. 그리고 디스플레이에 따른 3D 깊이 인지의 민감도에 대한 연구가 진행되었다[7].

3D 콘텐츠의 깊이를 인지하는 것에 대한 연구는 진행되었지만, 주로 제한된 환경에서 기본적인 깊이 정보를 측정하는 방식으로 진행되었다. 그러나 여러가지 상황에서의 깊이 인지 연구가 진행되어야 사람이 이질감을 느끼지 않는 3D 콘텐츠를 제작할 수 있다. 그리고 눈의 회복되는 시간을 알고 있다면 3D 효과를 주는 시간을 정할 수 있다. 그래서 3D 깊이 인지의 변화와 눈의 회복도에 대한 연구가 필요하다.

3D 깊이는 사람의 눈이 폭주(Convergence)와 조절(Accommodation)을 동시에 수행하면서 인지한다[8-12]. 폭주는 2개의 2D 이미지를 하나의 3D 이미지로 융합하는 과정을 말하며, 조절은 눈의 초점 이동을 의미한다. 조절에서의 눈의 초점은 모니터에 맞혀 있다.

Fig. 1은 3D 콘텐츠를 인식하는 방법을 나타낸 것이다. 양(+)의 양안시차에서는 오브젝트가 모니터의 뒤에 위치하고 음(-)의 양안시차에서는 오브젝트가 모니터의 앞에 위치한다. Fig. 1-a는 양의 양안시차를 가진 콘텐츠를 볼 때의 방법이고, Fig. 1-b는 음의 양안시차를 가진 콘텐츠를 볼 때의 방법이다. α는 폭주의 각이고 β는 조절의 각이다. 조절의 각에서 폭주의 각을 빼면 양안시차를 구할 수 있다[13-16].

Fig. 1.3D recognition : (a) Negative binocular disparity, (b) Positive binocular disparities.

본 논문에서는 3D 영상과 2D 영상을 시청했을 때의 3D 깊이 인지 변화를 확인하기 위해 3D 콘텐츠 깊이 측정기를 제작하고, 측정을 위한 콘텐츠를 제작했다[6]. 콘텐츠 제작은 -1°, -2°, 0.5°의 3개의 양안시차와 채도와 명도를 변화시킨 4개의 배경으로 12개의 콘텐츠를 제작했고, 오브젝트는 동일하게 파란색 원으로 제작했다. 실험에 사용한 영상은 ‘Gravity’이다. 실험은 이틀에 나누어 이루어졌으며 한번은 2D 영상을 42분 시청했을 때의 3D 깊이 인지변화를 측정했고 한번은 3D 영상을 42분 시청했을 때의 3D 깊이 인지 변화를 측정했다. 3D 콘텐츠 깊이 측정기를 통해 피험자가 인지하는 3D 깊이를 측정하고 영상을 시청한 뒤에 다시 3D 깊이를 측정했다. 그리고 3D 깊이 인지 능력이 회복되는 것을 확인하기 위해 30분의 휴식을 가진 뒤에 3D 깊이를 측정했다.

본 논문은 다음과 같이 구성되어 있다. 2장은 관련 연구로써 기존의 3D 영상을 시청했을 때 눈의 피로도와 3D 깊이 측정에 관해 분석했고, 3장은 3D 콘텐츠 깊이 측정기의 구성과 측정 방법을 기술했고, 4장은 3D 깊이를 측정하기 위해 콘텐츠 제작에 관하여 기술했다. 5장은 3D 깊이 실험 몇 결과를 기술했다. 6장은 결론부분이다.

 

2. 관련 연구

티트무스 검사, 무선점 입체도, 티엔오 검사 등이 기존의 입체시 검사도구로 사용되었다. 티트무스 검사는 세 부분으로 구성되어있다. 첫 번째는 파리 도형이다. 파리 도형은 음의 양안시차를 가지고 있어서 화면보다 앞으로 나와있다. 피험자는 앞으로 나와있는 파리 도형을 집는다. 두 번째는 9개의 사각형으로 이루어져있다. 사각형안에는 상하좌우에 원이 있다. 4개의 원 중에서 하나만 음의 양안시차를 가지고 있다. 피험자는 음의 양안시차를 가지고 있는 원을 찾는다. 세 번째는 동물들이 있는데 각 열마다 하나의 동물만 음의 양안시차를 가지고 있다. 피험자는 음의 양안시차를 가지고 있는 동물을 찾는다. 무선점 입체도는 무선점으로 이루어진 그림이다. 두 장이 한 쌍을 이룬다. 한 그림의 위치를 다른 그림의 위치 쪽으로 이동시켜 두 번째 그림을 만든다. 입체경의 두 렌즈를 이 두 그림에 대면 입체을 볼 수 있다. 티엔오 검사는 적록안경과 입체 이미지를 이용한다. 안경 없이 볼 수 있는 오브젝트가 있고 안경을 써야 입체시로 보이는 이미지가 있다. 피험자에게 몇 개의 이미지가 있는지 물어보는 방식으로 검사가 진행된다[1-5].

기존의 입체시 검사도구로는 정확한 3D 깊이 측정이 불가능 하기 때문에 정확한 3D 깊이를 측정하기 위해서 측정기와 콘텐츠를 제작했다. 콘텐츠는 농구공과 육면체, 나비를 오브젝트로 제작했다. 측정기를 이용하여 안간거리가 6.5cm인 사람들의 깊이 검사를 진행했다. 피험자들로부터 얻는 데이터와 이론값을 비교했다. 측정값이 이론값보다 약간 크게 나타났고 오브젝트의 모양에 따른 차이는 없었다[6].

3D 깊이에 대한 연구는 컨트롤 포인트를 이용해서 진행되었다. 3D 콘텐츠를 보여주고 피험자가 컨트롤 포인트를 움직여서 3D 깊이를 맞춘다. LED TV와 OLED TV에서의 3D 깊이를 측정하여 비교했다. LED TV보다 OLED TV에서 더 높은 민감도를 보였다[7].

 

3. 3D 콘텐츠 깊이 측정기

3D 깊이를 측정하기 위해서 측정기를 제작해야한다. 측정기는 사람들이 접하는 3D 콘텐츠에서 많이 사용되는 -2°에서 0.5°의 양안시차를 가지는 콘텐츠의 깊이를 측정할 수 있어야 한다.

기존의 3D 콘텐츠 깊이 측정기는 2개의 모니터와 반사거울, 하프 미러를 사용해서 제작했다. 유동 모니터의 화면을 반사 거울에 반사시키고 하프 미러를 통해 다시 반사시켜 피험자의 눈에 닿는다. 기존의 측정기는 2번의 반사가 일어나기 때문에 오차가 커질 수 있다. 그래서 본 논문에서는 오차를 줄이기 위해 음의 양안시차에서 한번의 반사를 통해 피험자의 눈에 닿게 제작했다[6].

Fig. 2-a은 측정기의 내부 구성이다. 피험자가 콘텐츠를 보기 위한 접안부가 있고, 접안부 반대편에 3D 콘텐츠를 보여주는 모니터가 있다. 접안부와 모니터 사이에 박스가 있다. 박스 안에는 대각선으로 하프 미러가 위치한다. 박스의 상단에는 양의 양안시차를 측정하기 위해 반사 거울과 음의 양안시차를 측정하기 위한 LED가 있고 박스의 하단에는 양의 양안시차를 측정하기 위한 LED가 있다. 측정기 좌측에는 레버가 있는데 레버를 이용해서 하프 미러가 있는 부분을 움직인다. Fig. 2-b은 제작된 측정기의 모습이다.

Fig. 2.3D depth-measuring instrument : (a) Internal configuration, (b) 3D depth-measuring instrument.

Fig. 3은 측정기의 작동원리를 보여주는 그림이다. 모니터에 3D 콘텐츠를 보여주고 박스를 움직여서 3D 깊이를 맞춘다. 모니터의 화면은 하프 미러를 통과해서 피험자의 눈에 닿는다. 음의 양안시차의 깊이를 측정할 때는 박스 상단의 LED에 불이 들어오고 하프 미러에서 반사되어 피험자의 눈에 닿는다. 양의 양안시차의 깊이를 측정할 때는 박스 하단의 LED에 불이 들어오고 하프 미러를 통과해서 박스 상단의 거울에 반사되고 하프 미러에서 반사되어 피험자의 눈에 닿는다. 박스는 레버를 통해 움직인다.

Fig. 3.operation principle of 3D depth-measuring instrument.

 

4. 깊이 인지 실험 콘텐츠

일정한 양안시차로 3D 깊이를 측정하기 위해서 3D 콘텐츠를 제작해야 한다. 실험에 사용한 콘텐츠의 오브젝트는 파란색 원으로 동일하다. 양의 양안시차와 음의 양안시차 사이의 3D 깊이 차이를 확인하기 위해 -1°, -2°, 0.5°의 양안시차를 이용하여 제작했다. 그리고 채도와 명도의 변화에 따른 3D 깊이 차이를 확인하기 위해 배경색상을 채도를 33%, 66%로 두고 밝기를 100%로 두는 2가지 색상과 채도를 100%로 두고 밝기를 33%, 66%로 두는 2가지색상을 사용하여 제작했다. 3가지 양안시차와 4가지의 배경색상으로 총 12개의 콘텐츠를 제작했다. 콘텐츠는 After Effect를 이용해서 제작했다.

Fig. 4은 실험에 사용된 콘텐츠이다. 위에서부터 -1°, -2°, 0.5°의 양안시차를 가지고, 좌측부터 채도33%·명도100%, 채도66%·명도100%, 채도100%·명도66%, 채도100%·명도33%이다. 좌우의 원은 0°의 양안시차로 제작했으며, 측정을 시작할 때 2D의 위치에서 시작하기 위해 기준점으로 사용했다.

Fig. 4.Contents.

 

5. 실 험

5.1 실험 절차

실험은 2D 영상과 3D 영상을 보는 것으로 진행되었는데, 영상을 시청 후 피험자의 눈이 완전히 회복되지 않을 수 있기 때문에 2번에 나눠서 진행되었다. 한번의 실험은 3번의 측정과 한번의 영상 시청으로 진행되었다.

Fig. 5은 실험 과정을 도식화한 것이다. 3D 콘텐츠 깊이 측정기를 이용해서 3D 깊이를 측정한다. 측정에는 -1°, -2°, 0.5°의 양안시차를 준 콘텐츠를 보여준다. 콘텐츠를 보고 좌측의 레버를 이용해서 삼각형을 3D 오브젝트와 동일 평면상에 위치하도록 맞춘다. 측정이 끝났다면 영상을 시청한다. 영상은 ‘Gravity’를 시청했으며, 42분씩 한번은 3D 영상으로 시청했고 한번은 2D 영상으로 시청한다. 영상은 밀폐된 공간에서 피험자 혼자서 시청한다. 영상 시청이 끝난 후, 영상을 시청하기 전과 영상을 시청한 후의 3D 깊이의 차이를 비교하기 위해 3D 깊이를 다시 측정한다. 측정 후, 30분의 휴식을 가진다. 휴식을 가진 뒤, 눈이 회복된 것을 확인하기 위해 3D 깊이를 다시 측정한다. 실험 시간은 평균적으로 1시간 30분씩 2회 총 3시간이 소요되었다.

Fig. 5.Experiment procedure.

측정에 사용한 콘텐츠는 양의 양안시차와 음의 양안시차의 3D 깊이 차이와 채도와 명도 변화에 따른 3D 깊이 변화를 확인하기 위해 제작한 콘텐츠를 이용해서 측정한다. 양의 양안시차와 음의 양안시차의 3D 깊이 차이를 확인하기 위해 -1°, -2°, 0.5°의 고정된 양안시차를 준 콘텐츠를 이용했고 채도와 명도 변화에 따른 3D 깊이 변화를 확인하기 위해 배경의 채도와 명도를 다르게 제작한 콘텐츠를 이용한다.

5.2 실험 결과 및 분석

실험은 25명이 참가했으며, 피험자의 나이는 20세에서 28세 사이(평균나이 22.6세)이다. 측정으로 얻은 데이터를 양안시차에 별로 평균을 구하여 결과값을 구한다. 3D 영상과 2D 영상을 시청했을 때의 3D 콘텐츠 깊이 인지 변화를 보기 위해 영상 시청 전과 시청 후의 값을 비교했고, 회복도를 보기 위해서 영상 시청 전과 30분 휴식 후의 값을 비교했다. 21명(4명은 측정값이 이론 값과 달라서 3D 인지 능력이 떨어진다고 판단하여 제외했다.)의 피험자들의 데이터를 비교·분석했다.

영상 시청 전의 3D 깊이 측정값과 이론값이 다르게 나왔는데 측정값이 이론값보다 크게 나타났다[6]. Table 1은 측정값의 평균과 이론값을 나타낸 것이다. -1°, -2°, 0.5°에서 모두 측정값이 이론값보다 크게 나타났다. 그래서 영상 시청 전에 실제 측정한 값을 기준으로 데이터를 비교·분석했다.

Table 1.Average of theoretical values and measured values

5.2.1 양의 양안시차와 음의 양안시차에 따른 깊이 인지 변화량

Fig. 6은 영상 시청 직후의 3D 깊이 인지 변화량을 양의 양안시차와 음의 양안시차로 나누어 나타낸 것이다. 변화량은 영상 시청 전의 측정 값에서 영상 시청 직후의 측정값을 빼서 구했다. 3D 영상을 시청했을 때가 2D 영상을 때보다 변화가 큰 것을 볼 수 있다. Fig. 6-a은 양의 양안시차를 가진 콘텐츠를 보았을 때의 변화이다. 3D 영상을 시청했을 때 양의 양안시차에서는 오브젝트의 위치가 앞으로 더 나와 보이며, 전체적으로 0.65(±0.10)cm의 변화량을 가진다. 그러나 음의 양안시차를 나타낸 Fig. 6-b에서는 3D 영상을 시청했을 때 오브젝트의 위치가 뒤로 들어가 보이며, 전체적으로 0.40(±0.10)cm의 변화량을 가진다. 양의 양안시차를 가지는 콘텐츠를 보았을 때가 음의 양안시차를 가지는 콘텐츠를 보았을 때 보다 오브젝트의 위치변화가 더 크게 나타났는데 약 0.25cm정도의 더 큰 변화가 있다.

Fig. 6.3D Depth change by binocular disparity : (a) Positive binocular disparity, (b) Negative binocular disparity.

5.2.2 콘텐츠의 배경 변화에 따른 깊이 인지 변화

채도와 명도에 따른 3D 깊이 인지 변화를 알아보기 위해 추가실험을 진행했다. 총 15명이 참가했으며 11명(4명은 측정값이 이론 값과 달라서 3D 인지 능력이 떨어진다고 판단하여 제외했다.)의 데이터를 비교·분석했다. Fig. 7은 2D 영상과 3D 영상을 시청하고 3D 깊이 측정 콘텐츠의 채도와 명도를 변화시켰을 때의 3D 깊이 인지 변화를 나타낸 것이다. 2D 영상을 시청했을 때와 3D 영상을 시청했을 때의 차이는 없었다. 양안시차에 따른 차이는 있었다. 차이는 양의 양안시차에서 음의 양안시차를 빼서 구했다. 채도의 변화보다는 명도의 변화에서 더 큰 차이를 보였으며, 음의 양안시차보다는 양의 양안시차에서 더 큰 차이를 보였다. 양의 양안시차는 오브젝트가 앞으로 나와 보였으며 음의 양안시차는 뒤로 들어가 보였다.

Fig. 7.3D depth variation according to saturation and brightness change : (a) Differences between negative binocular disparity and positive binocular disparity in watching 3D video, (b) Difference between negative binocular disparity and positive binocular disparity in watching 2D video

5.2.3 3D 영상 시청 시 3D 깊이 인지 회복도

Fig. 8은 3D 영상을 시청했을 때의 깊이 인지 변화량과 회복도를 나타낸 것이다. 변화량은 영상 시청 전의 측정값에서 영상 시청 직후의 측정값을 뺀 것이다. 회복도는 영상 시청 후 30분 휴식을 가진 뒤의 측정값에서 영상 시청 직후의 측정값을 뺀 것이다. 회복도가 변화량과 같다면 깊이 인지 능력이 완전히 회복된 것이다. Fig. 8에서 회복도는 변화량의 30%에서 100% 정도의 값을 가진다. 평균적으로 50% 이상 회복된 것을 볼 수 있으며, 사람마다 회복도는 큰 차이를 보인다. 그러나 회복도가 큰 집단과 작은 집단을 구별할 수 있는 요소나 집단 안에서의 상관요소는 없었다.

Fig. 8.Change rate and recovery rate in watching 3D video.

5.2.4 설문

Fig. 9는 설문조사의 결과를 보인 것이다. 멍해짐, 이중상, 흐릿함, 피로 등을 조사했다. 설문조사결과 2D 영상을 시청했을 때 보다 3D 영상을 시청했을 때 멍해짐, 이중상, 흐릿함, 피로 등이 더 심해지는 것을 통해서 3D 영상을 시청하면 눈이 더 피곤해지는 것을 알 수 있다. 그리고 30분 휴식을 가진 뒤에 영상 시청 전과 비슷해진다.

Fig. 9.Survey : (a) Before watching video, (b) After watching video, (c) After take 30-minutes breaktime.

5.2.5 결과 정리

실험으로 측정한 데이터를 통해 음의 양안시차와 양의 양안시차에 따른 3D 깊이 변화와 배경 변화에 따른 3D 깊이 변화 그리고 3D 깊이 인지에 대한 회복도를 분석했다. 3D 영상을 시청했을 때 음의 양안시차보다 양의 양안시차의 콘텐츠에서 더 큰 깊이 변화를 보였고 채도의 변화보다 명도의 변화에서 더 큰 변화를 보였다. 설문에서는 2D 영상보다 3D 영상을 시청했을 때 더 피곤하고 이중상이 생겼으며 어지러움이 발생했다.

 

5. 결 론

본 논문에서는 사람들이 인지하는 3D 깊이를 측정하기 위해 3D 콘텐츠 깊이 측정기와 3D 콘텐츠를 제작했다. 3D 콘텐츠 깊이 측정기는 기존의 측정기보다 오차를 줄였다. 그리고 사람들이 인지하는 3D 깊이의 변화를 확인하기 위해 3D 영상과 2D 영상을 시청했을 때의 3D 깊이를 측정했다. 3D 깊이를 측정하는데 사용한 콘텐츠는 양안시차와 명도, 채도를 변경하여 12개의 콘텐츠를 제작했다. 영상 시청 전, 영상 시청 직후, 30분 휴식 후로 나누어 3D 깊이를 측정했다. 측정한 피험자들의 3D 깊이를 비교·분석한 결과 3D 영상을 시청 할 때 3D 깊이가 영상 시청 전보다 작게 나타났다. 양의 양안시차를 가진 콘텐츠가 음의 양안시차를 가진 콘텐츠보다 3D 깊이 변화가 크게 나타났다. 전체적으로 깊이가 감소하는 경향을 보였고 양의 양안시차를 가진 콘테츠가 약 0.25cm만큼 더 많이 작아졌다. 오브젝트의 위치는 양의 양안시차에서 앞으로 나와 보였고 음의 양안시차에서 뒤로 들어가 보였다. 그리고 콘텐츠의 배경이 채도가 변화는 것보다 명도가 변할 때 3D 깊이의 변화가 더 크게 나타났다. 음의 양안시차보다는 양의 양안시차에서 더 큰 변화를 보였으며, 오브젝트의 위치는 양의 양안시차에서 앞으로 나와 보였고 음의 양안시차에서 뒤로 들어가 보였다. 영상을 시청한 뒤 30분 후에 회복도를 측정하였다. 회복도는 30분 후 30%에서 100% 정도의 회복도를 보이며, 전체적으로 약 50% 정도를 회복했다.

본 논문에서는 피로도만을 측정한 기존의 연구들과 달리 3D 깊이와 채도, 명도를 이용하여 시각적인 불편함을 측정했다. 3D 콘텐츠 깊이 측정기를 통해 측정한 깊이 변화량으로부터 음의 양안시차보다 양의 양안시차에서의 3D 깊이 변화가 더 큰 것을 알 수 있었다. 아울러, 채도보다 명도의 변화에 따라서 3D 깊이의 변화가 더 큰 것을 확인할 수 있었다. 이 결과를 통해 양안시차와 명도를 이용하여 시청자가 더 몰입할 수 있는 영상을 제작할 수 있고 3D 영상을 시청하면서 일어나는 시각적인 불편함을 줄일 수 있다.

본 논문에서 사용한 3D 콘텐츠 깊이 측정기는 양의 양안시차의 3D 깊이를 측정할 때 오브젝트가 반사거울에 한번 반사되어 피험자의 눈에 닫기 때문에 오차가 커질 수 있다. 또한 영상을 시청하는 도중의 3D 깊이 인지 변화는 측정하지 못했으며 눈이 회복되는 것을 확인했지만 회복도에 영향을 미치는 요소를 찾지 못했다.

추후 연구 과제로서, 3D 영상을 시청하는 도중의 눈의 변화와 어떤 요소에 의해 회복도가 달라지는지에 대한 다양한 실험이 수행되어야 한다. 이를 통해 3D 콘텐츠를 제작할 때 양안시차에 따른 사용시간과 사용 빈도를 제시하여 3D 콘텐츠를 효율적으로 제작하기 위한 가이드라인을 제시하는 것이 앞으로의 목표이다.