Evaluation of Human Factors on Subtitle Content Displayed in Augmented Reality

증강현실 자막 콘텐츠 표시에 대한 휴먼팩터 평가

Abstract

In this study, the effect of augmented reality subtitle content on users was investigated by using a subjective evaluation method and a statistical approach. The human factor was defined as subtitle position and font size. Then, we analyzed the effects of the defined factors on human eye comfort and visibility. Ten participants conducted related survey evaluation tasks with a 1-minute break after viewing the content for 3 minutes.

1. 서론

증강현실(AR:AugmentedReality) 기술은 현실 세계 위에 가상 콘텐츠를 증강하여 디스플레이하고 상호작용 함으로써 사용자에게 정보를 효율적으로 제공하는 기술이다. 최근 코로나19 이후 증강/가상현실(AR/VR:Virtual Reality)기술에 대한 수요가 증가하고, 산업이 성장함에 따라 여러 분야에서의 응용 사례가 증가하고 있다. 특히 증강현실은 AR 장치를 이용해 현실세계 위에 필요한 정보를 제공하거나 실감형 콘텐츠를 제작하는데 교육, 문화, 게임, 엔터테인먼트 등 다양한 분야에서 활용되고 있다. 증강현실을 구현하기 위해서는 현실세계와 가상콘텐츠를 동시에 보여줄 수 있는 디스플레이 장치가 필요하다. 대표적으로 스마트폰의 카메라를 이용해 가상콘텐츠를 합성하는 포켓몬Go 같은 앱이 있다. 최근에는사용자가 안경처럼 활용할 수 있는 시스루(see-through) 방식으로 제작된 AR안경을 이용하는 것이 주목받고 있다. AR 안경은 광도파관(optical waveguide)기술로 가상 콘텐츠를 현실 세계로 투영해 동시에 보여줄 수 있다. 광도파관 기술이란, Fig. 1[1]에 보인 것처럼 AR안경의 상단 또는 측면 즉, 렌즈를 가리지 않는 위치에 광원을 배치하고, 사용자의 눈앞에 상을 맺힐 수 있도록 광원의 경로를 지정해주는 기술이다. 이때 다수의 렌즈(lens), 광 합성기 (opticalcombiner)등의 광학 장치를 이용한다. 최근에는 구글, 애플, 소니, 메타, 삼성 등 세계적인 대기업에서도 이를 이용한 AR안경을 개발 중이다. 하지만 현실 세계의 물체에 대한 영상정보와 증강 콘텐츠로부터 입사되는 영상정보 간의 차이가 어지럼증을 유발하기도 한다. 이러한 시각적 피로에 기인하여 발생하는 증상들은 사이버 멀미라고 불리며 대표적으로 3차원 디스플레이에서 흔히 나타나는 증상이다. 이러한 연구를 휴먼팩터라고 하며 인간의 신체적 특성과 한계를 이해하고 이를 기반으로 시스템을 설계하여 인체 안정감, 편안함, 만족감을 제공하는 것을 목적으로 한다.즉, 인간의 인지 메커니즘 사이의 불편함을 유발하는 사이버 멀미의 요인을 분석하여 정의하고, 이를 평가하기 위한 최적의 파라미터를 추출하고, 평가 방법을 설계하여 이를 규명하는 연구 [2]이다.사이버 멀미의 가장 대표적인 현상은 두통, 눈의 피로, 메스꺼움, 어지러움, 구토, 현기증 등이 있다.기존에 진행된 휴먼팩터 연구로는 3D 디스플레이[3-7], 초 다시 점 디스플레이[8], 다 화면 3차원 디스플레이[9] 등이 있다.이와 마찬가지로 증강현실 콘텐츠에 대해서도 시각피로의 주된 원인을 규명하고 사용자 친화 측면에서 콘텐츠를 제작하는 것이 필수적이다. 최근 가상/혼합현실에 관한 휴먼팩터 연구[10-11]도 활발히 진행 중이지만, 증강현실 디스플레이에서의 휴먼팩터 연구는 아직 시작 단계에 있고, 다양한 요인들이 관련되어 있어 최적의 파라미터를 찾는 연구가 필요하다. 또한 증강현실 콘텐츠의 유형과 활용 용도에 따라 사이버 멀미를 유발하는 요소가 달라지기 때문에, 활용 분야에 따라 적합한 휴먼팩터 평가기준을 세우고 분석이 이루어져야 한다.

Fig. 1. Augmented reality and optical wave-guide technology in AR glasses[1] (inset).

휴먼팩터를 평가하는 방법은 객관적 평가와 주관적 평가가 있다.객관적 평가는 뇌파, 심전도, 근전도 등의 생체신호를 측정하여 분석하는 것이고, 주관적 평가는 피험자에게 설문문항을 제공하고, 평가 때마다 설문을 작성하는 방식이다. 객관적 평가는 측정데이터를 지표로 평가하므로 상관관계 분석에 어려움이 없지만, 주관적 평가는 설문문항의 설계에 따라 신뢰도가 좌우하게 된다. 그러므로 논리적 근거와 상관관계를 분석해서 설문을 설계해야 한다. 기존 휴먼팩터 연구에서 주관적 평가는 하나의 요소에 대해 1~5점으로 평가하는 방식이었다 [12-13].하지만 요소들은 독립적이지 않고 복합적으로 작용하는 경우도 있다.이러한 이유로 사전 조사를 통해 초기 문항을 설계하고, 5점을 기준으로 사전 평가를 진행한 후상 관성 분석을 통해 설문 문항을 확보하는 연구도 진행된 바 있다. [14].한편, 통계에서 요인을 설계할 때 사용되는 방법 중 완전 요인 배치법(full factorial design)과 부분요인 배치법(fractional factorialde- sign)이 있다.완전 요인 배치법은 어떠한 요인이 다른 요인에 미치는 영향을 분석할 수 있도록 모든 요인에 대한조합을 설계하는 방법이다. 이 방법은 실험에 소요되는 시간이 오래 걸리지만, 모든 경우의 실험을 확인해 볼 수 있는 장점이 있다. 부분 요인배치법은 각 요소의 조합 중에서 일부만 선택하여 실시하는 방법이다.설계 시에 모든 요소 간의 영향을 파악할 수는 없지만 불필요한 실험을 배제할 수 있어 소요되는 시간이 짧은 장점이 있다.

증강현실의 콘텐츠는 2D/3D 객체, 지도, 이펙트 등 매우 다양하며 사용자가 콘텐츠를 활용하는 방식도 다르므로 각각의 상황에 맞게 사이버 멀미 요인을 분석하고 평가를 설계해야 한다. 본 논문에서는 완전요인 배치법과 부분요인 배치법을 이용하여 증강현실 자막 콘텐츠에 대한 파라미터를 정의하고 평가하였다. 자막 콘텐츠는 사용자에게 정보를 제공하는 가장 기본적인 데이터이며, 실시간 증강현실 공연에서의 대사나 가사, 또는 생활 속에서 메시지를 전달할 때 활용되는 형태이다. 아래 Fig.2에서 볼 수 있듯이 자막 콘텐츠는 (a) 증강현실 공연에서 관람자에게 자막을 제공[15] 하거나, (b) 시간 및 날씨 정보[16], (c) 자동 번역 시스템[17], (d) 메시지 표시[18] 등에 이용되고 있다. 최근에는 모바일 증강현실을 이용해 2D 와 3D 텍스트 정보를 혼합하여 사용자에게 효과적인 정보를 제공하는 인포메이션 사인에 대한 연구[19] 도 진행 중이다.

Fig. 2. Subtitle contents on AR glasses: (a) AR perform- ance[15], (b) time and weather[16], (c) automatic translation[17], and (d) message[18].

본 논문에서는 증강현실 기반의 무대공연 콘텐츠를 관람할 때 AR안경에 자막을 표시하여 관람할 수 있는 시스템에서 자막으로부터 야기되는 사용자의 어지럼증의 요인으로 자막 위치와 글자 크기를 정의하고 휴먼 팩터를 분석하였다. 본 평가를 통해 증강현실 콘텐츠에 대한 인체 안정성을 확보하고 어지럼증 최소화하여 공연가시성을 증대시키고 실감형 콘텐츠의 몰입도를 향상시키는 것을 목적으로 한다.

2. 관련 연구

최근 휴먼팩터는 다양한 분야에서 연구되고 있다. ㈜스마트디아그노시스의 이동원 저자는 심장 반응을 이용해 공감의 유무를 객관적이고 정략적으로 인식하는 연구[20]를 발표하였다.74명의 피험자를 모집하여 심전도(ECG: electrocardiogram)을 측정하고 심장 리듬 패턴과 일관성을 추출하여 독립 표 본 t 검증으로 통계적 유의성을 확인하였다. 판별 함수 규칙은 98.6%의 판별력을 갖고 있다고 예측되었고, 이 연구는 향후 집단의 구성원들 사이에서 공감이 잘 일어나는 집단끼리 분류하여 일의 효율성을 극대화하는데 활용될 수 있다. 증강/가상현실 분야에서는 동국대학교의 정진헌 교수 연구팀이 ‘시각적 몰입감 향상에 관한 VR 게임의 사용자 평가 연구[21]’를 2022년 디지털 융복합 연구 논문지에 발표한 바 있다. COVID-19SAVER라는 VR게임의 기술적, 내용적 구성 요소가 사용자의 시각적 몰입 감 향상에 어떠한 영향을 미치는지에 대한 실증 연구이다.VR 게임의 기술적 구성요소로 해상도, 프레임레이트, 시야각, 조명 밝기, 이펙트, 디자인 품질을 정의하였고, 내용적 구성요소로는 스토리텔링, 배경, 연출, 색상과 질감, 흥미와 재미요소로 선정하고, 총 100명을 대상으로 온라인 설문을 진행 후 SPSS를 사용해 통계 분석하였다. 결과적으로 분석은 성공적으로 이루어졌지만, 사이버 멀미에 대한 평가가 아닌 시각적 몰입감 향상에 초점을 둔 연구이다.아주대학교와 한양대학교의 연구팀에서는 한국HCI학회에서 가상현실에서의 멀티모달 데이터를 활용하여 딥러닝 기반으로 사이버 멀미를 예측하는 모델[22]을 발표하였다. 13명의 참가자를 모집하여 획득한 VR콘텐츠 영상, 눈 움직임, 머리 움직임, 생체신호 데이터를 기반으로 사이버 멀미를 예측하였다.이 연구는 객관적 평가 방법을 통해 가상 콘텐츠를 제작할 때 사이버 멀미 유발 가능성을 예측할 수 있어 인체 안정성 측면에서 매우 의미 있는 연구이다. 하지만 모든 참여자에 적용했을 때와 개별 모델의 차이가 20%이고, 논문에서도 사용자마다 개인별 차이가 있음을 명시하고 있다. 따라서 평가 종류에 따라 개인별 차이를 반영할 수 있는 주관적 평가방법의 활용이 필요하다. 가톨릭관동대학교 안경광학과의 강현구 교수는 가상현실 영상의 화면 크기가 사이버 멀미에 미치는 영향[23]에 대해 연구하여 2021년 한국 안 광학회지에 발표하였다.평가 요소인 화면 크기는 시야각 90도, 70도, 30도로 설정하였고, 2분~22분, 22분~42분을 시청한 후초점 맞추기 어려움, 일반적인 불편함, 안정 피로, 메스꺼움, 두통에 대해 평가하게 하였다.총 60명의 피험자를 대상으로 설문평가를 진행하고, SPSS를 이용해 독립 표본 t검정을 사용해 분석하였다. 또한 유토 비즈의 연구팀은 가상현실 콘텐츠에서 3D객체의 셰이 더 적용에 따른 사이버 멀미에 대한 연구[24]를 진행하여 한국 멀티미디어학회에 발표하였다. 3D객체 재질을 금속과 비금속으로 나누고 표면 거칠기를 1부터 10까지 10개 단계로 구분하였다. 실험은 성인 10명을 대상으로 1일 2회씩 총 20회 테스트 후 설문조사를 실시하였다. 실험 결과 금속성 재질이 비금속보다 멀미 정도가 다소 높게 나타났고, 표면 거칠기가 6단계에서 7단계로 변경되는 구간에서 멀미도가 가장 큰 폭으로 증가하였다.연구 결과를 통해 몰입 감 증대를 위한 3D 객체의 셰이더 효과가 더 큰 멀미를 발생시킬 수 있다는 것을 보였다. 증강/가상현실 기기를 이용한 연구로는 상명대 학교 황민철 연구팀이 스마트 글래스와 적외선 카메라를 이용하여 비접촉식으로 동공 데이터를 추출하고, 사회 감성을 추정하는 연구결과[25]를 2020 년 방송공학회 논문지에 발표하였다. 총 52명의 실험참가자를 모집하여 동공 크기에 따른 공감 유무추정 규칙을 정의하고, 획득된 데이터를 정규 성 검증(Kolmogorov- Smirnov)과 독립 표본 t검증을 진행하였다. 분석된데이터를 기반으로 12명의 새로운 실험 참가자를 통해 검증하여 75% 정확도를 보였다.이 연구는 스마트 글래스를 이용한 콘텐츠에서 감성적 상호작용이 가능해, 사용자들 간의 공감적 사회적 관계를 구축하는 데 활용될 수 있다.이처럼, 가상현실 환경에서의 휴먼팩터 평가에 관한 연구는 최근 매우 활발히 진행되고 있다. 하지만 증강현실 환경에서의 휴먼팩터 연구는 상대적으로 부족한 상황이다. 한편 2020년 미 해군 생물의학연구 실험실(NavalMedicalResearch Unit)에서는 휴먼팩터논문지로 저 명한 Applied Ergonomics에 증강/가상현실 HMD간의 사이버 멀미 차이에 대한 시뮬레이션 연구[26]를 발표한 바 있다. 증강/가상현실 HMD를 착용하고 적군함을 공격하는 상황에서 1) 물리적 동작 없음, 2) 물리 동작과 표시 동작일치, 3) 물리 동작과 표시동작 불일치인 3가지 상황에서의 사이버 멀미를 측정하였다. 총 12 명의 참가자를 통해 분석한 결과 가상현실과 증강현실 간의 멀미 차이는 없는 것으로 보고되었다.즉, 가상현실 환경과 마찬가지로 증강현실 환경에서도 비슷한 멀미 증상이 유발될 수 있다는 뜻이다. 따라서 가상현실 환경만큼, 증강현실 환경에서도 사이버 멀미를 유발할 수 있는 요소를 정의하고, 이를 평가할 수 있는 방법에 대한 연구 가 필요하다. 본 논문에서는 증강현실 환경에서 자막 콘텐츠가 사용자에게 미치는 영향에 대해 주관적 평가방법을 제시하고, 통계 분석 결과를 서술하고자 한다.

3. 본론

3.1 휴먼 팩터 평가 조건 및 절차

정상 시력을 가진 참가자들을 자율적 결정을 통해 모집하고, 서면 동의로 실험 참가자 동의서를 수집하였다. 실험참가자는 총 10명(여7)이고 평균나이는 43±2.45였다.코로나19라는 특수상황을 고려해 최소한의 참가자를 모집하였으며, 5일간 분산 테스트를 진행하였다.실험참가자 선정 및 제외기준은 약시, 난시, 근시, 외사위, 원시, 틱장애가 없어야 하고, 안경이나 렌즈 착용으로 교정되는 경우 예외로 하였다. 단 해당자들 중에서도 입체 콘텐츠를 보는데 지장이 있는 사람은 실험에서 제외하였다. 또한 정신병력이나 간질 등의 심리 생리 및 정신병리질환을 앓고 있는 자도 제외하였다. 설문과 평가방법에 대해서는 고려대학교 안과학과 교수와 재활의학과 교수의 자문을 받아 설계하였다.

기존 연구들은 가상현실 환경에서의 사용자의 동공이나 모션 추적 등의 트래킹 기술을 통해 사이버 멀미를 분석하거나, 3차원 디스플레이에서 입체시에 의한 사이버 멀미를 분석하는 방법이 주를 이루고 있다.각각의 평가 환경에 따른 콘텐츠를 보여주고 객관적 또는 주관적 평가를 진행한다. 하지만 증강현실은 앞서 언급한 상황들과는 환경이 다르다.단순히 AR안경에 표시되는 가상 콘텐츠에 대한 평가를 하는 것이 아니라 증강현실 콘텐츠가 실제 사용되는 환경 즉, 가상 콘텐츠와 현실 콘텐츠를 동시에 시청하는 상황에서의 평가가 이루어져야 한다. 두 개의 콘텐츠를 시청하는 과정에서 초점 차이가 발생하고, 그로 인해 사이버 멀미를 유발하게 된다. 실제 평가 절차는 Fig.3(a)에 나타낸 것처럼 실제 공연 대신에 빔프로젝터로 공연 영상을 출력하고, 실험 참가자는 AR안경을 착용하여 시청한다. 그리고 AR 안경에 공연 관람 시 도움이 되는 자막을 출력하여 공연 영상과 AR자막을 동시에 시청하게 한다. 이때 공연 영상인 빔 프로젝터와 관객까지의 거리는 10m이다. 피험자의 사전 설문조사를 통해 현재 신체와 컨디션 상태가 실험을 진행하는 데에 지장이 없는지 확인하고 실험을 진행한다. 자막 콘텐츠의 안구 편안함과 공연가시성을 측정할 2개의 요소에 대한 요소별 변경 수준을 Table1에 나타내었다. 각 요소에 대하여 한 번에 한 가지 수준을 선택적으로 구성하여 영상을 제시하며, 이때 피험자가 어지럼증과 공연가시성을 평가하게 된다. 자막 위치는 각각 상, 하, 좌, 우로 변경하고, 좌, 우의 경우에는 자막이 세로로 출력되도록 하였다. 글자 크기는 20, 15, 10를 각각 A, B, C로 구분하였다. 글자 크기 1종에 대해 자막 위치가 4종으로 랜덤하게 바뀌는 콘텐츠 3분 시청한다.이 때 글자색상은 흰색이고, 글자체는 돋움으로 설정하였다. 주관적 평가는 각 콘텐츠 영상을 감상한 직후에 시행하며 문항에 대한 답변을 마친 후 휴식하였다. 휴식 후조건을 변경한 다른 영상들에 대한 주관적 평가를 진행하였다.한번 평가 진행된 콘텐츠는 반복 평가하지 않았다. 평가에 사용한 AR안경은 LGU+사의 Realglass이고, 공연 시청용 영상출력 장치는 빔프로젝터로 Maxell의 MC-EU5001을 사용하였다.Fig. 3(b)는 실제 평가자들의 평가 진행 중인 사진이다.

Fig. 3. (a) Human factor evaluation setup for augmented reality subtitles content and (b) participants.

Table 1. Parameter of subtitle content for human factor

3.2 결과 분석

주관적 평가지는 자막 위치4 수준과 글자 크기 3 수준에 대해 안구 편안함과 공연가시성을 평가하도록 구성되어 있다. 주관적 평가 결과의 신뢰성을 확보하기 위해 아래 Table2와 같이 각 요인에 대해완 전 요인 배치법을 적용하여 다변량 분산 분석을 수행하였고, 실험조건별 유의한 세부 차이를 확인하기 위해 사후검정을 수행하였다. 본 실험설계는 안구 편안함과 공연가시성 종속 변수를 동시에 고려하므로, 다중 검정으로 인한 1종 오류를 통제하기 위해 전통적인 슈도본페로니(Pseudo-Bonferroni)기법을 적용하여 유의 수준을 0.025(0.5/2)로 교정하여 검정하였다.

Table 2. Full factorial design for subtitle position and font size.

자막 위치와 글자 크기에 대한 상호작용 효과가 유의하지 않은 것으로 확인되어 (F(6, 108)=0.382, p= 0.889)주효과 검정을 수행하였다. 글자크기의 주 효과는 유의하지 않았고 (F(2, 108)=0.909, p=0.406), 자막 위치 변수는 유의한 주효과가 관측되었다 (F(3, 108)=20.375, p<0.001).이는 시험 참가자의 주관적인 안구 편안함이 자막 위치에 따라 통계적으로 유의한 차이가 있다는 의미이므로, 글자 크기에 한정하여 자막 위치에 대한 영향을 분석하였다. 집단 간의 차이를 확인하기 위해 사후검정을 수행하였고 결과는 아래 Fig.4와 같다. 집단 간의 p-value비교를 위해글자 크기에 대해 자막 위치별로 (1)~(12)까지 표기하였다. 글자 크기 A일 때, (1):(3)의 p=0.041, (2):(3) 의 p=0.004, (2):(4)의 p=0.011, 글자 크기 B일 때, (6): (8), 글자 크기 C일 때, (9):(11)의 p=0.009, (10):(11) 의 p<0.001, (10):(12)의 p<0.001이다.안구 편안함에서의 자막 위치에 대한 다중비교 결과는 Table 3에 정리하였다.

Fig. 4. Result of evaluation in eye comfort with the subtitle position and font size.

Table 3. Multiple comparisons of subtitle positions in eye comfort.

자막 위치와 글자 크기에 대한 공연가시성의 통계 분석 결과, 자막 위치와 글자 크기에 대한 유의한 상호작용 효과가 관측되지 않아(F(6, 108)=0.120, p= 0.994)주효과 검정을 분석하였다.글자크기가 공연가시성에 미치는 주효과는 유의하지 않았으나(F(2, 108)=0.293, p=0.746), 자막 위치별로 공연 가시 성에 미치는 주 효과는 유의한 것으로 나타났다(F(2, 108)= 21.593, p<0.001).자막 위치에 대한 사후 검정 결과는 아래 Fig. 5와 같다. 글자 크기 A일 때, (2):(3)의 p=0.004, (2):(4)의 p<0.001, 글자 크기 B일 때, (6):(7) 의 p=0.008, (6):(8)의 p=0.008, 글자 크기 C일 때, (9):(10)의 p=0.023, (10):(11)의 p<0.001, (10):(12)의 p<0.001이다.공연 가시성에서의 자막 위치에 대한 다중 비교 결과는 Table4에 정리하였다.

Fig. 5. Result of evaluation in visibility with the subtitle position and font size.

Table 4. Multiple comparisons of subtitle positions in visibility.

4. 결론

최근 많은 기술 발달로 인해 AR안경이 문화예술, 게임, 교육, 엔터테인먼트 등 다양한 분야에 서 활용되고 있다.AR 안경에 대한 기술적인 발전과 이를 활용한 콘텐츠에 관해서는 많은 연구가 진행되는 만큼 이를 사용하는 이용자의 사이버 멀미에 관한 연구가 필수적이다. 본 논문에서는 AR안경을 이용한 자막 콘텐츠에서 사용자의 사이버 멀미를 유발하는 요소를 자막 위치와 글자 크기로 정의하고, 주관적 평가를 통해 안구 편안함과 가시성을 분석하였다. 평가결과, 자막의 위치는 하단일 경우 안구피로도가 가장 적었고 상단인 경우에도 측면에 위치할 때보다 편안함을 느끼는 것으로 나타났다. 측면에 자막이 위치할 경우 자막을 세로로 읽어야 하는 불편함이 반영된 결과로 판단된다. 가시성의 경우에도 자막의 위치가 하단일 때 가장 좋은 평가를 받았다. 한편 글자 크기에 대해서는 주효과가 유의하게 나타나지 않았지만, 안구 편안함에서 글자 크기가 작아질수록 하단자막을 선호하고, 공연가시성에서는 글자 크기와 상관없이 하단자막을 선호하는 경향을 볼 수 있다. 이것은 증강현실 자막 콘텐츠를 메인 콘텐츠를 이용하기 위한 부가적인 정보 제공으로 이용할 때 글자의 크기보다는 위치에 더 민감하게 반응하는 것으로 볼 수 있다. 이 결과는 자막 콘텐츠에 대한 결과이며, 감상하는 콘텐츠마다 가시성과 피로도가 달라질 수 있다. 코로나19상황에 많은 피험자를 대상으로 평가를 수행하지는 못했으나, 본 연구를 통해 자막 콘텐츠에 대한 자막 위치와 글자 크기가 안구 편안함 과가 시성에 미치는 영향에 대해 볼 수 있었다.이 결과는 AR안경을 활용한 실감형 공연 등의 문화 콘텐츠에서 사용자의 사이버 멀미를 완화하고 가시성을 증대하여 몰입감을 극대화할 수 있는 자막 콘텐츠를 제작하는 데 활용할 수 있을 것이다.