Analysis of Visual Attention of Students with Developmental Disabilities in Virtual Reality Based Training Contents

가상현실기반 훈련 콘텐츠에서 발달장애인의 시각적 주의집중도 분석

Abstract

In the era of 'Untact', virtual reality-based job training platforms are actively being used as part of non-face-to-face education for students with developmental disabilities. Because the people with developmental disabilities may lack sufficient cognitive abilities, it is difficult to conduct untact training seamlessly without the help of a third party. Therefore, it is necessary for training programs to identify the right timing to provide help so that the training can be continued. This research analyzed the visual attention of students with developmental disabilities in virtual reality-based job training program in order to determine the point of time when an intervention is required by the trainee. Results showed that students who completed the mission tended to have intense visual attention on a small number of objects for a certain period of time; the visual attention of the students who failed tended to shift erratically among multiple objects.

1. 서론

언택트(untact) 시대를 맞이하여 가상현실 및 증강현실 기술의 산업 규모는 2023년까지 연평균 성장률이 77%에 이를 것으로 전망된다[1]. 코로나 19로 인한 사회적 거리두기로 비대면이 생활화되면 시간과 공간의 물리적인 한계를 초월하는 기술에 대한 관심이 높아졌기 때문이다. 특히, 가상현실 기반의 실감 콘텐츠는 가상공간에서 실제와 동일한 체험을 할 수 있도록 구현되어 있으므로 안전한 환경에서 다양한 작업을 실제와 같이 경험하면서 관련된 정보를 학습할 수 있다 [2].

최근에는 이러한 가상현실 기반의 실감콘텐츠를 다양한 종류의 직업훈련에 활발히 사용하고 있다. 기술분야의 직업훈련은 고비용, 고위험의 교육환경에서 실습 위주로 진행되므로 부담이 발생한다. 실감콘텐츠기반의 훈련은 이러한 부담을 해소해줄 뿐만 아니라 가상현실이 주는 몰입감 및 다양한 감각을 동반하여 학습자와 콘텐츠 간의 정보를 소통하는 상호작용성은 학습의 효과를 향상하는 효과가 있다.또한, 다양한 환경에서 반복적인 훈련을 통하여 업무의 숙련도도 증가한다[3]. 실제 사례로, 간호학 분야에서는 보건의료 콘텐츠로 해부학 실습 및 성인 간호학 실습을 시뮬레이션 기반으로 제공하여 인체구조 및 기능에 대한 학습의 효과가 상승하였으며, 산업체에서는 훈련콘텐츠로 실습용 가상 공장 환경을 게임과 접목한 시뮬레이션을 제공하여 공장 작업자를 교육함으로써 작업자의 숙련도를 높이면서 공장의 환경과 친숙하게 하는 효과가 있었으며, 전체 생산 라인을 가상현실로 제공하여 실제 생산시간을 줄이고 품질도 향상하였다 [4].

일반인뿐만 아니라, 장애인 인구의 약 21.4%에 이르는 발달장애인의 직업훈련을 위한 실감 콘텐츠 연구도 활발히 진행되고 있다. 특히, 언택트 시대에 접어들면서 발달장애인의 직업훈련도 대면에서 비대면으로 전환되고 있고 이러한 비대면 수업의 목적으로 실감 콘텐츠로 설계된 직업훈련 프로그램이 도입되고 있는 것이다. 보건복지부의 통계에 의하면, 15개의 장애 유형 중에서 지체장애 비율이 47.9%로 가장 높으나 지속해서 감소하고 있지만, 발달장애는 매년 6천명에서 7천명 수준으로 점진적으로 증가하고 있다 [5]. 발달 장애인 인구의 증가에 따라 이들의 사회적 자립을 돕기 위해 전국의 13개 주요 도시에 설립된 발달장애인 훈련센터에서는 직업에 대한 정보 및 이해가 부족한 발달장애 학생들에게 직업을 체험할 기회를 제공하고 실제 환경과 유사한 환경에서 직업훈련을 하여 직업에 대한 이해도를 높이고 취업 동기를 부여하고 있다. 특히, 바리스타, 스팀세차, 도서관 사서, 요양보조 등의 단순하고 반복적인 업무는 취업과의 연계에 매우 유리하다.

발달장애인을 대상으로 실감 콘텐츠로 제작된 직업훈련은 다음과 같은 장점이 있다. 대면 형식의 직업훈련은 일정한 시간과 공간에서 교사의 도움으로 실시되므로 반복 학습이 어렵고, 현장에서 사용하는 도구를 이용하여 훈련을 해야 하는 교육은 실제와 동일한 환경을 구축하고 도구들을 구입하기 위한 큰 비용이 필요하다. 또한, 발달장애인은 안전사고의 위험이 일반인보다 매우 높으므로 반복적인 훈련을 통해 업무의 숙련도를 높이기엔 현실적으로 어려움이 있다[6]. 실감 콘텐츠 기반의 직업훈련은 이러한 어려움을 해소함과 동시에 집중력이 부족한 발달장애인에게 자발적인 흥미와 관심을 유발하여 훈련의 효과를 증가시킴으로써 언택트 시기에 적합한 비대면 수업 도구로 사용되고 있다.

이러한 장점에도 불구하고, 발달장애인은 인지능력과 상황 대처 능력이 일반인보다 미흡하므로 제 3 자의 도움 없이 콘텐츠만으로 직업훈련을 원활하게 수행하기에는 어려움이 발생할 수 있다. 따라서, 훈련을 수행하는 도중에 더 이상의 진행을 하지 못하고 어려움을 겪는 상황이 발생하게 되면 콘텐츠에서 이를 자동으로 파악하여 훈련을 이어서 진행할 수 있도록 도움을 제공하는 것이 필요하다. 즉, 현재 어려움을 겪고 있는 훈련을 성공적으로 수행하는데 필요한 정보를 동영상 또는 음성으로 제공할 수 있다. 본 논문에서는 콘텐츠가 발달장애인의 훈련 과정에서 제공하는 이러한 도움을 ‘중재’라는 용어로 정의한다. 국내외로 발달장애인을 대상으로 훈련의 효과를 검증하기 위해 훈련 전후의 변화에 관해 연구를 수행한 경우는 다수 존재하지만 발달장애인과 실감 콘텐츠와의 상호작용 속에서 적절한 중재의 시점을 콘텐츠에서 자동으로 판단하는 방안에 관한 연구는 거의 이루어지지 않고 있다.

본 논문은 가상현실 기술을 기반으로 구현된 실감 콘텐츠로 발달장애인이 직업훈련을 수행할 때 중재가 필요한 시점을 도출하기 위해 아이트래커(eye tracker)를 이용하여 수집한 발달장애인의 시선 정보를 이용한다. 시선 추적과 관련된 연구결과에 의하면 특정한 순간에 개인의 관심사는 그 시점에서 시선이 머무는 대상과 높은 확률로 일치할 가능성이 크다고 보고되었다[7,8]. 본 논문에서는 발달장애인이 착용하는 HMD(head mounted display)에 부착된 아이트래커로 실감 콘텐츠를 이용하여 직업훈련을 수행하는 과정에서의 시선의 움직임을 기반으로 인지 및 행동의 특성을 분석하고, 결과물을 중재 필요 시점의 판단에 활용한다.

2. 관련 연구

2.1 바리스타 훈련

바리스타는 발달장애인들이 가장 선호하는 직종이다. 대전복지재단의 ‘장애 유형별 일자리 수요조사 및 확대 방안 연구’에 따르면 장애학생이 앞으로 직업훈련이나 직업교육으로 받고 싶은 직업의 1위는 바리스타(13.1%)이다. 또한, 장애 학생의 부모님이 학생에게 권하는 직업의 1위도 바리스타(10.9%)이며, 조사 대상의 장애학생 중에서 직업훈련이나 교육을 받은 경험이 있는 직업의 1위도 바리스타(10.6%) 이다[9]. 발달장애는 인지능력이 낮고 사회적 적응의 어려움이 있는 장애이지만 반복적인 훈련을 통해 직업능력의 향상이 가능하고 자폐 또는 정신 장애보다 타인과의 상호작용이 원만한 편이므로 바리스타 직업교육이 적합하다 [10].이에, 한국장애인개발원에서는 ‘발달장애인을 위한 쉬운 바리스타 업무 매뉴얼’을 제작하여 바리스타 교육을 적극적으로 지원하고 있고, 발달장애인의 일자리 창출 사업의 목적으로 발달장애가 있는 장애우들이 근무하는 커피전문점 사업의 운영을 지역사회에서 정책적으로도 지원하고 있다[11]. 또한, 민간기업체의 후원을 받아 발달장애 학생에게 바리스타 훈련을 시키고 훈련이 종료된 후에는 공공기관에 커피전문점을 입점시키고 해당 학생이 근무할 수 있도록 배려하고 있다[12]. 그러나, 코로나 19로 인한 언택트 시대로 돌입하면서 실습과 반복적인 훈련이 필수적인 바리스타 교육도 비대면으로의 전환이 필요하게 되었고, 실감 콘텐츠 형태의 바리스타 직업훈련의 수요가 증가하게 되었다.

2.2 시선추적연구

시선추적연구는 특정과제를 수행함에 있어서 시선이 머무는 사물과 시간정보를 바탕으로 대상자의 인지 및 행동 특성을 분석하는 것이다. 안구의 움직임은 대상자의 인지활동의 중요한 단서가 되므로 이를 통해 정보를 습득하는 과정을 측정할 수 있다. 인간의 인지 과정은 복잡하여 관심의 대상이 시선이 머무는 대상과 항상 일치한다고 단정할 수는 없으나, 시선추적과 관련된 연구결과에 의하면 개인의 생각은 시선이 머무는 사물과 관련이 있을 가능성이 큰 것으로 보고되었다 [13, 14, 15].시선추적연구는 주로 시선의 고정시간, 시선의 고정시간 비율, 그리고 시선의 고정횟수 등의 정보를 이용한다. 시선의 고정 (fixation)이란, 최소한 100∼200ms 동안 특정 사물에 시선이 머무는 것을 의미하므로 고정시간이란 시선이 고정된 전체의 시간을 의미한다. 고정시간 비율이란, 시선의 고정시간을 전체 시간에 대한 비율로 나타낸 것을 의미하고 고정 횟수란, 시선의 고정이 발생한 횟수를 의미한다. 시선추적연구는 다양한 분야에서 많이 활용되고 있는데 의료분야에서는 간호사들의 시선추적을 이용하여 의료 프로세스 중에서 환자의 신원을 확인하는 과정에서 발생하는 오류를 검출하였다. 이를 위해, 환자의 차트, 진료기록, 약병에 출력된 신원정보 중에서 어떤 정보에 간호사의 시선이 집중되는지를 파악하였다 [16].교육 분야에서는 학습자의 학습 집중도를 측정하기 위한 목적으로 학습자가 콘텐츠를 어떻게 학습해 나가는 지 파악하기 위해 시선추적 정보를 이용하였다 [17].본 연구에서는 HMD에 부착된 아이트래커로 발달장애인이 바리스타 훈련을 수행하는 과정에서 시선이 머무는 가상공간상의 객체의 정보를 수집하여 실감 콘텐츠로부터 정보를 습득하는 과정을 분석하였다.

3. 연구방법

3.1 연구대상과 실험장소

본 연구는 부산에 소재한 대학의 생명윤리위원회로부터 IRB(institutional review board)심사를 신청하여 연구 진행에 대한 승인을 받고 수행되었다. 연구대상자는 발달장애인 훈련센터에 등록된 남녀학생 총 21명을 선정하였다. 이를 위해, 발달장애인훈련센터의 게시판에 모집공고문을 공고하고 훈련센터 교사의 도움으로 수업 중에 모집공고문에 대한 안내를 하였다. 실험에 참여를 희망하는 학생에 한하여 보호자와 대면 또는 통화로 연구 내용을 충분히 설명하였고 보호자가 허락한 경우에 한하여 해당 학생을 연구대상자로 선정하였다. 대상자는 경증 발달장애인으로서 2019년 7월 이전의 기준으로 장애등급 3급 이상의 정상적인 시각과 청각을 가진 학생들로 제한하였다.

실험은 연구 대상자들이 스스로 찾아오기 쉽고 익숙한 환경인 본인이 등록된 발달장애인훈련센터에서 실시하였다. 실험 도중에 실감 콘텐츠에서 발생하는 시각 및 청각자극으로 어지러움이 발생할 수도 있으므로 이를 대비하여 발달장애인의 특성에 대한 전문적인 지식과 다년간의 충분한 경험을 갖추고 있는 훈련센터의 전문교사 1인을 실험실에 상주하도록 하여 돌발 상황에 대처하도록 하였다. 연구대상자가 안구의 피로감이나 어지러움을 계속적으로 호소하는 경우에는 발달장애인 훈련센터에서 지정한 병원으로 옮겨 조치하도록 하였으나 실험의 전 과정 동안 이러한 상황은 발생하지 않았다.

3.2 실험도구

실험에는 룩시드랩스에서 개발한 상용 HMD 제품을 사용하였다 [18]. 한국 가상증강현실 산업협회의 ‘VRAR 이용 및 제작안전 가이드라인 v3.0’에서는 사용자의 안전을 위해 실감 콘텐츠 이용시 일정 범위에서 이동하면 경고 기능이 있는 장치를 사용할 것을 권고한다[19]. 본 제품은 사전에 설정한 ‘플레이 영역’을 벗어나면 ‘카메라 렌즈’를 통해 입력되는 외부 환경을 HMD로 출력하여 안정성을 보장한다.

실험에서 사용한 바리스타 훈련용 실감 콘텐츠는 Fig.1과 같다. 이 콘텐츠는 복수의 바리스타 객체들과 환경 객체들로 구성된다. 바리스타 객체란, 그라인더, 에스프레소 머신, 포타필터, 에스프레소 잔, 템퍼 등과 같이 바리스타 작업과 직접적인 관련이 있는 객체를 의미한다. 환경 객체란, 바리스타 작업과 관련이 없는 객체를 의미하며 테이블, 의자, 메뉴보드, 창문 등 바리스타 훈련 콘텐츠의 배경이 되는 객체를 의미한다. 바리스타 작업은 왼쪽과 오른쪽 컨트롤러로 수행하는데 가상현실상에서는 흰색의 왼손과 오른손으로 보인다.

Fig. 1. VR contents for barista training.

바리스타 훈련용 실감 콘텐츠는 다수 개의 단계로 구성되며 각 단계에서 수행해야 하는 미션은 음성으로 사용자에게 안내된다. 예를 들어, 에스프레소 머신을 알려주는 교육의 경우는 해당 단계의 시작과 동시에 “에스프레소 머신을 찾아서 손으로 만져볼까요?”라고 음성이 제공된다. 사용자가 에스프레소 머신을 가상 공간에서 찾아서 컨트롤러를 사용하여 터치하면 Fig.2와 같이 ‘에스프레소 머신’이라는 단어가 머신 근처에 나타나면서 해당 단계는 종료되고 다음 단계가 자동으로 시작된다.

Fig. 2. Successful completion of training.

3.3 실험설계

실험절차는 다음과 같다. 연구원은 연구대상자가 도착하면 안정을 취하게 한 후 실험의 진행 방법 및 주의사항을 안내하였다. 연구대상자는 연구원의 도움을 받아 HMD를 착용하고 컨트롤러를 손에 쥐고 작동하는 연습을 간단히 한 후 본격적으로 바리스타훈련을 시작하였다. 전체 바리스타 훈련 시간은 1시간 내외로 소요되었으며 훈련 도중에 연구대상자가 휴식을 원하면 언제든 실험을 중단하였다. 연구대상자가 훈련을 수행하는 도중에 더 이상의 진행을 하지 못하고 어려움을 겪는 상황이 발생하게 되면 사전에 연구원과 약속한 대로 손을 들거나 구두로 중재를 요청하도록 하였다. 중재 요청이 발생하면 연구원은 해당 시점을 중재 시점의 판단을 위한 기준점으로 사용하기 위해 기록을 해둔 후, 곤란을 겪은 작업에 대해 도움이 되는 정보를 음성형태로 제공하였다. 음성 중재를 제공했음에도 불구하고 해당 단계의 훈련을 계속적으로 수행하지 못할 때는 연구대상자에게 도우미 동영상을 시청하도록 한 후 훈련을 재개하여 해당 훈련을 스스로 완료하도록 하였다. 실험이 종료된 후 연구 대상자들이 충분한 휴식을 취하도록 하였고 미리 준비해 둔 간단한 인터뷰를 실시한 후 귀가 조치를 하였다.

4. 연구가설

본 연구에서는 바리스타 훈련용 실감 콘텐츠로 발달장애인이 직업훈련을 수행할 때 중재가 필요한 시점을 도출하기 위해 시선 추적 정보를 기반으로 다음과 같은 가설을 설정하고 검증하였다. 바리스타훈련용 실감 콘텐츠는 다수 개의 단계로 구성되며 각 단계에서 수행해야 하는 미션이 설정되어 있다. 가설에서 사용하는 용어 중에서 ‘성공한 연구대상자’란, 특정 단계에서 수행해야 하는 미션을 중재 없이 스스로 완수한 연구대상자를 의미한다. ‘실패한 연구대상자’ 란, 훈련을 스스로 완수함에 실패하여 결국 중재를 제공 받아서 미션을 완수한 연구 대상자를 의미한다.

가설 1. 성공한 연구 대상자는 ‘바리스타 객체’에 대한 시각적 주의 집중도가 높을 것이다. 반면, 실패한 연구대상자는 ‘환경 객체’에 대한 시각적 주의 집중도가 높을 것이다. 예를 들어, ‘에스프레소 머신 찾기’ 라는 단계를 성공적으로 완수한 연구 대상자는 에스프레소 머신, 그라인더, 포터 필터 등 전반적인 바리스타 객체들에 시선이 집중되는 반면, 실패한 연구대상자는 바리스타 객체들보다 창문, 테이블, 의자 등의 환경 객체들로 시선이 분산될 것으로 추측한다. 이 가설을 설정한 이유는, 성공한 연구 대상자는 전반적으로 바리스타 객체들에 주의를 집중하는 반면, 실패한 연구 대상자는 해당 작업을 수행하지 못하여 당황한 순간에 바리스타 객체로부터 환경 객체로 시선이 옮겨갈 것으로 예측하였기 때문이다.

가설 2. 성공한 연구대상자는 ‘훈련과 관련 있는 바리스타 객체’에 대한 시각적 주의 집중도가 높을 것이다. 반면, 실패한 연구대상자는 ‘훈련과 관련 있는 바리스타 객체를 제외한 나머지 객체들’ 즉, 현재 단계와는 관련 없는 바리스타 객체를 포함한 환경객체에 대한 시각적주의 집중도가 높을 것이다. 예를 들어, ‘에스프레소 머신 찾기’라는 단계를 성공한 연구대상자는 에스프레소 머신에만 시선이 집중되는 반면, 실패한 연구 대상자는 그라인더 또는 포터 필터와 같이 현재 단계의 미션과는 관련 없는 바리스타 객체들과 창문, 테이블, 의자 등의 환경 객체들로 시선이 분산될 것으로 추측한다. 이 가설을 설정한 이유는, 성공한 연구 대상자는 가설 1과는 달리 전반적인 바리스타 객체들보다 현재 단계의 미션과 관련 있는 바리스타 객체에만 주의를 집중할 것으로 예측하였기 때문이다.

가설 3. 성공한 연구 대상자는 ‘훈련과 관련 있는 바리스타 객체’에 대한 시각적 주의 집중도가 높을 것이다. 반면, 실패한 연구대상자는 ‘훈련과 관련 없는 바리스타 객체’에 대한 시각적 주의 집중도가 높을 것이다. 예를 들어, ‘에스프레소 머신 찾기’라는 단계를 성공한 연구 대상자는 에스프레소 머신에만 시선이 집중되는 반면, 실패한 연구 대상자는 그라인더 또는 포터필터와 같이 단계와 관련 없는 바리스타 객체들로 시선이 분산될 것이지만 창문, 테이블, 의자 등의 환경 객체들에는 관심이 없을 것으로 추측한다. 이 가설을 설정한 이유는, 성공한 연구대상자는 단계와 관련 있는 바리스타 객체에, 실패한 연구대상자는 단계와 관련 없는 바리스타 객체에 시선이 집중될 것으로 예측하였기 때문이다. 즉, 가설 1과 가설2 와는 달리 성공/실패의 여부와 관계없이 연구대상자는 바리스타 객체들만 주의를 집중하는 경향이 있고 환경 객체에는 관심이 없을 것으로 예측한 것이다.

가설 4. 실패한 연구 대상자는 성공한 연구대상자에 비해 시선 전환(eye transition)의 횟수가 많을 것이다. 시선 전환이란, 객체의 종류와는 관계없이 한객체에서 다른 객체로 시선이 옮겨가는 현상을 의미한다. 예를 들어, Fig.3에서 객체의 종류는 흰색, 검은색, 회색으로 표현을 하였고 시선 전환은 굵은 검은색의 세로선과 화살표로 표현을 하였으며, 총 5회의 시선 전환이 발생한 것이다. 이 가설을 설정한 이유는, 성공한 연구 대상자는 특정 객체들에 한하여 시선이 어느 정도 머무르면서 정보를 수집하는 반면, 실패한 연구 대상자는 일관성 없이 다양한 객체들로 시선이 분산될 것으로 예측한 것이다.

Fig. 3. Example of eye transition.

5.분석방법 및 결과

연구가 설들을 검증하기 위한 시선 추적 데이터의 분석 방법은 다음과 같다. 먼저 바리스타 실감 콘텐츠의 각 훈련의 단계별로 연구 대상자가 수행 미션을 중재 없이 스스로 완수하여 성공했는지 또는 실패했는지의 여부를 분석하였다.

다음으로, 가설1을 검증하기 위하여 각 훈련의 단계별로 연구 대상자의 ‘바리스타 객체’와 ‘환경 객체’에 대한시선의 고정 횟수를, 가설2를 검증하기 위하여 ‘훈련과 관련 있는 바리스타 객체’와 ‘훈련과 관련 없는 바리스타 객체와 환경 객체’에 대한 시선의 고정 횟수를, 가설3을 검증하기 위하여 ‘훈련과 관련 있는 바리스타 객체’와 ‘훈련과 관련 없는 바리스타 객체’에 대한 시선의 고정 횟수를 각각 도출하였다. 그리고 두 횟수 간의 비율이 1과 비교하여 큰지 또는 작은지의 여부를 도출하였다. 마지막으로, 가설 4를 검증하기 위하여 각 훈련 단계별로 연구대상자 시선의 순간적 이동(eyesaccade) 정보를 이용하여 시선 전환의 횟수를 도출하였다. 시선의 순간적 이동이란, 최대 120ms라는 짧은 순간 동안 특정 사물에 시선이 머무는 것을 의미하며 사물과 사물 사이의 순간적 시선이동을 측정할 때 사용된다.

가설 1, 2, 3의 검증을 위해 통계적 분석 방법 중에서 Contingency Table Analysis를 이용하였다. Contingency Table에 입력될 두 개의 변수들은 1) 해당단계의 성공/실패 여부 2) 두 횟수 간의 비율이 1보다 큰지/작은지의 여부이다. 분석 결과는, 가설 1, 2, 3에 대하여 모두 유의미하지 않았으므로 해당 가설들은 기각하였다(P>0.05). 가설 4의 검증을 위해서는 통계적 분석 방법 중에서 unpaired t-test를 이용하였으며 결과는 매우 유의미하였다(P<0.001). Table1과 Table2는 가설4를 검증하기 위한 단계별 통계 데이터 중에 두 명의 연구 대상자의 데이터를 샘플로 발췌한 것이다. Transition과 Saccade칼럼은 해당 훈련단계를 수행하는 중에 수집된 시선 추적 데이터를 분석한 통계 정보이고 T-Ratio(Transition Ratio)와 S_Ratio(Saccade Ratio)는 연구 대상자 간의 개인차를 고려하여 정규화(normalization)를 수행한 결과값이다.

Table 1. Statistical data of student 1 for testing hypothesis 4.

(T_Ratio: Transition Ratio, S_Ratio: Saccade Ratio)

Table 2. Statistical data of student 2 for testing hypothesis 4.

(T_Ratio: Transition Ratio, S_Ratio: Saccade Ratio)

6. 결론

본 연구는 언택트 환경에서 가상현실 기술 기반의 바리스타 실감 콘텐츠로 발달장애인이 직업훈련을 수행할 때 중재를 제공해야 할 시점을 도출하기 위해, 아이트래커를 이용하여 수집한 발달장애인의 시선 정보를 기반으로 가상 객체들에 대한 시각적 주의집중의 차이를 분석하였으며 그 결과는 다음과 같다. 첫째, 대다수의 연구 대상자는 훈련도중에 어려움을 겪은 후 당황하는 순간에 창문 또는 바닥과 같은 환경 객체들로 시선을 옮기는 것이 아니라, 에스프레소 머신 또는 그라인더와 같은 바리스타 객체들 사이에서 시선을 옮겨가면서 집중적으로 탐색하는 경향이 높게 나타났다. 한 예로, '에스프레소 머신 찾기'단계를 실패한 경우에 바리스타 객체와 환경 객체에 대한 시선의 고정 횟수는 각각 121vs.14로, 실패에도 불구하고 바리스타 객체에 대한 시선의 고정횟수가 압도적으로 높았다.둘째, 대다수의 연구 대상자는 현재 단계와 관련 없는 특정 바리스타 객체에 과도하게 시선이 집중되어 있음을 확인할 수 있었다. 한 예로, '에스프레소 머신 찾기'단계를 성공한 경우, 해당 단계와 관련 있는 ‘에스프레소 머신’보다 관련 없는 ‘그라인더’객체에 대한 시선의 고정 횟수가 매우 높았다. 마지막으로, 특정 훈련 단계에서 수행해야 하는 미션을 중재 없이 스스로 완수한 연구대상자들은 소수의 객체를 일정 시간 동안 응시하면서 작업하는 경향이 있었고, 미션을 스스로 완수함에 실패하여 결국 중재를 제공받아서 미션을 완수한 연구대상자들의 시선은 다수 객체 사이로 무작위로 전환되는 경향이 있었다. 향후 연구방향으로는, 연구 대상자의 컨트롤러와 바리스타 객체들과의 거리의 변화 정보를 기반으로 중재의 필요 시점을 도출하는 방법에 관하여 연구할 예정이다.