Object Magnification and Voice Command in Gaze Interface for the Upper Limb Disabled

상지장애인을 위한 시선 인터페이스에서의 객체 확대 및 음성 명령 인터페이스 개발

Abstract

Eye tracking research for upper limb disabilities is showing an effect in the aspect of device control. However, the reality is that it is not enough to perform web interaction with only eye tracking technology. In the Eye-Voice interface, a previous study, in order to solve the problem that the existing gaze tracking interfaces cause a malfunction of pointer execution, a gaze tracking interface supplemented with a voice command was proposed. In addition, the reduction of the malfunction rate of the pointer was confirmed through a comparison experiment with the existing interface. In this process, the difficulty of pointing due to the small size of the execution object in the web environment was identified as another important problem of malfunction. In this study, we propose an auto-magnification interface of objects so that people with upper extremities can freely click web contents by improving the problem that it was difficult to point and execute due to the high density of execution objects and their arrangements in web pages.

1. 서론

상지장애인을 위해 키보드와 마우스와 같이 손을 이용한 입력 장치의 대체 방안으로 시선 추적 기술연구가 활발하게 진행되고 있다[1]. 시선 추적 기술로 GUI를 자유롭게 조작하기 위해서는 포인터의 이동과 객체의 실행이 기본적으로 수행되어야 한다[2]. 특히, 객체의 실행은 하이퍼링크를 통해 다양한 콘텐츠를 제공하고 있는 웹 환경에서 가장 중요한 탐색수단이 된다[3]. 상지장애인을 위한 시선 추적 연구가 기기 제어 방면에서 효과를 나타내고 있지만, 시선 추적 기술만으로 웹 인터랙션을 수행하기에는 부족한 것이 현실이다.

웹 환경에서 콘텐츠의 탐색과 제어를 자유롭게 조작하기 위해서는 포인터의 이동과 링크를 포함한 객체의 실행이 가장 기본이 된다. 선행 연구인 Eye-Voice[4] 인터페이스에서는 기존의 시선 추적 인터페이스들[5,6]이 포인터 실행의 오작동을 일으키는 문제를 해결하기 위해 음성명령으로 보완한 시선 추적 인터페이스를 제안하고, 기존의 인터페이스와의 비교 실험을 통해 포인터의 오작동률 감소를 확인하였다. 이 과정에서 웹 환경의 실행 객체의 작은 크기로 인한 포인팅의 어려움이 오작동의 또 다른 중요한 문제점으로 확인되었다.

본 연구에서는 웹페이지에서 작은 크기의 실행 객체와 그 객체들의 배치 밀도가 높아 포인팅 및 실행이 어려웠던 문제점을 개선하여 상지장애인이 웹 콘텐츠를 자유롭게 클릭할 수 있도록 객체의 자동 확대인터페이스를 제안한다. 선행 연구에서 개발된 Eye-Voice 인터페이스를 개선하여 시선의 움직임에 따라 포인터로 추적되는 웹 브라우저의 클릭 가능한 객체만을 추출하여 크기를 동적으로 확대하여 포인터로 실행할 수 있는 범위를 확장했다. 또한, Eye-voice 인터페이스 환경에서 포인팅 된 객체를 동적으로 확대해주는 확대 기능을 적용하였을 때, 확대 비율에 따른 실행의 정확도 평가를 통해 적정 확대 비율 확인하였다.

2. 관련 연구

2.1 시선 추적을 이용한 기기 제어 인터페이스에서의 객체 확대 기능

시선 추적 기술을 이용하여 웹 콘텐츠를 탐색한 연구는 다음과 같다. 첫 번째, 응시 시간을 이용한 기기 제어 연구이다. 이 방식은 화면상의 객체를 응시하고 있는 시간을 계산하여 설정한 시간에 도달했을 때, 현재 포인터가 위치한 객체를 실행하는 방식이다. 이 방식의 대표적인 연구로는 Butterfleye가 있으며, Butterfleye는 응시하고 있는 객체의 임계치 시간에 도달하면 투명한 대형 실행 버튼을 제공하여, 클릭을 할 수 있도록 제공한다[5]. 하지만, 클릭을 원할 때마다 대형 버튼 호출을 위해 설정된 임계치 시간까지 눈을 깜빡이지 않고 기다려야 하며, 임계치 시간이 되기 전 눈을 깜빡이게 되면 시간이 마우스 포인터가 바뀌었다고 인식되어 시간이 다시 계산되는 불편함과 그로 인한 눈의 피로가 발생한다.

두 번째, 실행시키고자 하는 객체 위에 포인터가 배치되었을 때, 눈의 깜박임으로 객체를 실행시키는 포인터 실행 방식이다. 웹 환경에서의 제어 GazeThe Web 연구[6]는 웹 콘텐츠를 탐색할 때 깜빡임으로 포인터를 실행시키고, 문자를 입력한다. 특히 링크 콘텐츠에 포인터가 배치되면 연속적인 줌인(링크의 확대 및 축소가 연속적으로 실행) 기능을 제공하여 손쉽게 링크를 선택하고 포인터를 실행하도록 제공하지만, 링크 콘텐츠를 제외하고는 줌인 기능이 제공되지 않아 작은 객체를 시선 추적 기능으로 클릭하기에는 불편함이 존재하며, 반복적으로 커지고 작아지는 줌인 효과 역시 사용자의 눈의 피로를 발생시킨다.

마지막으로 복합 제어 방식의 연구가 있다. 이 방법은 시선 추적 기술을 기반하여 외부 버튼 및 음성인식 기술 등 결합하여 기기를 제어하는 방식이다[7]. [7]는 시선 추적 기술로 포인터의 이동을 외부 버튼으로 포인터의 실행을 수행한다. 또한, 가상 키보드와 음성 인식으로 문자를 입력하도록 하였다. 하지만 포인터 실행을 위한 외부 버튼을 생성하였지만, 객체를 확대하는 기능은 제공하지 않고 있어, 포인팅 및 실행 객체 실행의 정확도를 보장하고 있지는 않다.

일반 사용자에게는 웹 브라우저의 메뉴 및 콘텐츠의 크기는 큰 문제가 되지 않는다. 하지만 상지 장애인이 시선추적 기술을 사용하는 환경은 신체가 고정되어 모니터 앞으로 몸을 움직이기 힘들다. 웹 브라우저의 메뉴 또는 웹페이지는 포함하고 있는 실행객체의 높은 배치 밀도와 작은 크기로 인하여 정확한 포인팅이 어렵다. 따라서 본 연구에서는 웹 환경에서 시선이 이동하는 경로에 클릭이 가능한 객체만을 추출하여 자동 확대해 클릭을 쉽게 할 수 있도록 하였다. 시선의 이동과 클릭하기까지의 과정에서 눈의 깜빡임과 지속적인 응시로 인해 객체 실행의 오류와 피로감에서 벗어날 수 있도록 선행 연구 Eye-Voice 인터페이스의 음성 명령 기능과 빈번한 실행 버튼 호출과 링크에만 제공되었던 확대 기능을 클릭 가능한 다양한 객체에 적용하여 웹의 활용 가능 범위를 확대하였다는 것에 큰 의미가 있다고 할 수 있다.

2.2 선행 연구

본 연구의 선행 연구로 손 사용이 불편한 상지 장애인이 시선 추적 기술로 포인터를 움직이고, 웹 브라우저를 탐색할 때 포인터 실행의 오류를 줄이는 음성명령 시선추적 인터페이스 Eye-Voice를 개발하였다. Eye-Voice는 시선 추적 기술로 포인터의 움직임을 실행하고, 웹 브라우저를 탐색하는 동안 부정확한 포인터 실행(깜빡임, 응시) 방법을 사용하지 않고 “okay”라고 음성명령을 내려 자연스러운 클릭을 즉각적으로 실행할 수 있도록 설계하였다. 또한 기존 시선 인터페이스들과의 포인터 실행의 오작동 감소에 관한 비교 실험을 진행한 결과 Eye-Voice가 포인터 실행의 오작동률을 낮추었으며 효과가 있음을 검증하였다. 본 연구는 Eye-Voice 인터페이스를 기반으로 사용자의 시선이 이동하는 경로에 객체를 자동확대해주는 웹 확장 프로그램으로 기능을 확대하여 개발을 진행하고자 한다.

3. 추적 실행 객체 확대 인터페이스 설계 및 구현

3.1 시스템 목표 및 개요

본 시스템은 상지장애인이 마우스의 사용 없이도 PC의 메뉴 및 객체를 자유롭게 선택하고 실행시킬 수 있는 Eye-Voice 인터페이스에서 사용자의 시선의 움직임에 따라 실행 객체를 확대해주는 인터페이스 개발을 목표로 한다. 본 인터페이스 설계의 핵심은 상지장애인이 웹 환경에서 클릭을 수행하고자 할 때, 실행 객체의 높은 배치 밀도와 작은 크기로 인해 포인팅하기 어려웠던 문제를 사용자의 시선 이동 경로에 있는 클릭 가능한 객체만을 추출하여 자동으로 그 크기가 확대되도록 설계하였다.

3.2 시스템 주요 기능 설계

객체 포인팅의 정확도 및 웹 브라우저 사용의 편리성을 향상하기 위해 웹 브라우저의 확대 인터페이스를 설계하였다. 확대 인터페이스는 두 가지의 확대기능을 포함한다. 첫 번째 기능은 웹 콘텐츠 내 추적된 실행 객체의 확대 기능이다. 포인터로 추적되는웹 브라우저의 실행 객체의 크기를 동적으로 확대하여 포인터 실행할 수 있는 범위를 확대했다. 확대 기능이 적용될 객체는 웹페이지 내에 존재하며, 하이퍼링크가 결합된 객체를 대상으로 하였다.

두 번째 확대 인터페이스의 기능은 웹 브라우저메뉴의 확대 및 재배치이다. 웹 브라우저의 메뉴는 화면 조작을 위해 자주 사용되는 메뉴로 선정하였으며, 선정된 메뉴들은 기능에 따라 네비게이션 기능과 보기 기능으로 구별하였다. 네비게이션 기능에는 페이지 액션과 탭 액션이 있다. 페이지 액션으로 ‘뒤로 가기’, ‘앞으로 가기’ 기능이 메뉴에 포함되고 탭 액션으로 ‘창 닫기’, ‘홈으로 가기’ 기능이 메뉴에 포함된다. 보기 기능에는 화면 재실행 기능의 ‘새로 고침’과화면 비율을 지정하는 기능의 ‘확대’, ‘축소’ 기능이 메뉴에 포함된다. 웹페이지의 화면이 전환되어도 빠르게 접근 및 실행할 수 있도록 웹 브라우저 화면을 중심으로 양측에 배치하였다.

3.3 구현 및 결과

본 논문에서 제안하는 시스템의 구성도는 Fig. 1 과 같다. 크롬 확장 프로그램이 구동되면 시선 추적 모듈과 음성 인식 모듈이 백그라운드에서 실행된다. 시선 추적 모듈은 실시간 시선 좌표에 따라 포인터를 모니터에 배치하며, 음성 인식 기능을 이용하여 포인터를 실행한다. 이때, 시선의 이동에 따라 클릭이 가능한 실행 객체일 경우 객체의 크기를 동적으로 확장시키도록 하였다. 객체의 확대 기능은 웹페이지가 로드될 때 HTML 요소를 검사한다. HTML 요소에 따라 실행 객체를 판별하고, 실행 객체라고 판단되는 요소는 그 크기를 확대한다. 음성 인식 모듈은 프로그램이 실행됨과 동시에 백그라운드에서 음성을 인식 받을 수 있는 상태로 유지한다. 음성 입력이 들어오면 실행 객체의 유형에 따라 텍스트를 화면에 디스플레이 하거나, 실행 객체를 실행한다. 시선 추적 및 음성 명령 기능은 Python 언어[8]로 tobii_research API[9]와 Google Cloud Speech API[10]를 이용하여 개발하였으며, 확대 인터페이스의 기능은 JavaScript, HTML[11], CSS를 이용하여 개발하였다. 개발 단계와 사용자 테스트 진행 시 사용된 데모 도구는 아이트래커 Tobii Etyetracket X130[12]이다.

Fig. 1. Overall System Diagram.

실행 객체의 확대는 웹 브라우저에서 구현되며, 웹페이지 내 실행 객체의 확대 기능과 브라우저의 메뉴 확대 및 재배치 기능을 포함한다.

실행 객체의 확대 기능은 브라우저 내 웹 콘텐츠 위에서 시선이 이동할 때 실행 가능 객체일 경우 즉시 확대되고, 시선이 해당 객체에서 떠났을 때 원래의 크기로 돌아오도록 구현하였다. 실행 가능한 객체 확대를 위해서는 먼저, 객체의 유형 판단이 실행된다. 웹페이지가 브라우저상에 로드될 때마다 확장 프로그램에서 DOM을 통해 해당 페이지에 존재하는 실행 객체를 판단한다. 실행 객체는 웹페이지의 HTML 요소를 판단 기준으로 설정하였다. HTML의 , , , , <keygen>, <input> 요소일 경우 실행 객체로 간주하고, 포인터가 실행 객체에 접근하여 크기를 확대하고 하이라이팅 기능이 실행된다. 이때 hover 이벤트를 이용하여 포인터가 hover 상태가 되면 일시적으로 해당 객체의 CSS 설정을 변경하여 객체의 크기를 확대하고, 배경색을 변화시킨다. 포인터가 객체 위에서 leave 상태가 되면 원래의 모습으로 돌아가도록 구현하였다. 실행 객체의 확대 기능이 실행되면, 화면이 밀리는 문제점이 발생한다. 이 문제를 해결하기 위하여 클릭 가능한 실행 객체와 동일한 성격을 가지는 쌍둥이 객체를 생성하여 해결하였다. 포인팅 된 해당 요소를 즉시 확대하지 않고, 해당 요소의 복제 요소를 만들어 그 복제된 요소를 확대하는 방법이다. 이 방법을 사용하여 마치 해당 요소가 확대된 것처럼 보이는 효과를 낼 수 있었다. 포인터가 특정 실행 객체요소를 hover 하는 즉시 $(this).clone(); 함수를 이용하여 복제 요소를 생성하고, 복제된 요소에 $(복제객체). css();를 이용하여 확대 및 하이라이팅 스타일을 적용할 수 있도록 구현하였다. 이후 $(this).prepend (복제객체);를 통해 효과를 원본 요소 위에 배치했다. 따라서 강제로 생성된 복제 요소에 의해 가려진 기존의 요소에는 아무 효과도 적용되지 않도록 하였다. Fig. 2는 시선 이동에 따른 실행 객체 확대 실행 화면이다.</p> <p><img alt="MTMDCW_2021_v24n7_903_f0002.png 이미지" height="228" data-cke-saved-src="/ks-full-text-html-image/JAKO202123261935184:2/image.image" src="/ks-full-text-html-image/JAKO202123261935184:2/image.image" width="600" /></p> <p><strong>Fig. 2. Screenshot of object magnification function according to Pointer movement.</strong></p> <p>브라우저 메뉴의 확대 재배치 기능은 확장 프로그램이 실행되면 자동으로 실행되도록 구현하였다. 확장 프로그램이 실행되면 웹페이지의 양쪽 측면에 브라우저 메뉴를 아이콘 형태로 확대 배치하였다. 왼쪽 사이드에는 상, 하 스크롤 기능을 구현하였으며, 오른쪽 사이드에는 뒤로 가기, 앞으로 가기, 홈, 새로 고침, 확대, 축소 기능을 구현하였다. 또한, 편의를 위해 자주 사용하는 확대 기능을 추가하여 구현하였다. </p> <p>확대 메뉴를 구현하기 위해 DOM 개념을 이용하였다. DOM 모델은 객체들의 트리 구조로 구성되며, 트리의 최상위 계층은 Document이다. 최상위 노드에 자식 노드를 생성하여 메뉴 아이콘들을 생성하였다. 브라우저 메뉴의 개수대로 총 11개의 자식 노드를 생성하고 각각을 클릭할 때마다 해당 메뉴의 이벤트가 발생하게 구현하였다. 또한, 마우스 포인터를 아이콘 위에 hover 시킬 시에는 아이콘을 빨간색과 노란색으로 변화시켜 포인팅 된 메뉴를 명확하게 구분될 수 있도록 하였다. 자식 노드에 대한 접근은 .previousSibling() 함수를 이용하여 이동하였으며, 해당 자식 노드에서 클릭 이벤트가 발생하면 .click() 함수를 실행하여 해당 자식 노드가 가지고 있는 브라우저 메뉴의 고유 기능을 실행하도록 구현하였다. Fig. 3은 확대 메뉴의 실제 실행 화면이다.</p> <p><img alt="MTMDCW_2021_v24n7_903_f0003.png 이미지" height="333" data-cke-saved-src="/ks-full-text-html-image/JAKO202123261935184:3/image.image" src="/ks-full-text-html-image/JAKO202123261935184:3/image.image" width="600" /></p> <p><strong>Fig. 3. Screenshot of magnification menu execution.</strong></p> <h1>4. 객체의 확대 비율 확인에 대한 평가</h1> <h2>4.1 평가의 목적 및 평가 방법</h2> <p>본 평가는 Eye-voice 인터페이스 환경에서 포인팅 된 객체를 동적으로 확대하는 확대 기능을 적용하였을 때, 확대 비율에 따른 실행의 정확도 평가를 통해 적정 확대 비율 확인하는 것이 목표이다. 따라서 정확도에 대한 평가가 중점적으로 이루어져야 한다. 평가는 정량적 평가와 정성적 평가로 나누어 진행된다. 정략적 평가는 정확도 평가로 시선으로 마우스를 이동하여 클릭 가능한 객체에 도달하고, 음성명령을 통해 클릭 이벤트를 실행하여 해당 객체에 할당된 이벤트가 실행되는 순간까지의 시도 횟수와 소요 시간을 측정한다. 여기에 피실험자가 어떤 비율의 객체를 클릭할 때 편했는지 주관적인 만족도를 확인하는 정성적 평가를 추가하여 평가의 정확도를 높였다. </p> <p>평가 방법은 다음과 같다. Eye-Voice 인터페이스에서 실행 객체 확대 비율 4가지(100%, 120%, 140%, 160%)에 대해 비교 평가를 진행한다. 평가에 참여한 피평가자는 손을 사용할 수 없도록 제한한 일반 사용자 10인으로 구성되었다.</p> <p>실험은 세 가지 항목에 대해 측정되었다. 첫 번째, 포인터 실행의 정확도이다. 태스크에 제시된 실행 객체를 정확하게 실행시켰는지 클릭을 위한 명령어인 ‘오케이’의 호출 횟수를 측정한다. 두 번째, 포인터 실행의 효율성이다. 얼마나 빠르게 태스크를 완료하였는지 클릭 수 객체가 실행되기까지의 수행 시간을 측정한다. 마지막으로 확대 비율에 대한 만족도이다. 어떤 비율이 포인터 실행하기에 편했는지에 대한 만족도를 5점 척도로 측정하였다.</p> <p>평가에 사용된 태스크는 웹페이지 내에서 클릭이 가능한 실행 객체의 크기를 대, 중, 소로 조합하여 태스크 난이도 하, 중, 상으로 구성하였다. 실행 객체 크기는 모니터 해상도 1920*1080, 브라우저 글꼴 크기 100% 상태에서 실행 객체 크기를 구분하였다. 태스크의 난이도는 하에는 실행 객체의 크기 대와 중으로 구성되었으며, 난이도 중에는 실행 객체의 크기 대, 중, 난이도 하에는 실행 객체의 크기 중, 소로 구성하여 난이도를 조절하였다.</p> <p>태스크의 완료는 제시된 실행 객체들을 클릭하여 실행시키기까지로 정의하였으며, 태스크 완료까지에 수행된 클릭을 위한 시도 횟수와 시간을 측정하였다. 태스크의 순서는 랜덤하게 제시되며, 각 2회 진행 후 평균을 계산하였다. 태스크 완료 후, 클릭하기 더 편했던 비율에 대하여 5점 척도의 주관적 만족도를 측정하였다.</p> <p>실험 시작 전 각 인터페이스와 태스크에 대한 충분한 설명 및 안내하고 진행하였다. 평가자는 임의로 손 사용이 불가하게 고정하고, 시선과 음성명령으로 브라우저를 제어하도록 안내하였다. 실험 시작 전, 태스크별 실행 객체 클릭 순서를 화면으로 먼저 안내해서 클릭 위치를 숙지할 수 있도록 시간 부여하였으며, 클릭을 시도할 때마다 소리를 내도록 안내하였다.</p> <h2>4.2 평가 결과 분석</h2> <p>총 10명의 피실험자를 대상으로 Eye-Voice에서 4가지의 확대 비율에 대하여 실험을 진행한 후, 수행 시간, 재시도 횟수를 측정하여 평균을 구하였다. 또한, 각 확대 비율 간의 결과의 차이가 있는지 확인하기 위해 독립 표본 T 검증을 진행하였다.</p> <p>객체 확대 비율 확인 실험 결과는 두 가지 항목으로 분석하였다. 첫 번째 항목은 실행 객체 확대의 적정 확대 비율 확인, 두 번째 작업 난이도별 적정 확대 비율 확인이다.</p> <h3>4.2.1 인터페이스별 평균 오작동 감소 확인</h3> <p>다음 Table 1은 확대 비율에 대하여 10명의 피평가자가 태스크 별 2회씩 실험을 진행하여 측정한 결과의 평균이다.</p> <p><strong>Table 1. Average Experimental result per Magnification ratio.</strong></p> <p><img alt="MTMDCW_2021_v24n7_903_t0001.png 이미지" data-cke-saved-src="/ks-full-text-html-image/JAKO202123261935184:6/image.image" src="/ks-full-text-html-image/JAKO202123261935184:6/image.image" /></p> <p>첫 번째 실행 객체 확대의 적정 비율 확인 결과, 확대 비율별 평균 시도 횟수와 수행 시간이 비율이 커짐에 따라 감소하는 것을 확인하였다. 시도 횟수와 수행 시간에 대한 T 검증을 수행한 결과 140%~ 160%의 비교를 제외하고 모두 유의미한 차이를 확인하였다. 다음 Fig. 4는 객체 비율별 수행 시간과 시도 횟수를 나타낸 그래프이다.</p> <p><img alt="MTMDCW_2021_v24n7_903_f0004.png 이미지" data-cke-saved-src="/ks-full-text-html-image/JAKO202123261935184:4/image.image" src="/ks-full-text-html-image/JAKO202123261935184:4/image.image" /></p> <p><strong>Fig. 4. Execution time and number of attempts by object Magnification ratio.</strong></p> <p>각 비율에 대한 포인터 실행이 편한가에 대한 만족도 평가 결과, 100%일 때 2.1점, 120%일 때 3.5점, 140%일 때 4.8점, 160%일 때 4.1점으로 140%가 가장 높은 만족도를 획득하였다.</p> <h3>4.2.2 작업 난이도별 적정 확대 비율 확인</h3> <p>두 번째 작업 난이도별 적정 확대 비율을 확인한 결과는 다음과 같으며, Table 2는 각 작업 난이도에서의 확대 비율별 실험 결과이다.</p> <p><strong>Table 2. Results according to the magnification ratio for each difficulty.</strong></p> <p><img alt="MTMDCW_2021_v24n7_903_t0002.png 이미지" height="138" data-cke-saved-src="/ks-full-text-html-image/JAKO202123261935184:7/image.image" src="/ks-full-text-html-image/JAKO202123261935184:7/image.image" width="600" /></p> <p>작업 난이도에 따라 시도 횟수를 비교한 결과 ‘하, 상’에서 140%, ‘중’에서는 160%가 가장 적은 시도 횟수를 기록하였으며, 수행 시간에서는 모든 난이도에서 160%가 가장 짧은 수행 시간을 기록하였다. 시도횟수에 대한 T 검증 결과 난이도 ‘하’에서 120%~ 160%, 140%~160% 비교에서 차이가 없었으며, ‘중’ 에서는 모든 비교에서 유의미한 차이를 보였다. ‘상’ 에서는 140%~160% 비교에서 차이가 없었다. 수행시간에 대한 T 검증 결과 모든 난이도에서 140-160 비교를 제외하고 유의미한 차이가 발견되었다. 다음 Table 3은 작업 난이도별 확대 비율에 대한 T 검증 값을 나타내는 표이다.</p> <p><strong>Table 3. T-validation of the number of attempts and execution time between the magnification ratio of each execution object size.</strong></p> <p><img alt="MTMDCW_2021_v24n7_903_t0003.png 이미지" height="605" data-cke-saved-src="/ks-full-text-html-image/JAKO202123261935184:8/image.image" src="/ks-full-text-html-image/JAKO202123261935184:8/image.image" width="600" /></p> <p>객체 크기별 확대 비율에 대한 만족도 측정 결과, 모든 크기가 140%가 가장 높은 만족도(대 4.4점, 중 4.5점, 소 4.6점)를 획득하였다. Fig. 5는 객체 크기별 확대 비율별 만족도 그래프이다.</p> <p><img alt="MTMDCW_2021_v24n7_903_f0005.png 이미지" height="318" data-cke-saved-src="/ks-full-text-html-image/JAKO202123261935184:5/image.image" src="/ks-full-text-html-image/JAKO202123261935184:5/image.image" width="600" /></p> <p><strong>Fig. 5. Satisfaction graph by magnification ratio by task difficulty.</strong></p> <h3>4.2.3 결과 분석에 따른 결론</h3> <p>적정 확대 비율에 대한 실험 분석 결과, 확대 비율이 커질수록 정확도는 향상되었지만, 모든 작업 난이도의 140%~160% 비교에서 T 검정 결과 유의미한 차이가 없음이 확인되었다. 또한, 비율이 커짐에 따라 정확도의 향상 효과가 지속되지만, 140%와 160% 의 비교의 막대그래프와 시간 그래프의 기울기 각도가 감소하여 정확도 향상의 효과가 줄어듦을 알 수 있었다. 마지막으로 만족도 평가에서 140%가 가장 높은 만족도를 보였다. 따라서 모든 작업 난이도에서 140% 확대 비율이 사용자가 가장 편하고 정확하게 웹 브라우저를 사용할 수 있는 객체의 적정 확대 비율로 평가된다. 또한, 객체 클수록 무조건 사용이 편리하지 않다는 점도 발견할 수 있었다.</p> <h1>5. 결론</h1> <p>웹페이지는 많은 작은 크기의 실행 객체들이 존재하고, 그 객체들의 배치 밀도가 높아 포인팅 및 실행이 어렵다. 본 논문은 선행 연구로 개발된 Eye-Voice 시스템을 웹 환경에 적용하였을 때, 발생하는 작은 크기에 따른 포인팅 및 실행의 문제점을 개선하여 상지 장애인의 시선에 있는 웹 콘텐츠의 클릭 가능한 객체를 자동으로 확대해주는 인터페이스를 개발하였다. 또한, 동적 확대 기능을 적용하였을 때, 확대 비율에 따른 실행의 정확도 평가를 통해 적정 확대 비율을 확인하였다.</p> <p>자동 확대 기능은 2가지 기능으로 구현하였다. 첫 번째는 웹페이지 내 사용자 시선의 이동 경로에 있는 실행 객체를 추출하여 확대하는 동적 자동 확대 기능이며, 화면에 많은 정보를 제공하고자 하는 웹페이지에서 실행 가능한 객체를 기존의 크기보다 확대하여 클릭의 범위를 확대하여 잘못된 클릭의 오류를 줄일 수 있었다. 두 번째 기능으로 페이지 뒤로 가기/앞으로 가기, 새로고침 등과 같이 웹 브라우저에서 자주 사용되는 메뉴를 선정하여 클릭이 쉽도록 화면의 양옆에 재배치하여, 웹페이지의 이동이 일어나도 항상 사용할 수 있게 하여, 낮은 배치 밀도와 작은 크기의 웹 브라우저 메뉴의 클릭을 쉽게 할 수 있도록 구현하였다.</p> <p>객체 확대 비율에 대한 실험을 진행한 결과 확대 비율이 커질수록 정확도는 향상되었지만 140%~ 160% 구간에 진입하면서 유의미한 차이가 없음이 확인되어, 모든 작업 난이도에서 140% 확대 비율이 사용자가 가장 편하고 정확하게 웹 브라우저를 사용할 수 있는 객체의 적정 확대 비율임을 확인하였다. </p> <p>선행 연구와 본 연구를 통해 PC 환경과 웹 환경에서의 포인터 실행에 관한 연구를 진행하였다. 향후 모바일 환경으로 범위를 확장 시킨다면, PC보다 작은 디스플레이 화면과 모바일의 특성에 기반한 문제가 발생할 것으로 예상되어 추가적인 연구가 필요할 것이다. 또한, 운동이나 운전 중과 같은 손을 사용하기 힘든 상황과 같이 다양한 도메인 적용한다면 사용성과 편리성 향상에 크게 이바지할 수 있을 것으로 기대한다.</p>