Human-Content Interface : A Friction-Based Interface Model for Efficient Interaction with Android App and Web-Based Contents

Abstract

In this paper, we propose a human-content interface that allows users to quickly and efficiently search data through friction-based scrolling with ROI(Regions of interests). Our approach, conceived from the behavior of finding information or content of interest to users, efficiently calculates ROI for a given content. Based on the kernel developed by conceiving from GMM(Gaussian mixture model), information is searched by moving the screen smoothly and quickly to the location of the information of interest to the user. In this paper, linear interpolation is applied to make one softer inertia, and this is applied to scrolls. As a result, unlike the existing approach in which information is searched according to the user's input, our method can more easily and intuitively find information or content that the user is interested in through friction-based scrolling. For this reason, the user can save search time.

본 논문에서는 사용자의 관심영역(Region of interests, ROI)을 마찰력 기반의 스크롤을 통해 데이터를 빠르고 효율적으로 검색할 수 있는 인간-콘텐츠 사이의 새로운 인터페이스를 제안한다. 사용자가 관심이 있는 정보나 콘텐츠를 찾는 행동에서 착안한 우리의 접근 방식은 주어진 콘텐츠에서 ROI를 효율적으로 계산하고, GMM(Gaussian mixture model, 가우시안 혼합 모델)에서 착안해 개발한 커널을 기반으로 사용자가 관심 있어 하는 정보의 위치로 부드럽고 빠르게 화면을 이동시켜 정보를 탐색한다. 본 논문에서는 선형 보간법(Linear interpolation)을 적용하여 한층 부드러운 하나의 관성을 만들고, 이것을 스크롤에 적용한다. 결과적으로 사용자의 입력에 따라 정보가 검색되는 기존의 접근법과는 달리, ROI와 DOI(Degree of interests, 중요도)를 기반으로 마찰력을 제어한다. 제어된 마찰력 기반 스크롤을 통해 사용자가 관심 있어 하는 정보나 콘텐츠를 보다 쉽고 직관적으로 찾아줄 수 있기 때문에 사용자는 탐색 시간을 절약할 수 있다.

I. Introduction

최근에 플랫폼과 다양한 콘텐츠 산업의 성장에 따라 게임, 혼합현실, 인공지능 등 많은 콘텐츠들이 다양한 플랫폼에서 제공되고 있다[1,2]. 하지만 수많은 콘텐츠와 빅 데이터들 사이에서 사용자가 원하는 정보를 검색하는 것은 반복적이고 번거로운 일이다. 인공지능의 발전으로 인해 빅 데이터가 더욱더 중요해지는 이 시점에서 데이터를 찾거나 활용하는 사용자 입장은 숙련된 경험이 없으면 기술발전과는 별개로 사용하기 어렵다. 이러한 인터페이스 개선을 위한 대표적인 방법은 동작(Gesture) 기반 터치 스크롤이다 : 스크롤을 통해 사용자는 화면상의 콘텐츠에 대한 직접적인 물리적 상호작용을 할 수 있다. 하지만 동작 기반 스크롤링의 단순성은 다양한 분야에서 여전히 문제가 지적되고 있다. 예를 들어 애플의 iPhone에서 플릭 스크롤을 살펴보면 “플릭”동작을 따르는 스크롤 속도가 간단한 물리 법칙도 따르지는 않으며, 단순하게 가속 스크롤 속도와 빠른 감속이 적용되는 경우밖에 없다.

터치 스크롤링 기술의 동작은 인간의 입력 동작을 스크롤링 출력 효과로 변환하는 전달 함수(Transfer function)에 의해 결정된다[13,14]. 이러한 기능은 개별 동작의 속성(길이, 속도, 압력 또는 방향 등), 동작 시퀀스의 속성 (예 : 빠른 시퀀스 또는 해당주기에서 실행된 동작의 개수), 문서 (예 : 문서의 길이 또는 콘텐츠 유형), 현재 시스템 상태 및 설정 (예 : 스크롤 속도 또는 마찰 설정) 등 다양한 속성과 같은 입력 매개 변수에 관련되어 있다. 이러한 매개 변수 중 일부 또는 전부가 특정 구현에서 사용될 수 있지만 실제로 사용되는 매개 변수와 그 사용 방법에 대한 공개 정보가 여전히 많이 부족한 상황이다. 또한 사용자가 동작을 통해 스크롤 속도를 제어 할 수 있는 기본적인 지식조차 부족하기 때문에 직관적으로 활용되기 어렵다는 한계가 있다.

대부분의 플랫폼은 제한된 내장 스크롤 매개 변수 세트만 공개하고 부분적인 허용으로 제한된 환경에서만 활용되었다. 또한, 전달 함수를 검사 할 수 있는 방법 자체가 없었기 때문에 터치 스크롤 동작에 대한 발전은 제한적일 수밖에 없었다. 최근 연구에서는 마우스 포인팅[15]과 스크롤 휠 작동[14]에서 전달 기능을 검사하는 기술을 공개했지만, 이러한 방법은 외부 장치와의 통신을 위해 공개된 USB 표준에 의존하기 때문에 터치 스크롤링에 적용할 수 없다.

터치 스크롤 전달 함수에 대한 정보 부족은 연구자들에게 항상 고질적인 문제이다. 고질적인 문제가 되는 이유는 1) 정확한 시스템 설정을 보거나 복제할 수 없기 때문에 실험적 부정확성의 원인이 되며, 2) 사람마다 다르게 해동하는 동작을 알 수 없기 때문에 개인 맞춤에 따른 터치 패턴을 개선하는 것은 어려운 문제이다. 최근에 빅 데이터에서 유의미한 정보를 사용자에게 추천해주는 시스템과 그것을 사용자에게 전달하는 방법이 중요하게 여겨지는 현시점에서, 인터랙티브한 인터페이스 기술은 지금도 꾸준하게 요구되고 있는 상황이다 (Fig. 1 참조).

Fig. 1. Design patterns for social interactions.

본 논문에서는 사람-콘텐츠 간 인터랙티브한 인터페이스를 만들기 위해 먼저 각 콘텐츠의 사용자 통계에 의한 ROI와 DOI를 파악하고, 이를 이용해 효과적인 정보 전달이 이뤄지도록 스크롤하는 방법이 필요하다. 이러한 접근법을 기반으로 우리는 콘텐츠 기반 가속 관성 스크롤 인터페이스를 제안한다. 이 과정은 전체 콘텐츠중 주요 문장이나 사진과 같은 부분에 해당하는 위치와 관심도에 따라 스크롤 머무는 시간(Delay time)이 달라진다. 그 이유는 1) 불필요한 콘텐츠 구간에서는 가속하되, 그 반대의 경우 현 위치가 ROI에 가까워질수록 사용자가 주요 콘텐츠를 읽을 수 있을 정도로 속도를 늦춰야하기 때문이다. 2) 사용자는 관심 있는 정보에 더 오래 머물기 때문이다 : 예를 들어, 임의의 두 ROI 중 A의 DOI가 B의 DOI보다 3배 높다고 가정하자. 사용자는 당연히 A의 ROI에서 B보다 3배의 시간을 머물러야 한다. 결론적으로 각 ROI는 DOI와 매핑된다. 사용자가 정보를 검색하는 행동 패턴에 착안하여, 본 논문에서 제안하는 커널을 ROI에 적용하고, DOI와 함께 정규화하여 스크롤의 움직임을 제어한다.

본 논문에서는 이러한 특징을 이용하여 사용자와 콘텐츠 사이의 효율적인 상호작용을 위한 관성 스크롤 기반 인터페이스를 제안한다. 이러한 기법을 디자인하기 위한 본연구의 기여도는 아래와 같다 :

• 데이터의 위치와 주어진 ROI, DOI를 이용하여 관성을 계산할 수 있는 커널을 개발한다.

• 가속 관성 커널을 활용하여 웹 브라우저와 안드로이드 환경에서 활용할 수 있는 유효성 실험을 진행한다.

1. Related work

전달 함수는 사용자가 장치를 조작하는 과정에서 결과적인 출력 효과로 변환하는 역할을 한다[13]. 몇몇 연구자들은 스크롤링 전송 기능이 사용자 성능에 미치는 중요한 역할에 주목했다[16]. 또한, Casiez와 Roussel는 마우스포인팅 전달 기능을 분석하고 제어하는 도구가 부족 하 여부 정확한 “실험적 브리콜라주(Experimental bricolage)” 를 유발한다는 결과를 도출하고 이것을 관찰할 수 있는 방법을 제안했다[15]. 결과적으로 그들의 방법은 이러한 문제를 해결하기 위해 USB 마우스 에뮬레이터(EchoMouse) 와 소프트웨어 라이브러리를 개발했다. Quinn 등은 상업용 스크롤 휠 장치에 사용되는 스크롤링 전달 기능을 분석하기 위해 EchoMouse 방식을 채택하여 활용하였다[14].

Fig. 2. Features of flick and flick mechanism (inset image : side view of the gesture)[18].

터치 입력을 통해 사용자는 여러 매개 변수를 쉽게 표현할 수 있다. 특히, 스크롤 휠은 많은 동작 형태로 변형이 가능하다[17,18] (Fig. 2 참조) : 타원형[19,20], 또는 진동 운동[21], 압력[22,14], 접촉점의 개수와 팔과 달리 접촉 유형 [23] 등이 있다. 접촉 및 드래그 중에 사용자는 동작 길이, 접촉 시간, 속도, 가속도 접촉 영역, 접촉 영역 방향, 압력 및 위치 등을 포함한 다양한 매개 변수를 제어할 수 있다.

콘텐츠에서 DOI를 추정하고 시각화하기 위한 이전 접근방식은 화면에서 사용자 행동을 포착하고 분석하는 것이다[3,4]. 대부분의 기존 접근 방식은 문서 내에서 DOI를 나타내는 시각적 단서에만 의존한다[1, 5, 6]. 시각적 신호는 사용자의 주의를 끌 수 있지만 제한된 화면 내에서 수많은 시각적 신호를 보고 판단하는 것은 쉽지 않다. 이러한 제약은 많은 양의 정보를 보는 사용자 입장에서 원하는 정보를 찾기 어렵게 만들며, 이러한 문제는 시각적 미디어와 위젯이 많이 포함된 웹 콘텐츠에서 심각하게 발생한다.

시각적 신호를 추가하는 접근법과는 다르게, 스크롤 접근 방식은 스크롤 동작 자체를 향상시키는 접근법이다. 이전 연구들에서는 화면에 비치는 객체의 투명도를 수정했으며[7], 문서 구조를 분석하여 스크롤 방향, 속도 및 확대 /축소를 변경하는 연구도 있다[8]. 뿐만 아니라, 스크롤 속도에 따라 동적 줌(Zoom)을 적용한 연구도 있다[9]. 의사 햅틱 피드백(Pseudo-haptic feedback)은 시각적 피드백과 장치 저항(Device resistance)을 분리하여 마찰력과 같은 효과를 만들었다[10]. 전용 하드웨어 없이 마우스 커서에 가속을 적용하거나[11], 디스플레이어 업데이트 속도를 제어하는데 물리적 스크롤 방법을 활용한 연구도 있다 [12]. 본 논문에서는 이 접근법을 마우스 커서 없이 자동으로 스크롤 감속 할 수 있는 인터페이스로 확장하며, 데스크톱 웹 브라우저와 안드로이드 앱으로 활용할 수 있는 방법을 제시한다.

II. The Proposed Scheme

1. Kernel for calculating inertia force

본 논문에서는 우선 사용자의 현 위치에서 적용될 가속 관성을 계산하기 위한 커널 를 계산해야 하며, 콘텐츠에 의한 가속 관성을 계산하기 위해 몇 가지 가정한다 :

• 수많은 콘텐츠들 사이에서 원하는 정보를 찾기 위한 사용자의 행동 패턴은 마치 중요한 지점에서 천천히 탐색하는 과정과 유사하다. 이러한 패턴은 중요한 지점에서의 가중치가 커지는 가우시안 함수(Gaussian function)와 유사한 움직임을 보인다.

• 다수의 ROI에서 사용자가 머무르는 시간과 움직이는 속도는 DOI에 비례한다.

본 논문에서 제안하는 커널은 다음과 같은 특징을 가진다 : 1) 사용자가 바라보고 있는 현재 위치와 ROI간의 거리는 가속도와 반비례한다. 즉, 중요한 콘텐츠에 가까울수록 속도가 줄어든다. 2) DOI와는 정비례하는 관성을 가진다. 이러한 특징을 기반으로 커널은 아래와 같이 계산한다 (수식 1 참조).

\(I(i)=D\left(r_{i}\right) R\left(r_{i}, r_{i+1}\right)\)       (1)

여기서 은 ROI 중 관성이 적용되는 기준인 ri와 스크롤 진행 방향에 있는 r_i+1, 그리고 이 값을 현재 위치를 기준으로 정규화하여 제안하는 커널에 적용한다 (수식 2와 3 참조).

\(R\left(r_{i}, r_{i+1}\right)=\log \left(\frac{m}{e^{\cos \left(\frac{\pi}{2}\right)}}\right), \text { where } 0       (2)

\(m=\frac{P(x)}{P\left(r_{i+1}\right)-P\left(r_{i}\right)}\)       (3)

여기서 P는 위치를 나타내며, m은 앞에서 언급했듯이 정규화하여 스크롤 진행도를 계산한 수식이다 (수식 3 참조). Fig. 3a와 Fig. 4을 보면 ROI와 진행도에 따른 가속도가 잘 표현되었다.

Fig. 3. ROI and DOI models using current scroll position, ROI positions and DOI values.

Fig. 4. Shape of each section of ROI model.

D는 DOI가 추출 과정에 따라 머무른 시간이나 횟수 등 다양한 형식으로 정의되는데, 본 논문에서는 최대-최소 정규화(Min-max normalization)을 적용하여 계산하였다 (Fig. 3b와 수식 4 참조).

\(D\left(r_{i}\right)=\frac{D O I_{i}-\min (D O I)}{\max (D O I)-\min (D O I)}\)       (4)

결론적으로 전체 수식에서 더 부드러운 이동을 결정하는 R과 중요도에 따른 배속을 결정하는 D, 두 모델이 Fig. 3a에서 각각 표현되었다. 이 두 개의 모델을 혼합했을 때, 각 관성 기준점에 대해 서로 다른 진폭과 파장을 갖는 가속 관성 모델이 도출된다. 실시간으로 스크롤 진행과 동시에 커널 계산이 이뤄짐에 따라, 관성 기준이 변경되는지 점에서 두드러지는 변곡점이 발생한다. Fig. 5는 이 문제를 완화하기 위해 두 관성 위치들을 기준으로 선형 보간하여 앞서 설명한 GMM모델과 유사한 혼합 방식으로 가속도를 추정해 한층 더 부드럽게 처리한다 (수식 5 참조).

\(f\left(p_{1}, p_{2}, d_{1}\right)=\left(1-d_{1}\right) p_{1}+d_{1} p_{2}\)       (5)

Fig. 5. Mixed model with linear interpolation at the point where multiple kernels are affected.

III. Results

본 연구의 결과들을 만들기 위해 실험한 환경은 Intel Core i7-7700K CPU, 32GB RAM, Geforce GTX 1080Ti GPU가 탑재된 컴퓨터를 이용하였다.

1. Validation test : Mobile device

모바일 디바이스에서는 검색을 통해 조건과 맞는 항목 (List item)을 탐색하는 시나리오를 제작하였고, 해당 항목에 대해 각 콘텐츠의 위지는 전처리 과정에서 설정하였다. 본 논문에서는 DOI에 따라 스크롤링이 자동으로 제어되는지를 살펴보기 위해 View 영역의 높이에 따라 콘텐츠의 위치를 설정하였고, 사용자자 목표 지점을 주었을 때 자동으로 위치가 제어되는지를 실험하였다 (Fig. 6 참조).

Fig. 4와는 다르게 안드로이드 화면에 보이는 영역에서의 DOI값은 커널 를 이용하고, 적용된 DOI의 순간 가속도를 통하여 콘텐츠 내에서의 가속 관성 스크롤 속도를 계산한다. 관심 있는 영역에서의 DOI 수치를 나타내는 커널 는 다음과 같이 계산한다 (수식 6 참조).

Fig. 6. Predefined content’s position on android device.

\(J_{i}=\frac{\left(y_{\text {start }}-y_{i}\right)^{2}}{k\left(y_{\text {cnd }}-y_{\text {start }}\right)^{2}}\)       (6)

현재 View 영역을 기준으로 해당 영역에 사용자가 찾고자 하는 콘텐츠가 존재한다면 y_i를 기준으로 커널 J를 설정한다. 가우시안 함수처럼 커널 J는 y_i에서 최대 지점이며, y_i에서 멀수록 수치가 감소한다. 이 구간은 y_i보다 흥미가 떨어지기 때문에 가속화가 되는 영역이다. 가속 관성 스크롤 속도를 제어하기 위해 우리는 DOI의 순간 가속도를 활용하며, 커널 J의 미분을 포현한 H의 수식은 다음과 같다 (수식 7 참조).

\(H=\frac{\left(J_{i}+t\right)-J_{i}}{\Delta t}\)       (7)

Fig. 7을 보면 H를 통해서 y_i를 기준으로 수치의 증감을 확인 할 수 있다. 우리는 여기서 H를 통해 현재 콘텐츠에서의 관성 스크롤 속도에 감쇠(Damping)같은 저항을 주어 속도를 제어한다.

Fig. 8은 모바일 디바이스에 관성모델을 적용한 결과이다. 감속 모델에 의해 목표 지점(100번째 항목)근처에 다가 갈수록 감속이 되고, 멀어지면 가속이 되는 것을 확인할 수 있다. 이 실험에서는 일반적인 안드로이드 View 영역에서 스크롤링이 자동으로 제어되는지를 확인하기 위함이며, 임의의 그림이나 텍스트 같은 콘텐츠를 추가하지는 않았다. 데스크톱 웹 브라우저는 다양한 기능을 제공하지만, 안드로이드는 웹 브라우저에서 지원하는 기능이 제한적이기 때문에, 안드로이드 디바이스에서는 간단한 장면을 가정하여 실험했다.

Fig. 7. Derivative of J.

Fig. 8a는 스크롤 제어가 되지 않는 상황으로 화면 터치와 같이 사용자의 외력에 의해서만 스크롤링이 동작한다. 아래로 이동하는 스크롤은 사용자가 관심 있어 하는 목표지점에 근접할수록 사용자가 데이터를 읽고 인지 할 수 있도록 스크롤이 자동으로 감속되며, 일정 시간을 유지하고 난 뒤에는 다시 가속되어 스크롤링이 된다 (Fig. 8b 참조).

Fig. 8. Results of applying the inertial model on mobile devices.

이 과정에서 스크롤의 위치가 2개의 목표 지점 사이에 있는 경우 수식 5에서 설명한 것처럼, 선형 보간법 의해 부드럽게 움직이는 결과를 얻을 수 있었다. Fig. 4에 있는 커널을 안드로이드 환경에 적용해도 되지만, 2개의 제어문은 FPS에 민감한 안드로이드 환경에서는 적절하지 않다고 판단하였다. Fig. 4의 커널을 사용해도 큰 문제는 없었지만, 좀 더 빠른 인터랙션을 얻기 위해 본 논문에서는 이와 유사한 커널을 제작하여 적용하였다.

2. Validation test : Desktop web browser

우리는 앞에서 설명한 커널을 데스크톱 웹 브라우저에 적용하기 위해 자바스크립트를 통한 휠 이벤트를 활용한다 (Fig. 4 참조). Y축보다는 X축으로 데이터를 검색하는 사용자의 일반적인 탐색 행동 패턴을 전제로 ROI 목록을 초기에 정렬한다. 이벤트 훅(Event hook)에서는 이동될 상태 위치를 저장하고, 내장된 이벤트 처리를 무효화한다. 그리고 앞에서 저장한 상대위치와 현재위치, 그리고 정렬된 ROI와 이에 매핑된 DOI_i를 이용하여 커널을 적용한다. 단, 커널을 적용할 때 상대위치는 방향성을 포함하고 있기 때문에 커널 결과에 절대값을 취하여 적용한다. 기준점은 이벤트 발생을 트리거로 하여 현재 위치에서 최소거리를 갖는 ROI, 즉 가장 가까운 ROI를 선택하여 갱신한다.

Fig. 9. Results of applying the inertial model on web browser (A: high DOI, B: low DOI).

Fig. 9는 DOI가 웹 브라우저에서 관성모델을 적용한 결과이며, 이 장면에서는 텍스트보다는 그림이나 테이블 형태가 DOI가 높도록 설정하였다. 텍스트 보다는 상대적으로 DOI가 높은 그림이나 테이블 근처에 다가 갈수록 감속이 되고 (Fig. 9-(A)참조), 멀어지면 다시 가속화되는 결과를 얻을 수 있었다 (Fig. 9-(B)참조). 많은 데이터를 짧은 시간 내에 이해하고 보려면 글 보다는 그림이나 테이블 형태로 요약되어 있는 데이터가 좋기 때문에 우리의 기법은 테이블과 그림 형태에서 DOI 값이 높도록 설정하였고 그에 따라 웹에서 자동으로 스크롤링 되도록 디자인 했다.

우리는 또 다른 실험으로 사용자가 웹 문서를 읽을 때 DOI가 높을 부분을 자동으로 캡처하는 결과로 확장하여 실험을 진행했다 (Fig. 10 참조). 관성 스크롤에 의해 가속이 최솟값에 수렴하는 시점에 우리는 화면 캡처를 통해 가속 관성 스크롤에 대한 검증과 ROI에 대한 이미지 형식의원 시 데이터를 추출했다 (Fig. 10-(A)참조). 이미지 수집을 위해서 브라우저를 컨트롤하는 드라이버가 필요했고, 우리는 Python을 통해 웹 브라우저를 동작시키고 자바스크립트 커널을 삽입하여 최소 가속화지점에서 이를 진행했다. DOI에 따라 스크롤링이 자동으로 제어되면서 DOI가 높은 콘텐츠 부근에서 자동캡처 되어 저장된 파일들은 Fig. 10-(B)가 가리키는 리스트에서도 잘 보인다.

Fig. 10. Results captured at minimum inertial acceleration (A: detected ROI, B: image capture list).

3. Validation test : PDF(Portable document format) file

우리는 일반적인 웹 페이지뿐만 아니라 PDF 파일에도 실험을 진행했다. PDF 파일 같은 경우는 웹 페이지에서 읽을 수 있도록 전처리 과정을 거친 후 같은 방법을 통해 실험을 진행했다. PDF 파일 문서는 그림과 텍스트가 혼재되어 있는 일반적인 기술논문을 입력으로 실험했다.

Fig. 11. Result of applying the inertial model in the PDF file (A: high DOI, B: low DOI).

앞에서의 결과들과 마찬가지로 텍스트 부분보다는 (Fig. 11-(A)참조), 그림이나 테이블 형태에서 좀 더 오랜 시간이 머물도록 스크롤링이 제어되었다 (Fig. 11-(B)참조). 제안하는 기법은 특히 논문 같은 결과를 빠르게 읽어볼 때 효율적으로 활용할 수 있다.

우리는 Fig. 10의 결과처럼 논문을 볼 때 자동 스크롤뿐만 아니라, 중요하게 여기지는 데이터를 자동 캡처하는 기능을 추가적으로 실험했다. Fig. 12에서 보듯이 그림과 차트 부분에서 자동 캡처 되는 결과를 보여주었다. 이 같은 결과는 논문이나 문서를 볼 때 사용자는 자동 스크롤 기능으로 전반적인 내용을 훑어볼 수 있을 뿐만 아니라, 이미지 같은 결과가 자동 저장되기 때문에 언제라도 다시 결과들을 쉽게 검토해볼 수 있다.

Fig. 12. Automatically captured paper results according to DOI's priorities.

4. Applications

본 논문에서 제안하는 방법은 문서를 요약하고 히스토리를 정리하는 분야에 널리 활용될 수 있다. 데이터로부터 중요한 정보를 추출할 수 있는 요즘, 사람과 데이터와의 상호작용 기술은 날로 그 기대치가 높아지고 있다. 빅데이터로 발전하고 있는 시점에서 방대한 데이터를 빠른 시간 내에 요약하고, 읽을 수 있도록 정리되는 시스템이 있다면 기술문서, 사전, 앨범, 웹, 앱 등과 같은 방대한 텍스트나 그림 문서를 FIg. 12에서도 보여주듯이 쉽게 요약할 수 있다. 또한, 사용자가 관심 있는 콘텐츠를 시간별 정리가 가능하기 때문에 사용자의 RoI(Region of interest)를 시간대 별로 분석이 가능하기 때문에 다양한 애플리케이션에 활용이 가능할 것으로 기대한다.

IV. Conclusions

본 연구에서는 가속 관성 스크롤을 활용하여 사용자와 데이터 사이에서 상호작용할 수 있는 새로운 인터페이스를 제안했고, 이 기술을 데스크톱 웹 브라우저와 모바일디바이스 환경에서 실험했다. 이 뿐만 아니라, 우리가 제안한 커널은 PDF 파일 같은 환경에서도 적용이 가능하다. 특히 웹 브라우저에서는 웹문서에 대한 사용자의 상호작용뿐만 아니라, DOI를 토대로 정렬된 ROI에 대한 원시 이미지 데이터를 추출할 수도 있다.

우리의 방법은 몇 가진 한계점을 가지고 있다 : 1) 이미지 캡처를 할 때 이미지의 캡션까지 포함하지 못하기 때문에 사용자가 데이터를 해석하는데 있어서 충분하지 못하다. 또한 2) PDF를 웹 페이지에서 읽는 과정에서 이미지가 합쳐지거나 강제로 분할되어버리는 문제가 발생하기도 한다. 향후, 본 논문에서 제안한 방법을 활용하여 사용자의 행동과 각 데이터간의 연관성, 그리고 요약 추출 및 추천 시스템 (Recommender system)에도 적용할 수 있도록 데이터 전처리 및 추천 알고리즘에 대해서도 추가 연구할 계획이다.