Technology Development for Non-Contact Interface of Multi-Region Classifier based on Context-Aware

상황 인식 기반 다중 영역 분류기 비접촉 인터페이스기술 개발

Abstract

The non-contact eye tracking is a nonintrusive human-computer interface providing hands-free communications for people with severe disabilities. Recently. it is expected to do an important role in non-contact systems due to the recent coronavirus COVID-19, etc. This paper proposes a novel approach for an eye mouse using an eye tracking method based on a context-aware based AdaBoost multi-region classifier and ASSL algorithm. The conventional AdaBoost algorithm, however, cannot provide sufficiently reliable performance in face tracking for eye cursor pointing estimation, because it cannot take advantage of the spatial context relations among facial features. Therefore, we propose the eye-region context based AdaBoost multiple classifier for the efficient non-contact gaze tracking and mouse implementation. The proposed method detects, tracks, and aggregates various eye features to evaluate the gaze and adjusts active and semi-supervised learning based on the on-screen cursor. The proposed system has been successfully employed in eye location, and it can also be used to detect and track eye features. This system controls the computer cursor along the user's gaze and it was postprocessing by applying Gaussian modeling to prevent shaking during the real-time tracking using Kalman filter. In this system, target objects were randomly generated and the eye tracking performance was analyzed according to the Fits law in real time. It is expected that the utilization of non-contact interfaces.

비접촉식 시선추적 기술은 인간과 컴퓨터간의 인터페이스로서 장애가 있는 사람들에게 핸즈프리 통신을 제공하며, 최근 코로나 바이러스 등으로 인한 비접촉시스템에도 중요한 역할을 할 것으로 기대된다. 따라서 본 논문에서는 인간 중심의 상호 작용을 위한 상황인식 다중영역 분류기 및 ASSL 알고리즘을 기반으로 한 사용자 인터페이스 기술을 개발한다. 이전의 AdaBoost 알고리즘은 안구 특징 사이의 공간적 맥락 관계를 이용할 수 없기 때문에 눈의 커서 포인팅 추정을 위한 안면 추적에서 충분히 신뢰할 수 있는 성능을 제공 할 수 없다. 따라서 본 논문에서는 효율적인 비접촉식 시선 추적 및 마우스 구현을 위한 눈 영역의 상황기반 AdaBoost 다중 영역 분류기를 제시한다. 제안된 방식은 여러 시선 기능을 감지, 추적 및 집계하여 시선을 평가하고 온 스크린 커서 기반의 능동 및 반 감독 학습을 조정한다. 이는 눈 위치에 성공적으로 사용되었으며 눈 특징을 감지하고 추적하는 데에도 사용할 수 있다. 사용자의 시선을 따라 컴퓨터 커서를 제어하며 칼만 필터를 이용하여 실시간으로 추적하며, 가우시안 모델링을 적용함으로써 후처리하였다. Fits law에 의해 실험하였으며, 랜덤하게 대상객체를 생성하여 실시간으로 시선추적성능을 분석하였다. 제안하는 상황인식을 기반 인식기를 통하여 비접촉 인터페이스로서의 활용이 높아질 것이다.

Ⅰ. 서론

비접촉 인터페이스 기술은 장애를 가진 사람들을 위한 의사소통 및 대화형 도구로 사용되어 왔다. 그러나 요즘과 같은 판데믹 상황에서의 비접촉, 비대면 인터페이스로 서의 기능도 중요한 역할을 할 것으로 보인다. 또한 최근 들어 장애인을 위한 네비게이션등의 기술 개발도 활발히 이루어지고 있으므로, 시선 추적에 의한 비접촉식 인터페 이스 기술이 더 활용도가 높아질 것으로 기대된다.

예전에는 개발된 일부 시스템은 눈의 움직임을 모니터 링하기 위해 얼굴에 전극을 배치하기도 하였다^1,2,3,4.

최근의 컴퓨터 하드웨어의 기술 발전과 AI 기술의 발전으로 인해 비전 기반 휴먼 컴퓨터 인터페이스 (HCI) 솔루션이 더욱 더 각광을 받고 있으며 얼굴 또는 얼굴 특징 추적 기반 비접촉식 HCI는 캠 마우스 및 캠 키보드 ^5,6,7과 같은 것을 가진 장애인을 지원하기 시작되었다. 이러한 솔루션은 하드웨어와의 직접적인 접촉에 대한 사용자의 접촉을 줄이며 높은 정확도와 저렴한 비용을 제공할 수 있다. 눈 위치 기술은 또한 장애인 사용자를 위한 눈 마우스 및 키보드, 모바일 사용자 인터페이스 (UI) ^1,8,9,10와 같은 응용 분야 및 일상생활 보조 시스템¹¹에 적용된다. 최근의 사회현상에서의 제어 시스템으로서 중요한 역할을 수행할 것으로 보인다. 시선 추적 기술은 눈의 중심 움직임을 측정하거나^12,13,14,15. 머리 움직임을 고려한 시선 추적이 연구되었고 ¹⁶, 원격 시선 추정에 대한 일반적인 이론이 연구되었으며 ¹⁷. 개인 교정이 없는 시선 추정이 제시되었다 ¹⁸. 이러한 것은 인간-컴퓨터 상호 작용과 대화형 그래픽 디스플레이에 사용된다^19,20. 시선 추적 기술은 시장 분석 ²¹, 심리학 연구 ^22,23 및 인지 과학 ²⁴, 최근들어서는 더욱 더 다양한 응용 분야에서도 활용되 고 있다^28,29,30. 눈 중심 추적 기술을 장애인이나 비접촉 인터페이스를 위한 커서제어 기능으로 대체하여 직접 사 용할 수 있다.

제안된 상황 인식 기반 다중 분류기는 눈 특징점을 감지 및 추적하고 눈 움직임을 추적하여 영상 프레임에 대한 시선을 추정한다. 제안된 다중 영역의 눈 특징에 대한 상황 인식 기반의 AdaBoost 알고리즘과 시선추적을 위한 눈 특징 영역을 잘 검출할 수 있었으며, 인접한 눈 특징에 대한 공간 상황 정보에 따라 시스템 성능을 최적 화 할 수 있다. 추적의 안정화를 위하여 가우시안 필터를 적용하여 후처리하였으며, 다양한 상황에서 눈 마우스 기능을 테스트하기 위해 ASSL을 적용하였으며, 온 스크린 커서 제어를 위한 눈 특징 추적에서 효율적인인터페이스 기능을 제공한다.

Ⅱ. 제안하는 방법

1. 시스템 흐름도

본 논문에서는 눈에 대한 공간적 상황 인식 기반 다중 영역 인식 알고리즘을 기반으로 하는 눈 추적 방법을 사용하는 눈 마우스 시스템을 제안한다. 정확도를 높이기 위해 ASSL(Adaptive Semi-Supervised Learning)방 법을 적용한다. 본 논문은 눈 영역 감지, 시선 추적 및 마우스 제어, 세 부분으로 구성된다. 눈 영역 검출의 정확도를 높이기 위해 제안된 방법을 눈 영역 감지 부에 적용한다. 그림 1은 컴퓨터 커서 제어를 위한 눈-마우스 시선 추정의 흐름도를 나타낸다.

그림 1. 시선 추정을 위한 아이 마우스의 흐름도

Fig. 1. Flow diagram of the proposed eye mouse for gaze estimation

2. 눈의 공간적 상황인식기반 다중 영역 분류기

본 논문에서 제안하는 공간적 다중 눈 특징 기반 상황 인식상황 인식 기반 눈의 위치 검출을 위한 AdaBoost 다중 영역 분류기 알고리즘은 시선추적 커서제어에 대한 정확한 위치 및 검출을 위한 방법으로 사용된다. 카메라로부터 영상이 입력되면 영상 전처리가 수행하는데 가우시안 필터를 적용함으로써 노이즈를 제거한다. 그리고 이미지의 개별 영역을 단계별로 비교하여 시선 추적을 위한 눈 영역의 위치를 찾는다. 이후 실시간 시선 추적 및 커서 제어를 위하여 눈 영역의 특징점 추적은 Kalman 필터에 기반하여 다음 위치를 예측하고 각각 특징점의 움직임 벡터를 생성하여 비교함으로써 수행된다. 다중클래스 인식기는 객체 검출에서 많이 이용되어 왔다²⁰. 본 논문에서는 눈 특징 위치에서 지형 상황 정보를 활용한 공간적 다중 눈 특징 기반 상황 인식 AdaBoost 프레임 워크를 보완한다. 즉, 눈의 시선의 형태를 상황(컨텍스트) 정보로 정의하고 시선 방향에 따른 데이터를 획득하여 눈의 위치를 검출하고 시선의 영역을 추적하도록 한다. 본 논문에서 제안하는 눈 시선에 대한 상황정보는 그림 1과 같다. 눈의 포인팅 위치의 이미지를 보여준다. 정면 이미지, 왼쪽 위, 왼쪽 아래 및 모서리 영역과 같은 가능한 이미지들을 얻는다.

그림 2. 시선 추적을 위한 이미지 예 .

Fig. 2. image sample of eye region for eye tracking

눈 특징 구성 요소는 이미지를 왼쪽에서 오른쪽으로 스캔한 다음 위에서 아래로 스캔하여 검색한다. 대상 사각형 (관심 영역)의 인접한 상황정보를 고려하여 분류 신뢰도에 대한 사후 확률 함수가 계산된다. 눈의 공간적 특징을 반영하기 위하여 눈 마우스는 눈의 움직임뿐만 아니라 국소화를 위한 강인한 랜드 마크 ( 눈의 안쪽 모서리)와 눈의 중심 (동공) 사이의 거리를 측정한다. (그림 3 참조).

그림. 3. 눈의 공간적 상황인식을 위한 분석

Fig. 3. Eye region: the iris and the eye’s corner are internal landmarks

눈동자의 움직임은 시선 각도에 영향을 미친다. 이 정보를 이용하여 눈의 구석에 대한 눈 중심의 변위가 변하므로 이 정보를 이용하여 마우스 제어를 하게 된다. 눈의 모서리에 대한 눈 중심의 변위가 눈 마우스 제어에 중요하기 때문이다. 인접한 이미지 사각형 사이의 상황 관계는 두 이미지 사각형에 대한 분류 신뢰도의 의존성을 보여준다. 상황 정보 기반 다중 클래스 AdaBoost 분류기의 기능에 대한 가중치는 경험적 위험을 최소화하여 조정된다. 마지막으로, 상황별 인접한 이미지 패치의 상관 효과를 고려하여 분류기(눈의 위치)가 다음과 같이 결정 된다.

\(r(\theta)\)는 이미지의 관심 영역(ROI)이며 눈의 영역을 구성요소 사각형의 후보 중심 집합으로 표현되는, 즉 \(g=\left\{c_{1}, \cdots, c_{k}\right\}\)인 특징 구성 요소 공간 G 의 그래프로 표현된다.P(c)는 중심이 c인 이미지 패치(여기서 사각형)이다. \(\pi\)를 c_i와 c_j사이를 유클리드 거리로 계산한 두 인접 이미지 사각형 사이가 d(c_i, c_j)로 표시되는 인접거리가 되도록 하고 하자. (여기서,\(\pi=1, \sqrt{2}, 2, \ldots\) )

속성 벡터 \(\bar{x}_{i}\) Rⁿ는 각 이미지 사각형에서 관찰되며 c_i∈G이다. 영역 이미지 패치 중심 c는 클래스 L₁,L₂, …L₄ 중 하나에 속하며, c의 클래스 라벨은 \(l_{i}(i=1, \ldots, 4)\)로 표시된다²⁰.

\(f\left(\bar{x}, l_{i}\right)\)이 영역 이미지 패치 c의 분류기를 나타낸다고 하자. 속성벡터 \(\bar{x} \in r^{n}\)는 (1)과 같이 분류될 수 있다.

\(\begin{array}{c} l^{*}(c)=\operatorname{argmax} f\left(\bar{x}, L_{k}\right) \\ k \in\{1, \cdots, 4\} \end{array}\)       (1)

이진 AdaBoost에서 다중 클래스 AdaBoost로의 확장은 위험 함수 \(\Lambda\)에 의해 정의된다.

\(\Lambda(f)=\frac{1}{N} \sum_{i=1}^{N} \sum_{k=1}^{4} \exp \left[f\left(\bar{x}_{i}, L_{k}\right)-f\left(\bar{x}_{i}, l_{i}\right)\right]\)       (2)

N 은 훈련 데이터 집합의 카디널리티이다. 다중 클래스 영역 분류기 F 는 \(f=\theta_{1} f_{1}+\cdots+\theta_{i} f_{i}\)로 정의된다. 그러면 이미지 패치 c의 테스트 속성 벡터\(\bar{x}\) 는

\(\begin{array}{c} l^{*}(c)=\operatorname{argmax} F\left(\bar{x}, L_{k}\right) \\ k \in\{1, \cdots, 4\} \end{array}\)       (3)

로 분류된다.

c_i의 인접 사각형은 아래와 같이 표현된다.

\(H_{\pi}\left(c_{i}\right)=\left\{c_{j} \in G \mid d\left(c_{i}, c_{j}\right)=\pi\right\}\)       (4)

영역 이미지 패치 c_i의 후보 클래스 풀은 \(l_{\pi}\left(c_{i}\right)=\left\{l_{\pi}^{1}, \ldots, l_{\pi}^{\tau}\right\}\)이고, 여기서 \(l_{\pi}^{i}\) 은 (5)를 만족하는 c_i에서 이미지 패치의 i번째 후보 라벨이며.

\(F_{\pi}\left(I(G), l_{\pi}^{1} \mid c\right) \geq \cdots \geq F_{\pi}\left(I(G), l_{\pi}^{\tau} \mid c\right)\)       (5)

c_i에서 사각형의 인접한 문맥상 사각형을 고려한 분류 신뢰도의 사후 확률을 예상한다.

상황 기반 눈 이미지 패치 c를 위한 다중 영역 분류기는 다음과 같이 정의된다.

\(F_{\pi}\left(I(G), L_{k} \mid c\right)=\theta_{0} f_{0}\left(I(G), L_{k} \mid c\right)+\cdots+\theta_{\pi} f_{\pi}\left(I(G), L_{k} \mid c\right)\)       (6)

3. ASSL(Active semi-supervised learning)학습

일반적으로, 사람에 의해 상황정보에 맞는 눈을 라벨링하는 것이 비용적인 측면에서 효과적인 작업일 수 있기 때문에 라벨이 없는 눈 이미지가 많다. 반면에, 많은 양의 레이블이 지정된 데이터는 많은 시간이 소요될 수 있다. 따라서 효과적인 학습을 위해 훈련에 가장 적합한 눈 데이터만 선택함으로써 문제를 쉽게 해결할 수 있습니다. Active semi-supervised learning 방법은 데이터 효율성을 가능하게 하는 좋은 샘플에만 초점을 두어 부스팅 알고리즘 성능을 크게 향상시킨다²⁵. 이 실험에서 는 Active semi supervised Learning 방법을 적용하여 대량의 데이터에서 올바른 샘플을 선택하도록 하였다.

Ⅲ. 시선 추적 및 추적 보정

비접촉 인터페이스를 위한 실시간 시선 추적 및 커서 제어를 위하여 눈 영역이 검출되고 나면 다음 프레임에서 눈 특징 요소의 검색 시간을 줄이기 위해 Kalman 필터를 적용하였다. 눈 마우스의 성능은 추적 영역의 크기, 일치하는 템플릿의 크기 및 복잡성, 추정된 목표 특징점의 정확도, 특징점의 속도 및 목표 특징점의 특성에 의해 영향을 받는다. 추적 영역의 크기는 목표 추적 지점의 속도에 따라 결정된다. 대상 특징점이 빠르게 이동할 때는 큰 추적 영역을 사용해야하며. 대상 특징점이 천천히 움직일 때 작은 추적 영역을 사용해서 추정해야 한다. 처음 몇 프레임에서 대상 눈 특징 구성 요소의 위치가 평균화 되고 중립 영역의 중심으로 설정되며 구성 요소의 크기와 운동 속도가 얻어진다. 눈 영역의 위치가 연속적인 프레임에서 성공적으로 식별되면 시스템은 추적 단계로 진행한다. 다음 프레임에서 타겟이 되는 눈 구성 요소의 대략적인 위치를 추정 할 때 현재 상태 벡터에 따라 수행되고 예상 지점의 좌표로부터, 추적 영역은 대상 물체 검출을 위한 관심 영역으로서 감소될 수 있다. 본 시스템에서 눈 영역에서의 추적 속도를 향상시킬 수 있었다.

1. 시선 추적 및 커서 제어

시선을 추정하는 데 있어서 X_c, Y_c, Z_c를 카메라 좌표계를 표시한다고 하자. Z_c는 카메라 좌표계의 광축이며, 이미지 좌표계(이미지 평면)과 수직이다. 세 개의 주요 축은 주요 항공기 축과 유사한 방식으로 수직축 Y (yaw), 수평축 X (pitch), 그리고 정면 축 Z (roll)로 정의된다.

화면상 마우스 커서 좌표를 \(c_{t}=\left[u_{t}, v_{t}\right]\)라고 하자. 이전 커서 위치는 시간 t-1일 때의 커서 위치로써 \(c_{t-1}=\left[u_{t-1}, v_{t-1}\right]\)이며, 시간 단계는 커서의 정지 상태의 시퀀스이다. 눈의 각도 \(\psi_{t}\)과 뉸의 위치 (x, y, z) 는 커서를 제어하는 데 활용되지 않으므로 뉸의 각도 \(\phi_{t}\) 와 \(\theta_{t}\)를 제외한 사용자의 의도하지 않은 동작은 오류 요인으로 처리된다. u-좌표와 v-좌표 안에서 커서의 범위를 각각 [0, u_max] 와 [0, v_max]라고 하자. 사용자의 실수 및 기타 소음 \(c_{t}=\left[u_{t}, v_{t}\right]\)으로 인한 예상치 못한 커서 위치를 고려하는 것은

\(\left[\begin{array}{l} u_{t} \\ v_{t} \end{array}\right]=\left[\begin{array}{c} R_{\varphi} \\ R_{\theta} \end{array}\right]^{T}\left[\begin{array}{l} u_{t}^{e s t} \\ v_{t}^{e s t} \end{array}\right]\)        (7)

에 결정된다. 여기서

\(R_{\phi}=\left\{\begin{array}{l} 1 \quad \text { if } \phi \in\left[0, u_{\max }\right] \\ u_{t-1} / u_{t}^{e s t} \quad \text { if } \phi \not \in\left[0, u_{\max }\right] . \end{array}\right.\)        

그리고

\(r_{\theta}=\left\{\begin{array}{ll} 1 & \text { if } \theta \in\left[0, v_{\max }\right] \\ v_{t-1} / v_{t}^{e s t} & \text { if } \theta \notin\left[0, v_{\max }\right] \end{array}\right.\) 이다.

절대 커서 제어 방식에서는, 각각 객체 공간의 Y와 X 좌표에 관한 회전 각도인 눈의 각도 \(\varphi_{t}\) 와 \(\theta_{t}\) 가 화면상 마우스 커서 좌표 (u_t , v_t )에 매핑된다. 마우스 커서는 다음과 같은 등식으로 사용자가 주목하고 있는 초점에 의해 직접적으로 제어될 수 있다.

\(\left[\begin{array}{l} u_{t}^{e s t} \\ v_{t}^{e s t} \end{array}\right]=\left[\begin{array}{l} \varsigma_{1} \\ \varsigma_{2} \end{array}\right]^{T}\left[\begin{array}{l} d\left(\varphi_{t}\right) \\ d\left(\theta_{t}\right) \end{array}\right]+\left[\begin{array}{l} \varepsilon_{1} \\ \varepsilon_{2} \end{array}\right]\)        (8)

여기서 \(d\left(\varphi_{t}\right)=\varphi_{t}-\varphi_{0}\)와 \(d\left(\theta_{t}\right)=\theta_{t}-\theta_{0}\)를 만족한다. \(\varphi_{0}\) 와 \(\theta_{0}\) 는 초기 시선 방향 각도이며, \(\varsigma_{1}\) 와\(\varsigma_{2}\)는 회전 각도의 최대 범위 및 화면 공간 해상도에 따라 정의된 매핑 매개변수이다. \(\varepsilon_{1}\) 와 \(\varepsilon_{2}\) 는 각각 u_t 와 v_t 의 오류 인자이다.

2. 가우시안 함수를 이용한 후처리

눈의 움직임을 추적하기 위하여 흔들림의 영역을 감소하기 위하여 추적을 보정한다. 이로써 실시간 포인팅 기능을 수행한다. 눈의 중심을 기준으로 하여 가우시안 모델을 만들고 이에 따라 후처리를 함으로써 추적좌표를 보정한다.

Ⅳ. 실험 결과

1. 눙 영역의 검출

실시간으로 효율적인 실시간 시선 추적 기능을 수행하기 위하여 가장 먼저 눈의 위치를 검출한다. 눈 영역 샘플의 데이터베이스를 수집하고 눈 영역 샘플에서 특징벡 터 파일을 생성한다. 두 번째는 눈 영역이 아닌 샘플 데이터베이스를 수집하고 매개 변수를 설정하고 학습한다 (그림1참조). 학습 데이터는 커서 포인팅을 위한 눈 움직임의 위치를 예상하여 수집하였다. 상황인식 다중 인식 기 학습을 위해 그림 1과 같이 눈 영역을 포함하는 1022 개의 양성 샘플 이미지와 2000개의 음성 샘플(눈이 없는)을 생성하였다.

양성 이미지는 스윙각도를 갖는 112 개의 영상을 포함하였다. 학습 데이터 세트에서 노이즈 샘플을 제거하여 정확도를 높이기 위해 ASSL 방법을 적용하였다. 그림 4 에서 실시간 시스템에서의 눈 영역의 검출 및 시선 검출 결과를 나타내었다.

그림 4. 실시간 시선 검출 결과

Fig. 4. eye detection in real time system.

2. 실시간 시선 추적 성능

본 논문에서는 사용자 인터페이스 결과를 분석하기 위하여 Fitts의 법칙을 적용하였다. Fitts의 법칙은 화면상의 포인팅과 관련된 속도 정확도를 모델링하기 위한 포인트 앤 클릭 및 드래그 앤 드롭 방식의 그래픽 사용자 인터페이스 (GUI 그림 5 참조) 설계 모델링에 사용되었 다.여기서 시작 객체 0은 대상 객체 n과 동일하다. 실험은 10 명의 테스터를 대상으로 진행되었으며 5 개의 대상 물체 패턴 (pattern1에서 )이 무작위로 생성되었다.

그림 5. 시선추적 테스트를 위한 UI

Fig. 5. Testing UI for eye tracking GUI of five patterns traced by an eye mouse

빨간색 원은 눈이나 마우스가 응시해야하는 지점을 나타내며, 눈 지점이 원의 반경 내에 있으면 성공 여부가 판단된다. 녹색으로 표시된 부분은 눈이 가리키는 부분이다. 노란색 원이 시작점(0)이다. 사용자는 커서를 첫 번째 대상 객체(1)로 이동한 다음, 두 번째 대상 객체(2)로 이동한 다음, 계속해서 다음 대상으로 이동한 다음 다시 첫 번째 객체로 돌아오도록 하여 수행시간 및 피츠의 ID를 계산하도록 하였다.

본 논문에서는 여기서 사용자가 버튼과 같은 화면상의 대상 객체 위에 마우스 커서를 위치시키도록 하였다. 공식적으로 Fitts의 법칙은 샤논(Shannon) 공식을 사용하여 수학적으로 다음과 같이 표현된다²⁶.

\(M T(A, W)=\alpha+\beta \log _{2}\left(1+\frac{A}{W}\right)\)       (9)

여기서 MT는 이동 시간이며 이동을 완료하는 데 필요한 평균 시간이다. A 는 초기 지점에서 대상 물체까지의 거리이며 W는 이동축을 따라 측정된 대상 물체의 너비이다. 대상 물체의 크기는 커서 이동 시간에 영향을 미치며 . Fitts의 법칙²⁷에 따라 눈 마우스를 모델링하기 위해 서로 다른 목표 너비로 실험을 수행하고 목표 너비와 이동시간 간의 균형을 분석하였다. 객체 i에서 객체 j 로의 경과 시간은 다음과 같이 표시된다.

\(t_{\nabla(i, j)}^{e l p}\)        (10)

총 경과 시간은 마우스 커서가 시작 객체 0에서 대상 객체 1로, 대상 객체 1에서 대상 객체 2 등으로 이동하고, 대상 객체 n-1에서 대상 객체 n으로 이동하는 시간으로 정의된다. 공식적으로 평균 경과 시간은 다음과 같이 표시된다.

 

그림 6. 5개 패턴에 대한 시선추적 예

Fig. 6. Example of five patterns traced by an eye traking

\(t_{\text {avg }}^{e l p}=\frac{1}{n} \sum_{i=0}^{n} t_{\Delta(i, i+1)}^{t g}\)         (11)

다음의 그림 7은 시선 추적 움직임의 예를 보여준다.

그림 7은 본 논문에서 제안하는 시선추적을 사용한 경과 시간 및 평균 경과 시간을 보여준다. 대상 객체의 너비는 10, 20 30 픽셀로 정의하여 일반적으로 테스트의 단순성을 위해, 대상으로 해야 하는 위치를 원의 형태로 표시하였다. 그림에서 구한 이동시간 t 값은 다음과 같다. 그래프는 대상의 크기(아이콘)와 대상에 도달하는 데 필요한 시간 관계를 시각적으로 보여준다.

그림 7에서의 결과에서 알 수 있듯이 대상 객체가 클수록 도달하는 시간이 짧아짐을 알 수 있다. 대상객체까지 도달할 때의 난이도를 계산할 수 있다. 이 값은 대상까지의 거리 (D와, 대상의 너비 (W)의 관계를 상관관계를 나타낸 것이다. 이 값은 Fitts의 난이도 지수 (ID index of difficulty, 비트 단위)는 수식 12로 계산할 수 있다.

 

그림 7. 패턴에 대한 대상 크기에 따른 이동시간

Fig. 7. Graphical representation of the elapsed times in moving the eye

그림 8에서 볼 수 있듯이, 대상 객체의 원 크기가 클수록 ID(index of difficulty)가 작고 원 크기가 작을수록 ID가 더 크다. Fitts law에 따라 거리가 짧을수록, 원이 클수록 인터페이스가 빨라짐을 알 수 있었다. 다음의 표 1과 2 에서는 마우스 포인터와 눈 마우스 포인터 사이의 인터페이스 속도를 비교하였다.

그림 8. 시선추적을 위한 난이도지수

Fig. 8. Graph of normalized difficulty index for cursor pointing

표 1. 제안하는 방법에서의 속도

Table 1. Speed of proposed method

표 2. 마우스를 사용했을 때의 속도

Table 2. Speed of mouse interface

눈 마우스에 의해 생성된 궤적은 대상에 접근할 때 종래의 컴퓨터 마우스와 비교하여 비교적 속도가 빠름을 알 수 있었으며, 비접촉식 인터페이스로서의 기능을 수행할 수 있을 것으로 보인다.

Ⅴ. 결론

본 논문에서는 눈 시선을 추정하고 화면 커서 기반의 능동 및 반감독 학습을 조정하기 위해 다중 눈 검출기능 을 제안하였다. 본 논문은 웹 카메라와 함께 시선추적을 위한 눈의 상황정보를 이용한 다중 영역 분류기 및 ASSL(active semi supervised learning)를 사용하여 눈 영역을 추정하며, 실시간 추적 성능 향상을 위하여 칼만필터와 가우시안 모델을 적용함으로써 실시간 추적 성능을 향상하였다. 상황 인식 기능과 상호 연결되어 눈 특징 추적에서 안정적인 성능을 수행하였다. 실험 결과 눈 포인팅에서 우수한 성능을 보였고 난이도는 대상 크기에 반비례한다는 것을 확인할 수 있었다. 객체의 크기가 클 때 인터페이스 반응속도가 빨라짐을 알 수 있었으며 우리는 제안된 시스템의 UI에서 포인팅 속도가 마우스 트래킹보다 빠름을 알 수 있었다. 장애인을 위한 네비게이션 시스템 뿐 아니라, 최근의 펜더믹 상황에서의 중요한 기술로써 활용될 것으로 보인다.