Visual Touch Recognition for NUI Using Voronoi-Tessellation Algorithm

보로노이-테셀레이션 알고리즘을 이용한 NUI를 위한 비주얼 터치 인식

Abstract

This paper presents a visual touch recognition for NUI(Natural User Interface) using Voronoi-tessellation algorithm. The proposed algorithms are three parts as follows: hand region extraction, hand feature point extraction, visual-touch recognition. To improve the robustness of hand region extraction, we propose RGB/HSI color model, Canny edge detection algorithm, and use of spatial frequency information. In addition, to improve the accuracy of the recognition of hand feature point extraction, we propose the use of Douglas Peucker algorithm, Also, to recognize the visual touch, we propose the use of the Voronoi-tessellation algorithm. Finally, we demonstrate the feasibility and applicability of the proposed algorithms through some experiments.

1. 서 론

최근 컴퓨터 정보기기(PC, 스마트폰 등)의 급격한 발전과 범용화에 따라, 마우스와 키보드를 대체할 더욱 자연스러운 입력 장치의 도입이 필요해졌다. 일반적으로, 기존의 정보기기의 입력장치는 키보드, 마우스, 터치펜 등이 있다. 이러한 입력 장치는 컴퓨터의 보급이 급격히 확산됨에 따라 상당히 많이 보급되었으며 현재도 가장 일반적으로 쓰이고 있는 컴퓨터 입력 장치이다. 하지만 최근 컴퓨터의 소형화 및 스마트폰의 등장으로 인해 사용 환경이 극히 제한적이고, 휴대가 불편하다는 문제점을 가지고 있다[1]. 이러한 문제점을 해결하기 위해 최근 스마트 TV, 스마트 폰 등의 고성능 컴퓨터 정보기기들은 NUI(Natural User Interface)를 사용하고 있다. NUI는 사용자가 컴퓨터 환경에서 현실과 더 가깝게 다가가기 위해서 나온 개념으로서, 신체의 일부만을 사용하는 기존의 입력 장치를 대체하기 위하여 사람의 손, 얼굴, 음성 등을 사용하는 차세대 입력 장치를 일컫는다. 차세대 입력 장치 중 하나로 사람의 손은 관심이 집중되고 있으며, 손을 인식하여 입력 장치로 사용하는 비주얼터치 분야에 대한 다양한 연구가 진행되고 있다[2], [15-20].

사람의 비주얼 터치 방법에는 크게 센서를 이용하는 방법과 비젼을 이용하는 방법이 있다. 센서를 이용하는 방법 중 가장 대표적인 장치는 데이터 글로브(data glove)를 사용하는 방식과 동작 인식센서를 사용하는 방식이 있다[3-4]. 데이터 글로브를 이용하는 방식은 측정이 쉽고 자기센서와 조합하여 사용하면 손의 방향과 대략적인 3차원 위치를 알 수 있으므로 가상현실 시스템과 같은 정보 시스템의 입력 장치로 각광 받고 있으며, 동작 인식센서를 이용하는 방식은 손의 움직임을 그대로 이해하여 입력 장치로 사용할 수 있는 방식으로 최근 3차원 동작 인식 분야에서 활발한 연구가 진행 되고 있다. 하지만 데이터 글로브를 사용하는 방법과 동작인식 센서를 사용하는 방법은 사용자의 신체나 주변 환경에 센서를 부착 해야만 한다는 불편함이 있다. 다음으로 비젼을 이용하는 방법에는 3D 모델링, 스켈레톤 모델링(skeleton modeliing), 확장 신경망 모델링(extended neural network modellinh) 등이 있다[5-7]. 3D 모델링 방법은 손의 전체 형상을 3차원으로 모델링하여 손의 모양과 동작을 세부적으로 표현할 수 있으며, 스켈레톤 모델링은 인간의 손 스켈레톤 모델을 구성하여 손동작을 기하학적인 측면에서 분석할 수 있다. 마지막으로 확장 신경망 모델링 방법은 손영역 내부에서 임의의 두 점으로부터 신경망을 확장하여 손영역을 인식한다. 하지만 비젼을 이용하는 방법은 손의 모델링을 구체화 시킬수록 연산량이 급격히 늘어나 실시간 처리에 부적합하다는 문제점이 있으며, 반대로 실시간 처리에 적합한 비주얼 터치 시스템은 대체로 인식률이 저하된다는 문제점을 가지고 있다.

본 논문에서는 이러한 문제점을 해결하기 위하여 NUI를 위한 보로노이-테셀레이션(Voronoi-tessellation) 기반의 비주얼 터치 인식 알고리즘을 제안한다. 제안하는 알고리즘은 실시간 처리가 가능하면서 기존 방법보다 안정적인 비주얼 터치 인식을 목표로 한다. 먼저, 입력영상에서 RGB(Red-Green-Blue)와 HSI(Hue-Saturation-Intensity) 컬러 모델을 이용하여 피부영역을 추출하고 피부영역을 이진화 시킨다. 다음, 추출된 피부영역에서 손영역 추출을 위해 Canny 에지 검출기(Canny Edge Detector)를 사용하여 손영역의 외곽선을 추출하고, 이진화된 피부영역의 에지정보에 공간 주파수 기법을 사용하여 손영역을 추출한다. 다음, 더글라스 파커(Douglas Peucker) 알고리즘을 사용하여 손영역의 특징점을 추출한다. 끝으로, 추출된 손영역의 특징점을 기반으로 보로노이-테셀레이션을 적용하여 손영역을 분할하며, 손가락의 비주얼 터치를 인식하기 위해 보로노이 영역의 특징을 이용하는 방법을 제안한다. 마지막으로 사용자 인터페이스를 제작하여 본 논문에서 제안하는 알고리즘의 실용성 및 응용 가능성을 보인다.

 

2. 제안하는 NUI 시스템의 개요

본 논문에서 제안하는 NUI를 위한 비주얼 터치 인식 시스템의 블록도는 그림 1과 같다.

그림 1제안하는 시스템의 블록도 Fig. 1 Block diagram of the proposed system

제안하는 시스템은 크게 손영역 추출(Hand region extraction), 손영역 특징점 추출(Hand feature point extraction), 비주얼 터치 인식(Visual-touch recognition) 순으로 3개의 블록으로 구성된다. 먼저, 손영역 추출 과정에서는 입력받은 영상에서 RGB/HSI 컬러 필터링을 통하여 인간의 피부 영역만을 추출한다. 추출된 피부영역에서 Canny 에지 검출 알고리즘[10]을 사용하여 손영역의 외곽선을 추출하고, 이진화된 피부 영역의 Canny 에지 정보에 공간 주파수 기법[11]을 사용하여 손영역을 추출한다. 다음 손영역의 특징점을 추출하는 과정으로 더글라스 파커 알고리즘[12]을 사용하여 손영역을 근사하고, 근사한 손영역의 모서리 값을 기준으로 손영역의 특징점을 추출한다.

마지막으로 비주얼 터치 인식 과정은 추출된 특징점을 입력으로 보로노이 테셀레이션 알고리즘[8-9]을 적용하여 손 모델을 형성하고, 보로노이-테셀레이션의 특징을 이용하여 손의 비주얼 터치 동작을 인식한다.

 

3. NUI를 위한 비주얼 터치 인식 시스템

3.1 손영역 추출 방법

3.1.1 컬러 필터링을 이용한 피부 영역 추출

입력 영상에서 피부색을 분류하는 방법 중 하나는 어떤 색상 공간에서 피부색 영역의 경계선을 명확히 정의하는 것이다. 본 논문에서는 가장 단순하고 빠른 피부색 검출이 가능한 RGB 컬러 모델과 조도의 변화에 대한 강인함을 위하여 HSI 컬러 모델을 사용한다.

RGB 컬러 모델에서 피부영역은 식 (1)과 같이 정의한다[13].

HSI 컬러 모델은 정규화된 R, G, B값을 이용하여 각 성분 값을 구할 수 있다. 정규화된 RGB컬러 모델에서 색상(Hue) 성분을 구하는 식은 다음과 같다[13].

본 논문에서는 HSI 컬러 모델에서 조도에 강인한 색상 성분의 피부영역과 RGB 컬러 모델의 피부영역을 이용하여 최종 피부영역을 추출한다. 그림 2는 본 논문에서 사용하는 RGB 컬러 모델과 HSI 컬러 모델의 스펙트럼을 도시한 그림이다.

그림 2RGB와 HSI 컬러 모델 스펙트럼 Fig. 2 Spectrum of RGB and HSI color models

그림 3은 RGB/HSI 컬러 필터링을 이용하여 피부영역을 추출한 결과를 도시한 그림이다.

그림 3컬러 필터를 이용한 피부영상 추출 결과 Fig. 3 Extraction result of skin area using color filter

3.1.2 Canny 에지 검출 알고리즘을 이용한 손영역 에지 추출

본 절에서는 추출된 피부영역에서 손영역을 분리하기 위해서 Canny 에지 검출 알고리즘[10]을 이용하여 손영역의 에지 정보를 추출하는 방법을 제안한다. Canny 에지 검출 알고리즘은 탐지성(good detection), 국부성(good localization), 응답성(clear response)을 만족하는 에지를 찾는 방법을 제시한다. 그림 4는 피부영역의 에지 정보를 추출하는 과정을 나타낸 그림이다.

그림 4피부영역의 에지 정보 추출 과정 Fig.. 4 Extraction process for edge information of skin area

먼저, 입력 영상에 대한 잡음의 영향을 최소화하기 위해서 식 (3)과 같이 가우시안 필터링을 한다.

여기서, G(x, y; σ) 는 가중치 σ를 사용하여 (x, y) 위치에 적용되는 가우시안 함수를 의미하며, I(x, y)는 (x, y) 위치의 픽셀 값을 의미하며, V(x, y)는 가우시안필터를 적용한 결과를 의미한다. 가우시안 필터링을 적용한 V(x, y)에 1차 미분 연산자를 통한 에지검출은 식 (4)와 같다.

여기서, P(x, y)는 1차 미분 연산자를 통해 x축 에지를 검출한 결과이며, Q(x, y)는 y축 에지를 검출한 결과이다. 각 화소)에 대한 기울기와 크기는 식 (5)와 같이 계산된다.

여기서, θ(x, y)는 최종적으로 임계치를 통하여 피부영역의 에지정보를 추출할 수 있다. 그림 5는 피부영역에서 손영역을 분리하기 위해서 Canny 에지 검출기를 이용한 에지 추출 결과를 도시한 그림이다.

그림 5Canny 에지 검출기를 이용한 에지 추출 결과 Fig. 5 Edge extraction results using Canny edge detector

3.1.3 공간 주파수를 이용한 손영역 추출

기존의 연구에서는 피부 영역 추출 영상에서 손과 얼굴을 분리하는 방법으로 레이블링 방법(Labelling method)이 주로 사용되었다[14]. 레이블링 방법은 연결성을 가지는 픽셀들을 그룹화하는 방법으로 간편하게 손영역을 추출 할 수 있다. 하지만 손과 얼굴을 분리하기 위하여 손영역이 얼굴영역보다 커야만 하는 제한조건이 있다. 이런 제한조건을 해결하기 위해 본 절에서는 공간 주파수 기법을 이용하여 피부 영역 추출 영상에서 손과 얼굴을 분리하는 방법을 제안한다.

제안하는 공간주파수 기법은 2차원 공간에서 영상의 변화를 주파수적인 특징으로 표현한 방법으로, 추출된 피부 영역의 에지 영상에서 가로방향의 공간주파수와 세로방향의 공간 주파수에서 가장 높은 주파수 영역은 피부 영역의 에지영상에서 에지정보가 가장 복잡한 영역을 의미한다. 제안한 공간주파수 기법은 식 (6)과 같다.

여기서, x = R2 이며, D(w)는 가로방향의 공간주파수를 의미하며, D(h)는 세로방향의 공간주파수를 의미한다. 일반적으로 사람의 손영역은 얼굴영역보다 더 복잡한 에지 정보를 가지고 있으므로 가로방향과 세로 방향의 공간 주파수가 가장 높은 부분을 손영역으로 정의함으로써 효과적으로 손영역의 위치를 검출 할 수 있다.

그림 6은 제안한 공간 주파수 기법을 이용하여 손영역을 추출하는 과정을 도시한 그림이다. 그림 6-(a)는 손영역이 얼굴영역보다 큰 경우로 피부영역 추출 영상에서 종 방향 공간주파수와 횡방향 공간주파수를 적용시킨 히스토그램을 도시한 그림이다. 본 그림에서 종·횡 방향의 공간주파수가 가장 높은 부분은 얼굴 영역보다 복잡한 손영역임을 알 수 있다. 그림 6-(b)는 손영역이 얼굴보다 작은 경우에 공간주파수를 적용시킨 히스토그램 결과를 나타낸 그림이다. 본 그림에서도 그림 6-(a)와 마찬가지로 손영역에서 종·횡 방향 공간주파수가 가장 높은 것을 확인할 수 있다. 따라서, 본 논문에서 제안한 방법을 사용하면 입력영상에서 손영역과 얼굴영역을 간단히 분리할 수 있음을 알 수 있다.

그림 6공간주파수를 이용한 손영역 추출 Fig. 6 Hand region extraction using spatial frequency

3.2 손영역 특징점 추출 방법

3.2.1 더글라스-파커 알고리즘을 이용한 손영역 특징점 추출

본 절에서는 곡선으로 이루어진 손 외곽선에서 근사화를 통해 강인한 특징점을 효율적으로 추출하기 위해 더글라스 파커 알고리즘[13]을 이용하는 방법을 제안한다. 더글라스 파커 알고리즘은 복잡한 선형 자료를 설정된 임계치 범위 내에서 근사화를 수행하는 알고리즘이다. 그림 7은 더글라스-파커 알고리즘을 이용하여 손 외곽선을 근사화하는 과정을 도시한 그림이다.

그림 7더글라스-파커 알고리즘을 이용한 선 단순화 Fig. 7 Line simplification using DP algorithm

그림 7-(a)는 최초의 임계치 설정을 의미하며 시작점 pt0에서 소지의 끝점 pt15 까지의 단순화 과정을 나타낸다. 임계치를 설정하고 임계치에 속한 pt1-pt14는 제거한다. 그림 7-(b)에서도 앞선 그림 7-(a)와 마찬가지로 pt15-pt22에 임계치를 설정하여 임계치에 속한 pt16-pt21은 제거한다. 이와 같은 과정을 반복하면 최종적으로 손의 특징점을 추출할 수 있다. 그림 8은 손 영역 영상에서 외곽선의 근사화를 통해 손의 특징점을 구하는 과정을 도시한 그림이다.

그림 8손영역 특징점 추출 Fig. 8 Feature extraction of hand area

그림 8-(c)와 같이 손영역의 특징점을 집합 S의 원소 zi(i = 1,2,..., K) 로 정의한다. 여기서, S의 원소 중 zi(i =1,3,5,7,9)는 손가락 끝점에 해당하는 특징점으로 손가락 터치 인식 과정에서 중요하게 사용된다.

3.3 비주얼 터치 인식 방법

본 절에서는 비주얼 터치의 유무를 판단하기 위해 보로노이-테셀레이션 기반의 손모델을 사용하는 방법을 제안한다. 제안한 방법은 추출된 손영역 특징점을 입력으로 보로노이-테셀레이션 손모델을 생성하고, 손모델의 특징점을 이용하여 손가락 끝점의 터치를 인식하는 방법이다.

3.3.1 보로노이-테셀레이션을 이용한 손모델 생성

보로노이 테셀레이션은 이웃들과의 선분을 이등분한 선들로 이루어진 다각형의 집합을 의미한다. 테셀레이션은 집합 S가 있을 때, 한 부분집합 Si에 속하는 원소는 다른 부분 집합 Sj에 속하지 않고, 집합 S의 모든 원소는 임의의 한 부분집합 Si에 반드시 속하는 성질을 가지는 부분집합 {S1, S2,..., SK}을 말한다.

보로노이 테셀레이션을 정의하면 다음과 같다: 집합 S의 원소를 zi(i=1,2..., K) 라 하자. 집합 S의 원소 z, w 에 대한 유클리디언 거리함수 d(z, w)일 때, 보로노이 부분집합 Vj는 식 (7)을 만족하는 S에 속하는 모든 원소의 집합이다.

보로노이 부분집합들의 집합 {V1, V2,..., Vk}를 S의 보로노이 테셀레이션이라 정의한다. 이때, zi(i=1,2,..., K)의 집합을 보로노이 테셀레이션의 생성자(Generators) 또는 보로노이 셀(Voronoi cell)이라 한다. 보로노이 부분집합 Vj는 보로노이 다각형(Voronoi polygon)이라 한다.

그림 9는 본 절에서는 제안한 보로노이-테셀레이션 기반의 손 모델을 생성한 결과와 각 구성요소를 도시한 그림이다.

그림 9보로노이-테셀레이션의 구성요소 Fig. 9 Component of the Vornoi-tessellation

그림 9에서 보로노이 테셀레이션은 보로노이 셀, 보로노이 다각형, 보로노이 공간(Voronoi space)과 보로노이 정점(Voronoi vertex)으로 구성되어 있다. 보로노이 공간은 보로노이 다각형내의 공간을 의미하며, 보로노이 정점은 임의의 정점을 포함한 영역에서 다른 두 개 이상의 정점이 가지는 영역들과 만나는 점을 의미한다. 비주얼 터치 인식을 위한 손영역 분할 기법에 보로노이 테셀레이션 알고리즘을 이용한다. 보로노이 테셀레이션 알고리즘은 임의의 시작점을 중심으로 각 정점이 다른 정점에 영향을 주지 않고 최대로 가질 수 있는 범위를 표현하기에 적합함으로, 본 연구에서 제안하는 손영역 분할 기반 손 모델에 적합하다.

먼저, 그림 8에서 단순화된 손영역의 특징점 집합 S를 보로노이-테셀레이션 알고리즘의 입력 데이터로 사용한다. 그리고 입력 데이터에 보로노이-테셀레이션을 적용시킨다. 적용된 결과로 손 영역을 분할하는 보로노이-테셀레이션이 구성되고, 보로노이-테셀레이션이에 따라 손모델을 생성할 수 있다.

제안한 알고리즘을 통해 생성된 손 모델은 다음과 같은 특징을 가진다: 먼저, 손모델은 손가락 끝점을 포함한 손영역의 특징점들의 집합을 입력 데이터로 사용한다. 다음으로 모든 보로노이 셀들은 서로 간섭하지 않는다. 다음, 보로노이 다각형은 보로노이 셀이 서로 간섭하지 않는 한 최대의 영역을 가진다. 마지막으로 보로노이 다각형의 경계선은 마주한 보로노이 공간의 균형점이다.

3.3.2 터치 인식

비접촉 스크린에서 비주얼 터치의 유무를 판단하기 보로노이-테셀레이션 기반의 손모델을 이용한다. 보로노이-테셀레이션의 특징을 이용하는 방법은 앞서 언급한 보로노이-테셀레이션의 특징중 보로노이 다각형은 보로노이 셀들이 서로 간섭하지 않는 한 최대의 영역을 가진다는 특징을 이용하며, 그림 10과 같다. 그림 10-b에서 검지 손가락을 구부릴때 끝점 Z3을 포함하는 보로노이 다각형은 내각이 좁아지는 특성을 나타낸다. 이는 손가락의 구부림으로 인해 보로노이 셀 Z3과 Z4의 거리가 근접할수록 Z3과 Z5와의 거리는 멀어지기 때문이다. Z3과 Z5와의 거리가 멀어질수록 보로노이 다각형의 최대 영역을 확보하기 위해 Z3의 내각이 좁아지게 된다. 보로노이 다각형의 내각 변화는 다음 식 8과 같이 제 2 코사인법칙을 이용한다.

동일하게 그림 10-c에서 중지손가락을 구부릴 때 끝점 Z5를 포함하는 보로노이 다각형도 내각이 좁아지는 특성을 나타낸다. 손가락 특징점 (Z1,Z3,Z5,Z7,Z9)을 포함한 보로노이 다각형 내각의 변화를 계산하여 구부림에 따른 각도 B를 계산하여 터치 유무룰 판단한다.

그림 10보로노이 특성을 이용한 터치 동작 인식 Fig. 10 Touch gesture recognition using Voronoi rule

 

4. 실험 및 결과 고찰

본 논문에서 제안한 NUI를 위한 보로노이-테셀레이션 기반의 비주얼 터치 인식 시스템은 손영역 추출과 비주얼 터치에 주안점을 두고 개발되었다. 실험환경은 i5-3570 3.4GHz CPU, 4GB RAM의 PC에서 수행하였으며, 640×480 픽셀, 초당 12 프레임의 웹 카메라를 사용하였다.

실험은 손이 얼굴보다 큰 경우(실험1)와 손이 얼굴보다 작은 경우(실험2)로 나누어 진행하였으며, 웹 카메라로부터 RGB 칼라 영상을 입력받아 손영역을 인식하고, 다음으로 인식된 손영역을 이용하여 컴퓨터 환경에서의 자연스러운 비주얼 터치 인터페이스에 적용하는 실험을 하였다. 실험 과정은 보로노이-테셀레이션 손 모델 생성, 그리고 비주얼 터치 인식 실험 순으로 구성된다.

그림 11은 실험(1)을 통하여 본 논문에서 제안한 보로노이-테셀레이션 기반 손 모델 생성 과정을 도시한 그림이다.

그림 11손 모델 생성 실험 결과 (실험 1) Fig. 11 Experimental results of hand model creation

그림 11(a)는 손이 얼굴보다 큰 경우의 입력영상, (b)는 입력 영상에 대한 피부영역 추출 결과를 나타내며, (c)는 본 논문에서 제안한 공간주파수 기법을 이용하여 피부영역으로부터 손영역을 추출한 결과를 나타낸다. (d)는 추출한 손영역에 더글라스-파커 알고리즘을 적용하여 손 특징점을 추출한 결과를 나타낸다. (e)는 추출된 특징점을 입력으로 보로노이 손 모델을 생성한 결과를 나타낸다. 그림 12는 손이 얼굴보다 큰 경우(실험1)에서 비주얼 터치 실험 결과를 프레임 순으로 나타낸 그림이다.

그림 12비주얼 터치 실험 결과(실험 1) Fig. 12 Experimental results of visual touch

그림 13은 실험(2)를 통하여 본 논문에서 제안한 보로노이-테셀레이션 기반 손 모델 생성 과정을 도시한 그림이다.

그림 13손 모델 생성 실험 결과 (실험 2) Fig. 13 Experimental results of hand model creation

그림 13(a)는 손이 얼굴보다 작은 경우의 입력영상, (b)는 피부 영역의 추출 결과를 나타낸다. (c)는 본 논문에서 제안한 공간 주파수 기법을 이용하여 피부영역으로부터 손영역을 추출한 결과를 나타내며, 기존의 레이블링 기법의 손영역이 얼굴영역보다 커야 한다는 문제점을 해결하였다. (d)는 추출한 손영역에 더글라스-파커 알고리즘을 적용하여 손 특징점을 추출한 결과를 나타낸다. (e)는 추출된 특징점을 입력으로 보로노이 손 모델을 생성한 결과를 나타낸다. 그림 14는 손이 얼굴보다 작은 경우(실험2)에서 비주얼 터치 실험 결과를 프레임 순으로 나타낸 그림이다.

그림 12와 14에서 볼 수 있듯이, 손이 얼굴보다 큰 경우(실험 1)와 손이 얼굴보다 작은 경우(실험 2)에서 검지 손가락의 비주얼 터치를 인식하여 자연스러운 터치 동작을 보임을 알 수 있다

그림 14비주얼 터치 실험 결과(2) Fig. 14 Experimental results of visual touch

 

5. 결 론

본 논문에서는 영상 정보를 기반으로 사용자가 디스플레이 되고 있는 사물과 자연스럽게 상호작용할 수 있는 NUI를 위한 비주얼 터치 알고리즘을 제안하였다. 본 결과는 사용자들이 자신의 손가락을 특정 공간에서 움직이면 해당 동작을 인식하고 이를 해석하는 시스템이며, 컴퓨터의 동작을 지시하는 마우스의 역할을 할 수 있다. 즉, 어떠한 접촉기기 없이 원격으로 컴퓨터를 조작할 수 있는 자연스러운 인터페이스를 구현하였다. 제안한 시스템은 카메라로부터 얻어진 연속적인 입력 영상에서 RGB/HSI 컬러 필터링을 적용하여 조도에 민감한 단점을 해결하였다. 또한 공간주파수 기법을 제안하여 손이 얼굴보다 커야만 손영역을 추출하던 기존연구의 단점을 개선하였으며, 보로노이-테셀레이션 알고리즘을 이용한 손 모델을 제안하여 자연스러운 비주얼 터치 인식을 구현하였다. 마지막으로, 본 논문에서 제안하는 알고리즘은 실제 실험을 통해 실용성 및 그 응용 가능성을 보였다.

향후, 손의 회전으로 인한 형태상의 변형이 발생하는 문제점을 개선하고 양손을 모두 사용하여 자연스러운 비주얼터치를 구현하면 사람과 컴퓨터 간의 더욱 자연스러운 인터페이스를 구현 할 수 있을 것이다.