Image Processing Algorithms for DI-method Multi Touch Screen Controllers

Large-sized multi-touch screen is usually made using infrared rays. That is because it has technical constraints or cost problems to make the screen with the other ways using such as existing resistive overlays, capacitive overlay, or acoustic wave. Using infrared rays to make multi-touch screen is easy, but is likely to have technical limits to be implemented. To make up for these technical problems, two other methods were suggested through Surface project, which is a next generation user-interface concept of Microsoft. One is Frustrated Total Internal Reflection (FTIR) which uses infrared cameras, the other is Diffuse Illumination (DI). FTIR and DI are easy to be implemented in large screens and are not influenced by the number of touch points. Although FTIR method has an advantage in detecting touch-points, it also has lots of disadvantages such as screen size limit, quality of the materials, the module for infrared LED arrays, and high consuming power. On the other hand, DI method has difficulty in detecting touch-points because of it's structural problems but makes it possible to solve the problem of FTIR. In this thesis, we study the algorithms for effectively correcting the distort phenomenon of optical lens, and image processing algorithms in order to solve the touch detecting problem of the original DI method. Moreover, we suggest calibration algorithms for improving the accuracy of multi-touch, and a new tracking technique for accurate movement and gesture of the touch device. To verify our approaches, we implemented a table-based multi touch screen.

DI 방식의 대형 멀티터치스크린을 위한 영상처리 알고리즘 설계

대형 멀티터치스크린의 구현은 기존의 저항막, 정전용량, 초음파 방식으로는 기술 제약 및 비용 등의 문제로 구현에 어려움이 있어 주로 적외선을 이용하는 방식을 많이 사용한다. 적외선을 사용한 멀티터치스크린은 대형스크린을 구현하기 용이하지만 멀티터치에 기술적인 제한을 갖고 있는 경우가 많다. 이러한 단점을 보완하기 위해 적외선 카메라를 이용한 FTIR(Frustrated Total Internal Reflection), DI(Diffuse Illumination)방식들이 Microsoft의 차세대 유저인터페이스인 Surface를 통해 제안되었다. FTIR이나 DI 방식은 대형스크린의 구현이 쉽고 멀티터치의 개수에 제한을 받지 않는다. 하지만 FTIR은 터치 포인트의 검출은 쉬운 반면에 스크린의 크기와 재질, 적외선 LED 배열을 위한 모듈, 많은 소비전력 등의 단점을 가지고 있고 DI 방식은 구조상의 문제로 터치 검출이 어려운 반면 FTIR이 가지고 있는 단점을 해결할 수 있다. 본 논문에서는 기존에 제안된 DI 방식의 터치 포인트 검출시의 문제점을 해결하기 위해 손가락 외곽선을 이용한 영상처리 알고리즘, 광학 렌즈 왜곡 현상을 효과적으로 보정하기 위한 알고리즘에 대해 연구하였다. 또한 멀티터치의 터치 정확도를 높이기 위한 Calibration 알고리즘과 정확한 제스처 및 정확한 이동을 위한 Tracking 기법을 고안하였다. 연구 결과 DI 방식을 위해 본 논문에서 제안한 영상처리 알고리즘들은 간단하면서 쉽게 대형 멀티터치스크린 구현을 위한 효과적인 방법이 될 수 있을 것으로 판단된다.