Design of Korean eye-typing interfaces based on multilevel input system

단계식 입력 체계를 이용한 시선 추적 기반의 한글 입력 인터페이스 설계

  • 김호중 (서울대학교 기계항공공학부) ;
  • 우성경 (서울대학교 기계항공공학부) ;
  • 이건우 (서울대학교 기계항공공학부)
  • Received : 2017.07.31
  • Accepted : 2017.11.07
  • Published : 2017.11.30

Abstract

Eye-typing is one kind of human-computer interactive input system which is implemented by location data of gaze. It is widely used as an input system for paralytics because it does not require physical motions other than the eye movement. However, eye-typing interface based on Korean character has not been suggested yet. Thus, this research aims to implement the eye-typing interface optimized for Korean. To begin with, design objectives were established based on the features of eye-typing: significant noise and Midas touch problem. Multilevel input system was introduced to deal with noise, and an area free from input button was applied to solve Midas touch problem. Then, two types of eye-typing interfaces were suggested on phonological consideration of Korean where each syllable is generated from combination of several phonemes. Named as consonant-vowel integrated interface and separated interface, the two interfaces are designed to input Korean in phases through grouped phonemes. Finally, evaluation procedures composed of comparative experiments against the conventional Double-Korean keyboard interface, and analysis on flow of gaze were conducted. As a result, newly designed interfaces showed potential to be applied as practical tools for eye-typing.

Eye-typing은 인간-컴퓨터 상호작용의 일종으로 시선의 위치 정보를 기반으로 하는 입력 체계이다. 눈동자의 움직임 이외의 물리적 행위를 필요로 하지 않아 거동이 어려운 전신마비 환자들을 위한 입력 수단으로 널리 사용된다. 하지만 eye-typing을 위한 한글 기반의 인터페이스는 거의 제시되지 않은 것이 현실이다. 이에 본 연구에서는 한글 입력에 최적화된 eye-typing 입력 체계를 구현하였다. 우선 큰 잡음과 Midas touch problem으로 대표되는 eye-typing의 특성을 고려하여 설계 목표를 정립하였다. 잡음 문제를 해결하기 위해 개별 버튼의 크기를 극대화하기 위해 단계식 입력 체계를 도입하였고 Midas touch problem을 해결하기 위해 입력 영역 중간에 시선 보류 영역을 두었다. 다음으로 각 음절이 자음과 모음의 조합으로 생성되는 한글의 언어학적 특성에 대한 고찰을 바탕으로 두 종류의 eye-typing 인터페이스를 설계하였다. 각각 자모 일체형, 자모 분리형 인터페이스로 정의한 두 인터페이스는 한글의 자모음을 유형화하여 단계적으로 입력하도록 구현되었다. 그리고 이들의 성능을 검증하기위해 한글 두벌식자판과 비교하고 입력 과정에서 시선의 동선을 분석하는 실험을 수행하였다. 그 결과, 제시한 인터페이스가 실용적인 eye-typing 수단으로 활용될 가능성이 충분함을 확인하였다.

Keywords

References

  1. Hutchinson, T. E., White, K. P., Martin, W. N., Reichert, K. C. and Frey, L. A. Human-computer in teraction using eye-gaze input. IEEE Transactions on systems, man, and cybernetics. 19(6). pp. 1527-1534. 1989.
  2. Schnakers, C., Perrin, F., Schabus, M., Hustinx, R., Majerus, S., Moonen, G. and Laureys, S. Detecting consciousness in a total locked-in syndrome: an active event-related paradigm. Neurocase. 15(4). pp. 271-277. 2009.
  3. Jacob, R. J. K., Leggett, J. J., Myers, B. A. and Pausch, R. Interaction styles and input/output devices. Behaviour & Information Technology.12. pp. 69-79. 1993. https://doi.org/10.1080/01449299308924369
  4. Ghysels, E., Santa-Clara, P. and Valkanov, R. The MIDAS touch: Mixed data sampling regression models. Finance. 2004.
  5. Velichkovsky, B., Sprenger, A. and Unema, P. Towards gaze-mediated interaction: Collecting solutions of the "Midas touch problem". In Human-Computer Interaction INTERACT'97. Springer US. pp. 509-516. 1997.
  6. Ohno, T. Features of eye gaze interface for selection tasks. Proceedings of the 3rd Asian Pacific Computer and Human Interaction (APCHI'98). pp. 176-182. 1998.
  7. Bhaskar, T. N., Keat, F. T., Ranganath, S. and Venkatesh, Y. V. Blink detection and eye tracking for eye localization. In TENCON 2003. Conference on Convergent Technologies for the Asia-Pacific Region. Vol. 2. pp. 821-824. IEEE. 2003.
  8. Ferreira, A., Celeste, W. C., Cheein, F. A., Bastos-Filho, T. F., Sarcinelli-Filho, M. and Carelli, R. Human-machine interfaces based on EMG and EEG applied to robotic systems. Journal of NeuroEngineering and Rehabilitation, 5(1). 10. 2008. https://doi.org/10.1186/1743-0003-5-10
  9. Chau, M.and Betke, M. Real time eye tracking and blink detection with usb cameras. Boston University Computer Science Department. 2005.
  10. Kotani, K., Yamaguchi, Y., Asao, T. and Horii, K. Design of eye-typing interface using saccadic latency of eye movement. International Journal of Human-Computer Interaction, 26(4). pp. 361-376. 2010. https://doi.org/10.1080/10447310903575499
  11. Majaranta, P. and Raiha, K. J. Twenty years of eye typing: Systems and design issues.Proceedings of the 2002 symposium on Eye Tracking Research & Applications. pp. 15-22. 2002..
  12. 이창정, 전길우, 김정규. A Study on the Indirect Keyboard Control System based on the Gaze Tracing by Haar Classifiers. 한국차세대컴퓨팅학회 논문지. 7(6). pp. 44-45. 2011.
  13. 정광태, 채이식, 권오성, 이동하, 김재환. 휴대폰의 사용자 인터페이스 설계를 위한 사용자들의 기초 사용특성 분석. 산업공학 (IE interfaces). 15(1). pp. 73-81. 2002.
  14. Wobbrock, J. O., Rubinstein, J., Sawyer, M. W. and Duchowski, A. T. Longitudinal evaluation of discrete consecutive gaze gestures for text entry. In: Proceedings of the 2008 symposium on Eye tracking research & applications. pp. 11-18. 2008.
  15. Majaranta, P. and Raiha, K. J. Text entry by gaze: Utilizing eye-tracking. Text entry systems: Mobility, accessibility, universality. pp. 175-187. 2007.
  16. Bartz, A. Eye movement latency, duration and response time as a function of angular displacement. Journal of Experimental Psychology. 64. pp. 318-324. 1962. https://doi.org/10.1037/h0043475
  17. 서한석, 김치용. 시선 입력 장치에 의한 한글 입력 시스템 설계에 관한 연구. 한국디지털콘텐츠학회 논문지. 5(3). pp. 239-244. 2004.
  18. Isokoski, P. Text input methods for eye trackers using off-screen targets. Proceedings of Eye Tracking Research & Applications Symposium 2000. pp. 15-22. 2000.