Journal of the Institute of Electronics and Information Engineers (전자공학회논문지)

The Institute of Electronics and Information Engineers (대한전자공학회)
권호 표지
DOI QR코드

DOI QR Code

Discriminant Analysis of Human's Implicit Intent based on Eyeball Movement

안구운동 기반의 사용자 묵시적 의도 판별 분석 모델

  • Jang, Young-Min (School of Electronics Engineering, Kyungpook National University) ;
  • Mallipeddi, Rammohan (School of Electronics Engineering, Kyungpook National University) ;
  • Kim, Cheol-Su (School of Electronics Engineering, Kyungpook National University) ;
  • Lee, Minho (School of Electronics Engineering, Kyungpook National University)
  • Received : 2013.01.14
  • Published : 2013.06.25
Download PDF
⟨ Previous Next ⟩

Abstract

Recently, there has been tremendous increase in human-computer/machine interaction system, where the goal is to provide with an appropriate service to the user at the right time with minimal human inputs for human augmented cognition system. To develop an efficient human augmented cognition system based on human computer/machine interaction, it is important to interpret the user's implicit intention, which is vague, in addition to the explicit intention. According to cognitive visual-motor theory, human eye movements and pupillary responses are rich sources of information about human intention and behavior. In this paper, we propose a novel approach for the identification of human implicit visual search intention based on eye movement pattern and pupillary analysis such as pupil size, gradient of pupil size variation, fixation length/count for the area of interest. The proposed model identifies the human's implicit intention into three types such as navigational intent generation, informational intent generation, and informational intent disappearance. Navigational intent refers to the search to find something interesting in an input scene with no specific instructions, while informational intent refers to the search to find a particular target object at a specific location in the input scene. In the present study, based on the human eye movement pattern and pupillary analysis, we used a hierarchical support vector machine which can detect the transitions between the different implicit intents - navigational intent generation to informational intent generation and informational intent disappearance.

최근 사용자의 생체 신호 정보를 기반으로 사용자 인지향상을 위하여, 상황에 적합한 서비스를 제공하기 위한 인간-컴퓨터/기계 상호작용 (Human computer/machine interaction: HCI/HMI) 시스템이 급격하게 증가하고 있는 추세이다. 이와 같이 인간-컴퓨터/기계 상호작용 기반의 효과적인 사용자 인지향상 시스템을 개발하기 위해서는 사용자의 명시적 의도 파악과 더불어 사용자의 묵시적 의도 파악이 중요하다. 사람의 시각 운동 이론에 따르면, 사람의 안구운동 정보와 동공 반응은 사람의 의도와 행동에 대하여 많은 량의 정보를 제공한다. 이에 본 논문에서는 사용자의 묵시적 의도를 판별하기 위하여, 피험자에게 제공되는 자극영상의 관심(흥미) 영역 (area of interest: AOI) 내에서의 안구운동 패턴인 응시 시간/횟수, 동공 응답 패턴의 동공크기와 동공의 크기변화인 기울기 정보를 분석하는 새로운 접근 방법을 제안한다. 제안하는 모델은 항행적 의도 발생, 정보적 의도발생, 정보적 의도 소멸과 같은 세 가지 유형으로 인간의 묵시적 의도를 식별한다. 여기서 항행적 의도란 주어진 자극영상 내에서 무언가 흥미로운 것을 찾는 행위를 말하며, 이에 반해 정보적 의도는 특정 위치에서 특정 객체는 찾는 행위를 의미한다. 본 연구에서는 사용자 안구운동 패턴과 동공분석 정보 기반으로 서로 다른 묵시적 의도인 항행적 의도, 정보적 의도 발생, 그리고 정보적 의도 소멸 사이에서 그 천이를 감지할 수 있는 계층적 SVM (hierarchical support vector machine: H-SVM)을 이용하였다.

Keywords

References

  1. Majaranta, P., and K.-J. Raiha. "Twenty years of eye typing: systems and design issues," Proceedings of the symposium on Eye tracking research & applications. New Orleans, Louisiana, ACM, pp. 15-22, 2002
  2. Breazeal, C., "Social Interactions in HRI: The Robot View," IEEE Transactions on Systems, Man, and Cybernetics-Part C: Applications and Reviews, 34(2): pp. 181-186, 2004. https://doi.org/10.1109/TSMCC.2004.826268
  3. 변증남, 한정수, "바이오사인에 기반한 HCI 및 서비스 로봇에의 응용," 대한전자공학회, 전자공학회지 제 28권 제 12호, pp. 37-42, 2001.
  4. http://www.gartner.com/it/page.jsp?id=1124212
  5. 심정연, "개인성을 고려한 지식-감정 반응 모델의 설계," 대한전자공학회, 전자공학회논문지-CI, 제 47권, 제 1호, pp. 116-122, 2010.
  6. 권순진, 홍철의, 김원일, "효율적 검색의도 파악을 위한 쿼리 단어 가시화에 관한 연구," 대한전자공학회, 전자공학회논문지-CI, 제 49권, 제 2호, pp. 44-52, 2012.
  7. Bernard, J. J., Danielle, L.B., and Amanda, S.: "Determining the informational, navigational, and transactional intent of Web queries," Information Processing and Management 44, pp 1251-1266, 2008. https://doi.org/10.1016/j.ipm.2007.07.015
  8. Chen, Z., Lin, F., Liu, H., Ma, W. Y., and Wenyin, L., "User Intention Modelling in Web Applications Using Data Mining," Internet and Web Information Systems Journal, Kluwer Academic Publishers, vol. 5, pp. 181-192, 2002.
  9. 이인혜, 정신생리학, 학지사, 1997, ISBN-8975481654
  10. Schwarz, U., and Schmuckle, T., "Cognitive Eyes, Schweiz Arch Neurol Psychiatr," vol. 153, pp. 175-179, 2002. https://doi.org/10.4414/sanp.2002.01279
  11. Schutz, A. C., Braun, D. I., and Gegenfurtner, K. R., "Eye movements and perception: A selective review," Journal of Vision, vol. 11, pp. 1-30, 2011.
  12. Just, M. A., and Carpenter, P. A., "Eye fixations and cognitive processes," Cognitive Psychology, vol. 8, pp. 441-480, 1976. https://doi.org/10.1016/0010-0285(76)90015-3
  13. Gareze, L., Harris, J. M., Barenghi, C. F., and Tadmor, Y., "Characterising patterns of eye movements in natural images and visual scanning," Journal of Modern Optics, vol. 55, pp. 533-555, 2008. https://doi.org/10.1080/09500340701470102
  14. Claudio, M. P., Laura, W. R., Thom, C., Stanley, K., and Mario, A., "The pupil dilation response to visual detection," Human Vision and Electronic Imaging XIII / SPIE-IS&T, vol. 6806, 2008.
  15. Hess, E. H., and Polt, J. M., "Pupil size in relation to mental activity during problem-solving," Science, vol. 143, pp. 1190-1192, 1964. https://doi.org/10.1126/science.143.3611.1190
  16. Kahneman, D., and Peavler, W. S., "Incentive effects and pupillary changes in association learning," Journal of Experimental Psychology, vol. 79, pp. 312-318, 1969. https://doi.org/10.1037/h0026912
  17. Kahneman, D., and Beatty, J., "Pupil diameter and load on memory," Science, vol. 154, pp. 1583-1585, 1966. https://doi.org/10.1126/science.154.3756.1583
  18. Libby, W. L., Lacey, B. C., and Lacey, J. I., "Pupillary and cardiac activity during visual attention," Psychophysiology, vol. 10, pp. 270-294, 1973. https://doi.org/10.1111/j.1469-8986.1973.tb00526.x
  19. Iqbal, S. T., Zheng, X. S., and Bailey, B. P., "Task-evoked pupillary response to mental workload in human-computer interaction," Human Factors in Computing Systems, pp. 1477-1480, 2004.
  20. Rose, D. E., and Levinson, D., "Understanding User Goals in Web Search," in Proceedings of the 13th International Conference on World Wide Web, pp. 13-19, 2004.
  21. Young-Min Jang, Sangil Lee, Rammohan Mallipeddi, Ho-Wan Kwak, and Minho Lee, "Recognition of Human's Implicit Intention Based on an Eyeball Movement Pattern Analysis," LNCS 7062, pp. 138-145, 2011.
  22. Eye tracking system of Tobii Technology, http://www.tobii.com/
  23. 임정수, 송지현, 장준혁, "SVM의 미세조정을 통한 음성/음악 분류 성능향상," 대한전자공학회, 전자공학회논문지-SP, pp. 141-148, 2011.
  24. Kecman, V., Learning and Soft Computing Cambridge, MA, MIT Press, 2001.
  25. Young-Min Jang, Sangil Lee, Rammohan Mallipeddi, Ho-Wan Kwak, and Minho Lee, "Human implicit intent transition detection based on pupillary analysis," IEEE International Conference on World Congress on Computational Intelligence 2012.