Modelling Perceptual Attention for Augmented Reality Agents

증강 현실 에이전트를 위한 지각 주의 모델링

  • Oh, Se-Jin (Department of Information and Communications, Gwangju Institute of Science and Technology) ;
  • Woo, Woon-Tack (Department of Information and Communications, Gwangju Institute of Science and Technology)
  • 오세진 (광주과학기술원 정보통신공학과) ;
  • 우운택 (광주과학기술원 정보통신공학과)
  • Received : 2010.04.05
  • Accepted : 2010.04.30
  • Published : 2010.05.25

Abstract

Since Augmented Reality (AR) enables users to experience computer-generated content embedded in real environments, AR agents can be visualized among physical objects in the environments where the users exist, and directly interact with them in real-time. We model perceptual attention for autonomous agents in AR environments where virtual and physical objects coexist. Since such AR agents must adaptively perceive and attend to surrounded objects relevant to their goals, our model allows the agents to determine currently visible objects from the description of what virtual and physical objects are configured in the camera's viewing area. A degree of attention is assigned to each perceived object based on its relevance to achieve agents' goals. The agents can focus on a reduced set of perceived objects with respect to the estimated degree of attention. To demonstrate the effectiveness of our approach, we implemented an animated character that was overlaid over a miniature version of campus and that attended to buildings relevant to their goals. Experiments showed that our model could reduce the character's perceptual loads even when surroundings change.

컴퓨터를 통해 생성된 콘텐츠를 현실 공간에서 자연스럽게 경험할 수 있도록 하는 증강 현실 기술의 등장으로 사용자가 존재하는 실제 공간에서 사용자와 공존하며 사용자 및 실제 객체와 직접적으로 상호작용이 가능한 증강 현실 에이전트에 대한 연구가 진행되고 있다. 본 논문에서는 가상 및 실제 객체가 혼재하는 공간에서 증강 현실 에이전트로 하여금 주변에 존재하는 가상 및 실제 객체를 효율적으로 인지할 수 있도록 하는 지각 주의 모델을 제안한다. 이는 카메라의 시야에 존재하는 실제 및 가상 객체를 인식하고 이를 이용하여 증강 현실 에이전트에게 현재 보이는 실제 및 가상 객체 정보를 추출한다. 그리고 제안한 모델은 에이전트의 목표를 달성하기 위하여 인지된 객체들이 얼마나 유용한지를 추론하고 이들 중 유용한 객체들에게만 에이전트의 주위를 기울이도록 한다. 더 나아가 제안한 모델의 유용성을 확인하기 위하여 캠퍼스 미니어처 내의 빌딩 객체들 사이에 증강되어지며 목표에 관련이 있는 빌딩 객체들에게 관심을 기울이는 증강 캐릭터를 구현하였다. 실험 결과를 통해 제안한 지각 주의 모델은 주변에 존재 하는 가상 및 실제 객체가 동적으로 변하는 환경에서 증강 캐릭터의 지각 부하를 감소시키는 것을 확인할 수 있었다.

Keywords

References

  1. J. Rickel and W. L. Johnson, "Animated agents for procedural training in virtual reality: Perception, cognition, and motor control." Applied Artificial Intelligence, Vol. 13, pp. 343-382, 1998.
  2. 오세진, 우운택, "상호작용형 에이전트의 설명 양식을 디자인하기위한 프레임워크 개발", 전자공학회 논문지, 제45권 CI 편, 제5호, 63-73쪽, 2008년 9월
  3. T. Conde and D. Thalmann, "An artificial life environment for autonomous virtual agents with multi-sensorial and multi-perceptive features," Computer Animation and Virtual Worlds, Vol. 15, no. 3-4, pp. 311-318, 2004. https://doi.org/10.1002/cav.34
  4. H. Noser et al, "Navigation for digital actors based on synthetic vision, memory and learning," Computers and Graphics, Vol. 19, pp. 7-19, 1995. https://doi.org/10.1016/0097-8493(94)00117-H
  5. J. Kuffner et al, "Fast synthetic vision, memory, and learning models for virtual humans," In Proc. of CA'99, pp. 118-127, 1999.
  6. R. W. Hill, "Modeling perceptual attention in virtual humans," In Proc. of the 8th Conference on Computer Generated Forces and Behavioral Representation, pp. 563-573, 1999.
  7. C. Peters and C. O' Sullivan, "Bottom-up visual attention for virtual human animation," In Proc. of CASA'03, pp. 111-117, 2003.
  8. R. Azuma et al., "Recent advances in augmented reality," Computer Graphics and Applications, Vol. 21, no. 6, pp. 34-47, 2001. https://doi.org/10.1109/38.963459
  9. 서용덕, 김종성, 홍기상, "증강현실의 기술과 동향", 전자공학회지, 제29권 제7호, 110-120쪽, 2002년 7월
  10. D. Wagner et al., "How real should virtual characters be?," In Proc. of ACE'06, pp.57, 2006.
  11. I. Barakonyi et al., "Agents that talk and hit back: animated agents in augmented reality," In Proc. of ISMAR'04, pp. 141-150, 2004.
  12. M. I. Possner et al., "Visual dominance: an information processing account of its origins and significance," Psychological Review, Vol. 83, no. 2, pp. 157-171, 1976. https://doi.org/10.1037/0033-295X.83.2.157
  13. E. Rosten, et al., "Faster and better: a machine learning approach to corner detection," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 32, no. 1, pp. 105-119, Jan. 2010.
  14. S. Baker and I. Matthews, "Lucas-Kanade 20 years on: a unifying framework," International Journal of Computer Vision, vol. 56, no. 3, pp. 221-255, Feb.-Mar. 2004. https://doi.org/10.1023/B:VISI.0000011205.11775.fd
  15. M. S. Hewett et al., "Computational perceptual attention," Ph. D Dissertation, 2001.
  16. http://www.ptgrey.com
  17. http://www.openscenegraph.org/projects/osg