Interactive Projection by Closed-loop based Position Tracking of Projected Area for Portable Projector

이동 프로젝터 투사영역의 폐회로 기반 위치추적에 의한 인터랙티브 투사

  • Published : 2010.01.15

Abstract

We propose an interactive projection technique to display details of a large image in a high resolution and brightness by tracking a portable projector. A closed-loop based tracking method is presented to update the projected image while a user changes the position of the detail area by moving the portable projector. A marker is embedded in the large image to indicate the position to be occupied by the detail image projected by the portable projector. The marker is extracted in sequential images acquired by a camera attached to the portable projector. The marker position in the large display image is updated under a constraint that the center positions of marker and camera frame coincide in every camera frame. The image and projective transformation for warping are calculated using the marker position and shape in the camera frame. The marker's four corner points are determined by a four-step segmentation process which consists of camera image preprocessing based on HSI, edge extraction by Hough transformation, quadrangle test, and cross-ratio test. The interactive projection system implemented by the proposed method performs at about 24fps. In the user study, the overall feedback about the system usability was very high.

본 연구에서는 영상을 대형으로 디스플레이 함과 동시에 사용자가 보다 세밀하게 관찰하고자하는 관심영역을 이동 프로젝터로 투사함으로써 개선된 해상도와 밝기로 디스플레이 하는 인터랙티브 투사 기법을 제안한다. 사용자는 이동 프로젝터를 들고 움직이며 관심영역의 위치를 변경하게 되는데 이 때 적절히 투사영상을 업데이트하기 위해 폐회로(closed-loop) 기반 추적 방법을 제안한다. 먼저 대형 디스플레이 영상에 이동 프로젝터의 위치를 나타내는 표시자를 삽입하고 이를 이동 프로젝터에 부착된 카메라로 획득한 연속영상에서 추출한다. 표시자의 중심이 항상 카메라 영상의 중심과 일치하도록 하는 제약조건 하에서 이를 만족시키기 위해 대형 디스플레이 상에서 표시자의 위치를 지속적으로 업데이트 한다. 이렇게 계산된 표시자의 위치에 해당하는 사각형 영역을 이동 프로젝터가 투사하게 되며 이때 카메라와 이동 프로젝터 사이의 투사변환을 적용하여 와핑한다. 표시자 분할은 총 네 단계로 이루어지며 카메라 영상에 대해 HSI 기반 전처리, 직선 탐지, 사각형 조건 검사, 교차비(cross-ratio) 검사를 거쳐 최종 네 개의 코너점이 결정된다. 제안된 투사 기법을 적용하여 구현한 인터랙티브 투사 시스템은 약 24fps의 처리속도를 지원하며 사용자 평가 결과 높은 유용성을 나타냈다.

Keywords

References

  1. Sanneblad, J. and Holmquist, L. E., "Ubiquitous graphics: combining hand-held and wall-size displays to interact with large images," In Proc. of the Working Conference on Advanced Visual interfaces, pp.373-377, 2006.
  2. Cao, X., Forlines, C., and Balakrishnan, R., "Multi-user interaction using handheld projectors," In Proc. of ACM UIST '07, pp.43-52, 2007.
  3. D. Cotting and M. Gross, "Interactive visual workspaces with dynamic foveal areas and adaptive composite interfaces," In Proc. of Eurographics 2007, pp.685-694, 2007.
  4. Haptic Beam (SPH-W7900). http://www.samsung.com/ sec/consumer/detail/detail.do?group=mobilephone&type=mobilephone&subtype=kt&model_cd=SPH-W79 00UWKF
  5. Baudisch P., Good N. and Stewart P., "Focus plus context screens: combining display technology with visualization techniques," In Proc. of UIST '01, pp.31-40, 2001.
  6. Zhang, Z., "Flexible camera calibration by viewing a plane from unknown orientations," In Proc. of the 7th Int. Conference on Computer Vision, pp. 666-673, 1999.
  7. Hartley, R.I. and Zisserman, A., Multiple View Geometry in Computer Vision. 2nd Ed., p.88, Cambridge University Press, New York, 2003.
  8. H. Jiang, E. Ofek, N. Moraveji, and Y. Shi, "Direct pointer: direct manipulation for large-display interaction using handheld cameras," In Proc. of the SIGCHI Conference on Human Factors in Computing Systems (CHI 2006), pp.1107-1110, 2006.
  9. Z. Zhang, Y. Wu and Z. Liu, "Side statistics and maximum discriminant analysis for real-time tracking," In Proc. of 5th Asian Conference on Computer Vision (ACCV '02), pp.308-313, 2002.
  10. I3A/ISO Resolution Test Chart. http://www.edmundoptics.com/onlinecatalog/displayproduct.cfm?prod uctid=2287