이동형 단말기 사용자를 위한 축구경기 비디오의 시청경험 향상 방법

Raising Visual Experience of Soccer Video for Mobile Viewers

  • 안일구 (한국정보통신대학교 전자공학과) ;
  • 고재승 (한국정보통신대학교 전자공학과) ;
  • 김원준 (한국정보통신대학교 전자공학과) ;
  • 김창익 (한국정보통신대학교 전자공학과)
  • 발행 : 2007.06.15

초록

최근 멀티미디어 신호처리 및 통신 기술의 발전에 힘입어 작은 LCD 패널을 통한 스포츠경기 시청이 증가하고 있다. 하지만 멀티미디어 단말에 방송되는 대부분의 영상들은 주로 경제적인 이유로 일반 TV나 HDTV 용으로 제작되어 단순히 크기만을 변환하거나 추가적인 편집 없이 녹화되고 있는 실정이다. 이는 작은 이동형 단말 사용자들이 경기화면 내의 상황을 인식하는데 있어서 많은 불편함을 겪는다. 예를 들어, 원거리 샷 카메라 기법으로 찍힌 축구 경기 동영상의 경우, 운동장 내의 공과 선수들은 매우 작아서 알아보기가 힘든 경우가 발생한다. 또한 경기 진행 시간이나 점수를 포함하는 점수상자(scorebox)의 내용 역시 시청자가 쉽게 알아보기 힘들다. 따라서 소형 디스플레이 시청자들의 원활한 이해를 위한 지능형 디스플레이 기술이 필요하다. 이를 위한 핵심기술의 하나가 관심 영역을 자동으로 결정하고 확대하여 보여주는 일이다. 여기서 관심영역이란 시청자들이 화면 내에서 다른 부분에 비해 더욱 관심을 갖게 되는 영역을 말하며 축구경기 비디오의 경우, 주로 상단 모서리에 존재하는 점수상자나 원거리 샷에서의 공을 둘러싼 주변영역 등이 해당된다. 본 논문에서 우리는 이동형 단말기 시청자들을 위한 시청경험 향상을 위한 방법을 제안한다. 경기장면에서 관심영역의 추출을 위해 화면 내에서 시각적으로 현저한 부분의 검출에 관심을 갖는 방법 대신, 축구 경기 비디오 고유의 특징을 이용하는 도메인 한정적인 접근법을 이용한다. 제안된 시스템은 크게 두 가지 모듈 관심영역 결정, 점수상자 추출로 구성된다. 실험 결과를 통해 제안된 알고리즘이 이동형 단말기상에서 지능형 디스플레이를 위한 좋은 해결책임을 보이고자 한다.

The recent progress in multimedia signal processing and transmission technologies has contributed to the extensive use of multimedia devices to watch sports games with small LCD panel. However, the most of video sequences are captured for normal viewing on standard TV or HDTV, for cost reasons, merely resized and delivered without additional editing. This may give the small-display-viewers uncomfortable experiences in understanding what is happening in a scene. For instance, in a soccer video sequence taken by a long-shot camera techniques, the tiny objects (e.g., soccer ball and players) may not be clearly viewed on the small LCD panel. Moreover, it is also difficult to recognize the contents of the scorebox which contains the elapsed time and scores. This renuires intelligent display technique to provide small-display-viewers with better experience. To this end, one of the key technologies is to determine region of interest (ROI) and display the magnified ROI on the screen, where ROI is a part of the scene that viewers pay more attention to than other regions. Examples include a region surrounding a ball in long-shot and a scorebox located in the comer of each frame. In this paper, we propose a scheme for raising viewing experiences of multimedia mobile device users. Instead of taking generic approaches utilizing visually salient features for extraction of ROI in a scene, we take domain-specific approach to exploit unique attributes of the soccer video. The proposed scheme consists of two modules: ROI determination and scorebox extraction. The experimental results show that the proposed scheme offers useful tools for intelligent video display on multimedia mobile devices.

키워드

참고문헌

  1. http://en.wikipedia.org/wiki/DMB
  2. H. Knoche, J. D. McCarthy, and M. A. Sasse, 'Can small be beautiful?: assessing image resolution requirements for mobile TV,' in MULTIMEDIA '05: Proceedings of the 13th annual ACM international conference on Multimedia, pp. 829-838, ACM Press, (New York, NY, USA), 2005
  3. 김창익, 고재승, 안일구, 이재호, 서기원, '이동형 단말기에서의 축구경기 시청을 위한 해상도 및 관심 영역 크기에 관한 사용자 만족도 조사,' Journal of the Korean society of broadcast engineers( 한국방송공학회), vol.11, no.3, pp.336-348, Sep. 2006
  4. Hao Liu, Xing Xie, Wei-Ying Ma, and Hong-Jiang Zhang, 'Automatic browsing of large pictures on mobile devices,' in MULTIMEDIA '03: Proceedings of the eleventh ACM international conference on Multimedia, pp.148-155, ACM Press, (New York, NY, USA), 2003
  5. L. Itti, C. Koch, and E. Niebur, 'A model of saliency-based visual attention for rapid scene analysis,' IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 20, no.11, pp.1254-1259, Nov. 1998 https://doi.org/10.1109/34.730558
  6. W. H. Cheng, W. T. Chu, and J. L. Wu, 'A visual attention based region-of-interest determination framework for video sequences,' IEICE Transactions on Information and Systems, E-88D, pp.1578-1586, 2005
  7. Y. F. Ma and H. J. Zhang, 'A model of motion attention for video skimming,' in Proc. ICIP, pp. 129-132, 2002
  8. X. Fan, X. Xie, H. Q. Zhou, and WY Ma, 'Looking into Video Frames on Small Displays,' in MULTIMEDIA '03: Proceedings of the eleventh ACM international conference on Multimedia, pp. 247-250, ACM Press, (New York, NY, USA), 2003
  9. Keewon Seo and Changick Kim, 'A Context-Aware Video Display Scheme for Mobile Devices,' in Proc. SPIE Vol.6074, pp.278-287, Multimedia on Mobile Devices II, San Jose, Jan. 2006
  10. A. Ekin, A. M. Tekalp, and R. Mehrotra, 'Automatic soccer video analysis and summarization,' IEEE Transactions on Image Processing, vol. 12, pp.796-807, 2003 https://doi.org/10.1109/TIP.2003.812758
  11. K. Wan, X. Yan, X. Yu, and C. Xu, 'Real-time goal-mouth detection in mpeg soccer video,' in MULTIMEDIA '03: Proceedings of the eleventh ACM international conference on Multimedia, pp. 311-314, ACM Press, (New York, NY, USA), 2003
  12. R. W. Lienhart, 'Comparison of automatic shot boundary detection algorithms,' Storage and Retrieval for Image and Video Databases VII 3656(1), pp.290-301, SPIE, 1998
  13. Y. Seo, S. Choi, H. Kim, and K. Hong, 'Where Are the Ball and Players? Soccer Game Analysis with Color Based Tracking and Image Mosaick,' in ICIAP '97: Proceedings of the 9th International Conference on Image Analysis and Processing-Volume II, pp.196-203, Springer-Verlag, London, UK, 1997
  14. Y. Ohno, J. Miura, and Y. Shirai, 'Tracking Players and a Ball in Soccer Games,' in Int. Conf. On Multisensor Fusion and Integration for Intelligent Sys., Taipei, Taiwan, 1999
  15. X. Yu, C. Xu, H. W. Leong, Q. Tian, Q Tang, and K Wan, 'Trajectory-Based Ball Detection and Tracking with Applications to Semantic Analysis of Broadcast Soccer Video,' in MULTIMEDIA '03: Proceedings of the eleventh ACM international conference on Multimedia, pp.11-20, ACM Press, (New York, NY, USA), 2003
  16. Rabiner L.R., 'A Tutorial on Hidden Markov Model and Selected Applications in Speech Recognition,' in Proceedings of the IEEE, Vol. 77, No. 2, 1989
  17. http://en.wikipedia.org/wiki/Taxicab_geometry
  18. O. Utsumi, K. Miura, I. Ide, S. Sakai, and H. Tanaka, 'An object detection method for describing soccer games from video,' in Proc. Multimedia and Expo, vol. 1, pp.45-48, 2002
  19. Ho-Sub Yoon, Young-lae J. Bae, and Young-kyu Yang, 'A soccer image sequence mosaicking and analysis method using line and advertisement board detection,' ETRI Journal, vol. 24, pp.443-454, 2002 https://doi.org/10.4218/etrij.02.0102.0005
  20. J. Lim, M. Kim, J. Kim, and K. Kim, 'Semantic transcoding of video based on regions of interest,' Visual Communications and Image Processing 2003, 5150(1), pp.1232-1243, SPIE, 2003
  21. A. Jerbi, Jian Wang, and S. Shirani, 'Error-Resilient Region-of-Interest Video Coding,' IEEE Transactions on Circuits and Systems for Video Technology, Volume 15, pp.1175-1181, 2005 https://doi.org/10.1109/TCSVT.2005.852619
  22. N. Doulamis, A. Doulamis, D. Kalogeras, and S. Kollias, 'Low Bit-Rate Coding of Image Sequences Using Adaptive Regions of Interest,' IEEE Transactions on Circuits and Systems for Video Technology, Volume 8, pp.928-934, 1998 https://doi.org/10.1109/76.736718
  23. K. Park, H. Park, 'Region-of-interest coding based on set partitioning in hierarchical trees,' IEEE Transactions on Circuits and Systems for Video Technology, Volume 12, pp.106-113, 2002 https://doi.org/10.1109/76.988657