Raising Visual Experience of Soccer Video for Mobile Viewers

The recent progress in multimedia signal processing and transmission technologies has contributed to the extensive use of multimedia devices to watch sports games with small LCD panel. However, the most of video sequences are captured for normal viewing on standard TV or HDTV, for cost reasons, merely resized and delivered without additional editing. This may give the small-display-viewers uncomfortable experiences in understanding what is happening in a scene. For instance, in a soccer video sequence taken by a long-shot camera techniques, the tiny objects (e.g., soccer ball and players) may not be clearly viewed on the small LCD panel. Moreover, it is also difficult to recognize the contents of the scorebox which contains the elapsed time and scores. This renuires intelligent display technique to provide small-display-viewers with better experience. To this end, one of the key technologies is to determine region of interest (ROI) and display the magnified ROI on the screen, where ROI is a part of the scene that viewers pay more attention to than other regions. Examples include a region surrounding a ball in long-shot and a scorebox located in the comer of each frame. In this paper, we propose a scheme for raising viewing experiences of multimedia mobile device users. Instead of taking generic approaches utilizing visually salient features for extraction of ROI in a scene, we take domain-specific approach to exploit unique attributes of the soccer video. The proposed scheme consists of two modules: ROI determination and scorebox extraction. The experimental results show that the proposed scheme offers useful tools for intelligent video display on multimedia mobile devices.

이동형 단말기 사용자를 위한 축구경기 비디오의 시청경험 향상 방법

최근 멀티미디어 신호처리 및 통신 기술의 발전에 힘입어 작은 LCD 패널을 통한 스포츠경기 시청이 증가하고 있다. 하지만 멀티미디어 단말에 방송되는 대부분의 영상들은 주로 경제적인 이유로 일반 TV나 HDTV 용으로 제작되어 단순히 크기만을 변환하거나 추가적인 편집 없이 녹화되고 있는 실정이다. 이는 작은 이동형 단말 사용자들이 경기화면 내의 상황을 인식하는데 있어서 많은 불편함을 겪는다. 예를 들어, 원거리 샷 카메라 기법으로 찍힌 축구 경기 동영상의 경우, 운동장 내의 공과 선수들은 매우 작아서 알아보기가 힘든 경우가 발생한다. 또한 경기 진행 시간이나 점수를 포함하는 점수상자(scorebox)의 내용 역시 시청자가 쉽게 알아보기 힘들다. 따라서 소형 디스플레이 시청자들의 원활한 이해를 위한 지능형 디스플레이 기술이 필요하다. 이를 위한 핵심기술의 하나가 관심 영역을 자동으로 결정하고 확대하여 보여주는 일이다. 여기서 관심영역이란 시청자들이 화면 내에서 다른 부분에 비해 더욱 관심을 갖게 되는 영역을 말하며 축구경기 비디오의 경우, 주로 상단 모서리에 존재하는 점수상자나 원거리 샷에서의 공을 둘러싼 주변영역 등이 해당된다. 본 논문에서 우리는 이동형 단말기 시청자들을 위한 시청경험 향상을 위한 방법을 제안한다. 경기장면에서 관심영역의 추출을 위해 화면 내에서 시각적으로 현저한 부분의 검출에 관심을 갖는 방법 대신, 축구 경기 비디오 고유의 특징을 이용하는 도메인 한정적인 접근법을 이용한다. 제안된 시스템은 크게 두 가지 모듈 관심영역 결정, 점수상자 추출로 구성된다. 실험 결과를 통해 제안된 알고리즘이 이동형 단말기상에서 지능형 디스플레이를 위한 좋은 해결책임을 보이고자 한다.