동영상 내용 분석을 위한 관심 객체 추출

Segmentation of Objects of Interest for Video Content Analysis

동영상에서의 관심 객체를 추출하는 것은 비디오 내용 분석과 비디오 검색 및 압축의 성능을 개선시키는데 큰 역할을 한다. 관심 객체는 단순히 사람 눈의 시선을 끄는 대상물이 아니라 내용전개의 중심이 되거나 제작자가 표현하려고 하는 핵심 객체를 의미한다. 이러한 관심 객체는 움직이는 객체뿐만 아니라 정지해 있는 객체도 될 수 있으나, 사람의 관심을 절차적으로 표현하는 것이 어렵기 때문에 관심 객체를 명확하게 정의하기가 곤란하다. 이에, 본 논문에서는 동영상 샷에서의 움직이는 객체의 위치, 크기, 움직임 패턴의 변화에 대한 조건을 정의하여 필터링에 의해 사람의 관심을 끄는 움직임 관심 객체를 추출하는 방법을 제시하고, 아울러 동영상 샷에서 정지되어 있는 객체에 대해서도 컬러/텍스처 특이성, 위치, 크기, 출현 빈도 등에 대한 조건을 정의하여 정지 관심 객체도 추출할 수 있는 방법을 제안한다. 제안한 방법을 50개의 동영상 샷에 대하여 실험한 결과, 사람이 선정한 움직임 및 정지 관심 객체를 84% 정도 추출할 수 있음을 확인할 수 있었다.

Video objects of interest play an important role in representing the video content and are useful for improving the performance of video retrieval and compression. The objects of interest may be a main object in describing contents of a video shot or a core object that a video producer wants to represent in the video shot. We know that any object attracting one's eye much in the video shot may not be an object of interest and a non-moving object may be an object of interest as well as a moving one. However it is not easy to define an object of interest clearly, because procedural description of human interest is difficult. In this paper, a set of four filtering conditions for extracting moving objects of interest is suggested, which is defined by considering variation of location, size, and moving pattern of moving objects in a video shot. Non-moving objects of interest are also defined as another set of four extracting conditions that are related to saliency of color/texture, location, size, and occurrence frequency of static objects in a video shot. On a test with 50 video shots, the segmentation method based on the two sets of conditions could extract the moving and non-moving objects of interest chosen manually on accuracy of 84%.