Automatic Cast-list Analysis System in Broadcasting Videos

방송 비디오 등장인물 자동 분석 시스템

  • 김기남 (한양대학교 전자통신전파공학과) ;
  • 김형준 (한양대학교 전자통신전파공학) ;
  • 김회율 (한양대학교 전자통신전파공학과)
  • Published : 2004.06.01

Abstract

In this paper, we propose a system that can analyze appearance interval of casts by detecting and recognizing casts in broadcasting videos. The cast is one of the most important characteristics in broadcasting videos such as drama and sports. In this paper, we propose the ACAV(Automatic Cast-list Analysis in Videos) system that analyzes cast-list automatically in video. The ACAV system consists of FAGIS(FAce reGIStration) which registers detected faces into the face DB and FACOG(FAce reCOGnition) that analyses the cast-list in video sequence using the face DB. We evaluate performance of the ACAV system by comparing with FaceIt, one of the most well-known commercial systems for the cast-list analysis. The ACAV shows face detection and recognition rates of 84.3% and 75.7% that are about 30% and 27.5% higher than those of FaceIt, respectively. The ACAV system can be applied to mass broadcasting videos management system for broadcasters and video management system of PVR(Personal Video Recorder) and mobile phone for the public.

본 논문에서는 등장인물 검출 및 인식과 함께 등장인물의 출연 구간 분석이 가능한 시스템을 제안한다. 드라마, 스포츠와 같은 방송 비디오는 그 특성상 인물이 중심이 되며 각 시점에 등장하는 주요 인물은 방송용 비디오의 중요한 특징이 된다. 본 논문에서는 비디오에서 등장하는 주요 인물을 자동으로 분석하는 ACAV(Automatic Cast-list Analysis in Videos) 시스템을 제안한다. ACAV 시스템은 등장인물을 자동 검출하여 인물 DB에 등록하는 FAGIS(FAce reGIStration)와 생성된 인물 DB을 이용하여 등장인물을 분석하는 FACOG(FAce reCOGnition)로 구성된다. 기존의 상용화된 등장인물 분석 시스템인 FaceIt과의 성능 비교를 통해 ACAV의 성능을 검증하였다. 얼굴 검출 실험에서 ACAV의 얼굴 검출률은 84.3%로 FaceIt 보다 약 30% 높았고, 얼굴 인식 실험에서도 ACAV의 얼굴 인식률은 75.7%로 FaceIt 보다 27.5% 높은 성능을 보였다. ACAV 시스템은 방송 멀티미디어 공급자를 위한 대용량 비디오 관리 시스템으로 이용될 수 있으며 일반 사용자를 대상으로 한 PVR(Personal Video Recorder), 모바일 폰 등의 비디오 관리 시스템으로도 이용될 수 있다.

Keywords

References

  1. Virage Inc., 'VideoLogger 6.0 getting start guide,' Virage Inc., 2003
  2. Virage Inc., 'Media Analysis Plug-in for Face Recognition 3.6,' Virage Inc., 2003
  3. E. Osuna, R. Freund and F. Girosi. 'Support vector machines: Training and applications,' Technical report, MIT, 1997. 3
  4. H. Wu, Q. Chen and M. Yachida, "Face Detection From Color Images Using a Fuzzy Pattern Matching Method,"IEEE Trans. Pattern Analysis and Machine Intelligence, Vol. 21, No. 6, pp. 557-563, 1999. 6
  5. H. L. Wang and S. F. Chang, 'A Highly Efficient System for Automatic Face Region Detection in MPEG Video,' IEEE Trans. Circuits and Systems for Video Technology, Vol. 7, No. 4, pp. 615-628, 1997. 8 https://doi.org/10.1109/76.611173
  6. D. Cahi and K. N. Ngan, 'Face segmentation using skin color map,' IEEE Trans. Circuit and Systems for Video Technology, Vol 9, No 4, pp. 551-564, 1999. 6
  7. 박현선, 김경수, 김희정, 정병희, 하명환, 김회율, 'Integer DCT와 SVM을 이용한 실시간 얼굴 검출,' 대한전자공학회 하계학술대회, Vol. 26, No. 1, pp. 2112-2115, 2003. 7
  8. 이흔진, 김형준, 김희정, 하명환, 정병희, 김회율, 'DCT/LDA를 이용한 얼굴 인식의 성능 향상,' 제16회 신호처리합동학술대회, Vol. 16, No. 1, pp. 854-857, 2003. 9
  9. P. Viola, M. Jones, 'Rapid object detection using a boosted cascade of simple features,' Proc. IEEE Computer Society Conference, Vol. 1, No. 1, pp. 511-518, 2001
  10. O. Jesorsky, K. J. Kirchberg and R. Frischholz, 'Robust Face Detection Using the Hausdorff Distance,' Audio and Video-Based Person Authentication, Vol. 2091, pp. 90-95, 2001
  11. H. Kim, T. Kim, J. Lee, W. Hwang and S. Kee, 'Componentbased LDA Face Descriptor,' ISO/IEC JTC1/SC21/WG11 M8243, 2002. 5
  12. Y. Li, 'Linear Discriminant Analysis and its application to Face Identification,' Ph. D. Thesis, University of Surrey, 2000. 9
  13. M. Bober, et al., 'Description of MPEG-7 Visual Core Experiments,' ISO/IEC JTC1/SC29/WG11 N4925, 2002. 10