3차원 얼굴 표정 추적을 위한 스테레오 시각 모듈 설계 및 구현

Design and Realization of Stereo Vision Module For 3D Facial Expression Tracking

  • 이문희 (대구경북연구원 신산업연구팀) ;
  • 김경석 (부산대학교 정보컴퓨터공학부)
  • Lee, Mun-Hee (Advanced industry Team, Daegu-Gyeongbuk development Institute) ;
  • Kim, Kyong-Sok (Dept of Computer Science and Engineering, Pusan National University)
  • 발행 : 2006.12.29

초록

본 연구에서는 2개의 CMOS 영상 센서가 탑재된 스테레오 시각 모듈을 사용하여 얼굴 움직임 및 표정을 효과적으로 추적할 수 있는 얼굴용 모션 캡쳐 기술을 제안한다. 제안한 추적 알고리즘에는 신경회로망 기반의 중심점추적기법 및 상관추적기법을 사용한다. 실험 결과, 일반 얼굴 표정에 대해 스테레오 시각 모션 캡쳐를 사용한 두 추적기법 모두 15, 30프레임율에 대해 각각 95.6%, 99.6%의 추적성공률을 가진다는 것을 보여준다. 그러나 '입술 떨림'의 경우, 입술부위는 중심점추적기법(82.7%/15frame, 99.1%/30frame)의 추적성공률이 상관추적기법(78.7%/15frame, 92.7%/30frame)보다 높다는 것을 보여준다.

In this study we propose to use a facial motion capture technique to track facial motions and expressions effectively by using the stereo vision module, which has two CMOS IMAGE SENSORS. In the proposed tracking algorithm, a center point tracking technique and correlation tracking technique, based on neural networks, were used. Experimental results show that the two tracking techniques using stereo vision motion capture are able to track general face expressions at a 95.6% and 99.6% success rate, for 15 frames and 30 frames, respectively. However, the tracking success rates(82.7%,99.1%) of the center point tracking technique was far higher than those(78.7%,92.7%) of the correlation tracking technique, when lips trembled.

키워드

참고문헌

  1. G. Walters, 'The Story of Waldo C. Graphic,'Course Notes:3D Character Animation by Computer, ACM SIGGRAPH '89, Boston, pp.65-79, July 1989
  2. S. Y. Kung, 'Digital Neural Networks', Prentice Hall, pp. 78-85, 1993
  3. D. J. Kreigman, 'Stereo Vision and Navigation in Buildings for Mobile Robots', IEEE Transactions on Robotics and Automation, vol. 5, No. 6, pp. 792-803, 1989 https://doi.org/10.1109/70.88100
  4. R. C. Gonzalez and P. Wintz, Digital Image Processing, Addison-Wesley Publishing com., 1977
  5. A. Baus, 'Active Calibration of Camera : Theory and Implementation', IEEE Transactions on S. M. C., vol. 25, No. 2, 1995
  6. K. S. Park, K. T. Lee, 'Eye-Controlled Human Computer Interface Using The Line-of-Sight and The International Blink', Computers ind. Engng, Vol. 30, No. 3, pp.463-473, 1996 https://doi.org/10.1016/0360-8352(96)00018-6
  7. Y. Do, S. H. Yoo, D. S. Lee, 'Direct Calibration Methodology for Stereo Cameras': Machine Vision Systems for Inspection and Mertology VII, SPIE Conf., vol. 3521, pp.54-65, 1998
  8. 양주웅, '스테레오 비젼을 이용한 이동 물체의 추적에 관한 연구', 연세대학교 대학원, 2000
  9. 이문희, 김경석, '얼굴모션 캡쳐 애니메이션을 위한 추출 및 추적 알고 리즘', 한국방송공학회 논문지, 제8권 제2호, 2003