DOI QR코드

DOI QR Code

Development of Driver's Emotion and Attention Recognition System using Multi-modal Sensor Fusion Algorithm

다중 센서 융합 알고리즘을 이용한 운전자의 감정 및 주의력 인식 기술 개발

  • 한철훈 (중앙대학교 전자전기공학부) ;
  • 심귀보 (중앙대학교 전자전기공학부)
  • Published : 2008.12.25

Abstract

As the automobile industry and technologies are developed, driver's tend to more concern about service matters than mechanical matters. For this reason, interests about recognition of human knowledge and emotion to make safe and convenient driving environment for driver are increasing more and more. recognition of human knowledge and emotion are emotion engineering technology which has been studied since the late 1980s to provide people with human-friendly services. Emotion engineering technology analyzes people's emotion through their faces, voices and gestures, so if we use this technology for automobile, we can supply drivels with various kinds of service for each driver's situation and help them drive safely. Furthermore, we can prevent accidents which are caused by careless driving or dozing off while driving by recognizing driver's gestures. the purpose of this paper is to develop a system which can recognize states of driver's emotion and attention for safe driving. First of all, we detect a signals of driver's emotion by using bio-motion signals, sleepiness and attention, and then we build several types of databases. by analyzing this databases, we find some special features about drivers' emotion, sleepiness and attention, and fuse the results through Multi-Modal method so that it is possible to develop the system.

최근 자동차 산업 및 기술이 발전함에 따라 기계적인 부분에서 서비스적인 부분으로 관심이 점점 바뀌고 있는 추세이다. 이와 같은 추세에 발맞추어 운전자에게 보다 안정적이며 편리한 운전 환경을 조성하기 위한 방법으로 감정 및 인지 인식에 대한 관심이 점점 높아지고 있다. 감정 및 주의력을 인식하는 것은 감정공학 기술로서 이 기술은 1980년대 후반부터 얼굴, 음성, 제스처를 통해 인간의 감정을 분석하고 이를 통해 인간 진화적인 서비스를 제공하기 위한 기술로 연구되어 왔다. 이와 같은 기술을 자동차 기술에 접목시키고 운전자의 안정적인 주행을 돕고 운전자의 감정 및 인지 상황에 따른 다양한 서비스를 제공할 수 있다. 또한 Real-Time으로 운전자의 제스처를 인식하여 졸음운전이나 부주의에 의한 사고를 사전에 예방하고 보다 안전한 운전을 돕는 서비스가 필요시 되고 있다. 본 논문은 운전자가 안전 운전을 하기 위해 생체-행동 신호를 이용하여 감정 및 졸음, 주의력의 신호를 추출하여 일정한 형태의 데이터베이스로 구축하고, 구축된 데이터를 이용하여 운전자의 감정 및 졸음, 주의력의 특징 점들을 검출하여, 그 결과 값을 Multi-Modal 방법을 통해 응합함으로써 운전자의 감정 및 주의력 상태를 인식할 수 있는 시스템을 개발하는데 목표를 두고 있다.

Keywords

References

  1. 강동주, '교통사고 유형별 사고발생 특성 및 요인분석,' 한양대석사논문, 1994
  2. Lee C.M., Narayanan S.S. and Pieraccini. R., 'Classifying emotions in human - machine spoken dialogs', ICME'02, vol. 1, pp. 737-740, 2002
  3. New T.L., Wei F.S. and De Silva L.C., 'Speech based emotion classification', TENCON 2001, vol. 1, pp. 297-301, 2001
  4. J. Nicholson and K. Takahashi, R. Nakatsu, 'Emotion recognition in speech using neural networks' Proc. of ICONIP, Vol. 2, 1996
  5. D. Silval and P. C. Nag, 'Bimodal emotion recognition', Proc. of Fourth IEEE International Conference on Automatic Face and Gesture Recognition 2000, pp. 332-335, 2000
  6. C. H. Park and K. B. Sim, 'Pattern Recognition Methods for Emotion Recognition with speech signal', International Journal of Fuzzy Logic and Intelligent Systems', vol. 6, no. 2, pp. 150-154, 2006 https://doi.org/10.5391/IJFIS.2006.6.2.150
  7. Ho-Duck Kim, Hyun-Chang Yang, Chang-Hyun Park, and Kwee-Bo Sim, 'Emotion Recognition Method of Facial Image using PCA ', Journal of Korea Fuzzy Logic and Intelligent Systems Society(KFIS), vol.16, no.6, pp. 772-776, Dec. 2006 https://doi.org/10.5391/JKIIS.2006.16.6.772
  8. J. Yang and A. Waibel, 'A real-time face tracker,' Proc. of Third Workshop on Applications of Computer Vision, pp. 142-147, 1996
  9. P.Viola, M.J.Jones, 'Robust Real-Time Face Detection,' International Journal of Computer Vision, Vol.57, No.2, pp. 137-154, 2004 https://doi.org/10.1023/B:VISI.0000013087.49260.fb
  10. R. Schapire and Y. Singer. 'Improving boosting algorithms using confidence-rated predictions,' 1999
  11. Y. Freund and R. Schapire, 'Experiments with a New Boosting Algorithm', Proc. of ICML -96, pp. 148-156, 1996

Cited by

  1. Comfort Control Algorithm Development of Car Air Conditioner using Thermal Comfort Evaluation of Driver : Part I - Air-conditioning Operating Preference of Driver vol.26, pp.6, 2014, https://doi.org/10.6110/KJACR.2014.26.6.294