Journal of KIISE:Software and Applications (한국정보과학회논문지:소프트웨어및응용)

Korean Institute of Information Scientists and Engineers (한국정보과학회)
권호 표지

Emotion Recognition System Using Neural Networks in Textile Images

신경망을 이용한 텍스타일 영상에서의 감성인식 시스템

  • 김나연 (건국대학교 신기술융합학과) ;
  • 신윤희 (건국대학교 신기술융합학과) ;
  • 김수정 (건국대학교 인터넷 미디어공학부) ;
  • 김지인 (건국대학교 신기술융합학과) ;
  • 정갑주 (건국대학교 신기술융합학과) ;
  • 구현진 (FITI 신뢰성평가팀) ;
  • 김은이 (건국대학교 신기술융합학과)
  • Published : 2007.09.15
Download PDF
⟨ Previous Next ⟩

Abstract

This paper proposes a neural network based approach for automatic human emotion recognition in textile images. To investigate the correlation between the emotion and the pattern, the survey is conducted on 20 peoples, which shows that a emotion is deeply affected by a pattern. Accordingly, a neural network based classifier is used for recognizing the pattern included in textiles. In our system, two schemes are used for describing the pattern; raw-pixel data extraction scheme using auto-regressive method (RDES) and wavelet transformed data extraction scheme (WTDES). To assess the validity of the proposed method, it was applied to recognize the human emotions in 100 textiles, and the results shows that using WTDES guarantees better performance than using RDES. The former produced the accuracy of 71%, while the latter produced the accuracy of 90%. Although there are some differences according to the data extraction scheme, the proposed method shows the accuracy of 80% on average. This result confirmed that our system has the potential to be applied for various application such as textile industry and e-business.

본 논문에서는 신경망을 이용하여 텍스타일 영상으로부터 인간의 감성을 인식할 수 있는 시스템을 제안한다. 자동감성인식 시스템의 구현을 위해 220장의 텍스타일 영상을 수집한 후, 일반인 20명을 대상으로 설문조사를 실시하였다. 이를 통해 텍스타일 영상에서의 패턴과 감성간의 상관관계, 즉 특정 패턴이 사람의 감성에 영향을 준다는 것을 발견하였다. 따라서 본 연구에서는 텍스타일 영상에 포함된 패턴의 인식을 위해 신경망을 이용하였으며, 이때 패턴 정보의 추출을 위해 두 가지 특징 추출 방법을 사용한다. 첫 번째는 auto-regressive method를 이용한 raw-pixel data extraction scheme(RDES)을 사용하는 것이고, 두 번째는 wavelet transformed data extraction scheme(WTDES)을 사용하는 것이다. 제안된 시스템의 유용성을 증명하기 위해서 실제 100장의 텍스타일 영상을 감성을 인식하는데 사용했다. 그 결과 RDES와 WTDES를 사용했을 때 각각 71%와 90%의 인식률로, WTDES를 사용했을 때가 RDES를 사용했을 때보다 더 좋은 성능을 보였다. 데이타 추출방법에 따라 다소 차이가 있었지만 전체적으로 약 81%의 정확도를 보였다. 이러한 실험 결과는 제안된 방법이 감성인식 기반으로 텍스타일 데이타를 검색 할 수 있는 시스템 및 다양한 산업 분야에 응용 가능함을 보여주었다.

Keywords

References

  1. Cowie, R., Douglas-Cowie, E., Tsapatsoulis, N., Votsis, G., Kollias, S., Fellenz, W., and Taylor, J. G., 'Emotion recognition in human-computer interaction,' IEEE Signal Processing magazine, Vol. 18, No. 1, pp. 32-80, Jan. 2001 https://doi.org/10.1109/79.911197
  2. Bjom Schuller, Gerhard Rigoll, and Manfred Lang, 'Emotion recognition in the manual interaction with graphical user interfaces,' IEEE International Conference on Vol. 2, pp. 1215-1218, June 2004
  3. G. Donato, M. S. Bartlett, J. C. Hager, P. Ekman, and T. J. Sejnowski, 'Classifying facial actions,' IEEE Trans. Pattern Anal. Machine Intell., Vol. 21, pp. 974-989, Oct. 1999 https://doi.org/10.1109/34.799905
  4. L. Ma and K. Khorasani, 'Facial Expression Recognition Using Constructive Feedforward Neural Networks,' IEEE Transactions on System, Man, and Cybernetics - part B: Cybernetics, Vol. 34, No. 3, June 2004
  5. Hatice Gunes and Massimo Piccardi, 'Fusing face and body gesture for machine recognition of emotions,' IEEE International Workshop on Robots and Human Interactive Communication, 2005
  6. Aishah Abd Razak,Mohd Hafizuddin Mohd Yusof, Ryoichi Komiya, 'Towards automatic recognition of emotion in speech,' IEEE International Symposium on Signal Processing and Information Technology, 2003
  7. D. Ververidis, and C. Kotropoulos, 'Automatic speech classification to five emotional states based on gender information,' Proceedings of the EUSIPCO2004 Conference, Austria, pp. 341-344, Sept. 2004
  8. Eun Yi Kim, Soo-jeong Kim, Hyun-jin Koo, Karpjoo Jeong, Jee-in Kim, 'Emotion-based Textile Indexing using Colors and Texture,' Lecture Notes in Computer Sciences, Vol. 3613, pp. 1077-1080, 2005
  9. 류형주, 채송아, 김수정, 김은이, 김지인, 정갑주, 구현진, '퍼지시스템을 이용한 텍스타일 인덱싱', 한국정보과학회 가을 학술발표논문집, Vol. 31, No. 2, 2004
  10. T. Soen, T. Shimada, and M. Akita, 'Obgective Evaluation of Color Design II', Color Res. Appl., Vol. 12, pp. 187-194, 1987 https://doi.org/10.1002/col.5080120406
  11. Fu-Chiang Tsui, Mingui Sun, Ching-Chung Li, Robert J. Sclabassi, 'RECURRENT NEURAL NETWORKS AND DISCRETE WAVELET TRANSFORM FOR TIME SERIES MODELING AND PREDICTION', ICASSP International Conference on Vol. 5, pp. 3359-3362, May 1995
  12. Em Yi Kim, Sin Kuk Kang, Keechul Jung and Hang Joon Kim, 'Eye Mouse- Mouse Implementation using Eye Tracking,' IEEE International Conference on Consumer Electronis, pp. 207-208, 2005
  13. 종현, 박순영, 조완현, 오일석, '색상특징과 웨이블렛 기반의 질감특징을 이용한 영상검색', 정보과학회 논문지 : 데이타베이스 제 30권 제 2호(2003.4)
  14. Huiping Li, David Doermann, and Omid Kia, 'Automatic Text Detection and Tracking in Digital Video', IEEE Transactions on Image Processing, Vol. 9, No. 1, January 2000
  15. Simon Haykin, Neural Networks a comprehensive foundation 2nd edition, Prentice Hall, pp. 10-13, pp. 156-173, 1999
  16. H.-U. Bauer and T. Geisel, 'Dynamics of signal processing in feedback multilayer perceptrons,' in Proc. Int. Joint Conf. Neural Networks, pp. 131-136, 1990
  17. M. Brown, P. C. An, C. J. Harris, and H. Wang, 'How biased is your multi-layer perceptron?,' in World Congr. Neural Networks, pp. 507-511, 1993
  18. K.U. Barthel, JSchiittemeyer, T.Voye, and P.Noll, 'A new image coding technique unifying fractal and transform coding,' IEEE ICIP Texas, pp. 112-116, 1994
  19. Eun Yi Kim; Sin Kuk Kang; Keechul Jung; Hang Joon Kim; Consumer Electronics, 2005. ICCE. 2005 Digest of Technical Papers. International Conference on 8-12 Jan. 2005 Page(s):207-208