KIPS Transactions on Software and Data Engineering (정보처리학회논문지:소프트웨어 및 데이터공학)

Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

Integrated Verbal and Nonverbal Sentiment Analysis System for Evaluating Reliability of Video Contents

영상 콘텐츠의 신뢰도 평가를 위한 언어와 비언어 통합 감성 분석 시스템

  • 신희원 (서울대학교 컴퓨터공학부) ;
  • 이소정 (숙명여자대학교 소프트웨어학부) ;
  • 손규진 (숙명여자대학교 소프트웨어학부) ;
  • 김혜린 (숙명여자대학교 소프트웨어학부) ;
  • 김윤희 (숙명여자대학교 소프트웨어학부)
  • Received : 2020.12.16
  • Accepted : 2021.01.26
  • Published : 2021.04.30
Download PDF
⟨ Previous Next ⟩

Abstract

With the advent of the "age of video" due to the simplification of video content production and the convenience of broadcasting channel operation, review videos on various products are drawing attention. We proposes RASIA, an integrated reliability analysis system based on verbal and nonverbal sentiment analysis of review videos. RASIA extracts and quantifies each emotional value obtained through language sentiment analysis and facial analysis of the reviewer in the video. Subsequently, we conduct an integrated reliability analysis of standardized verbal and nonverbal sentimental values. RASIA provide an new objective indicator to evaluate the reliability of the review video.

IT 기술 발달에 따른 영상 콘텐츠 생산과 소비가 증가함에 따라 영상 콘텐츠를 통한 제품 리뷰 정보로 구매의사 결정이 빈번해졌다. 따라서, 리뷰 영상에 대한 신뢰성을 평가할 필요가 있다. 본 연구에서는 제품 리뷰 영상을 얼굴 표정 분석과 텍스트 마이닝을 통해 리뷰어의 표정과 음성을 분석하여 영상의 신뢰도를 분석한다. 영상 내 인물 표정의 감성 값을 추출하는 알고리즘을 활용하여 비언어 감성을 정량화하고, 유의미한 감정 변화 구간을 추출한다. 유의미한 감정 변화 구간의 리뷰어 음성을 텍스트화하여 표준어 및 비표준어 감성 사전 활용을 통해 긍정과 부정으로 리뷰에 대한 언어 감성 분석 후 수치화 한다. 비언어 감성 분석과 언어 감성 분석의 결과를 통합하여 일치 여부에 따라 신뢰도를 도출한다. 본 연구를 통해 영상 콘텐츠의 신뢰성 평가 방법을 제시한다.

Keywords

Acknowledgement

이 논문은 2021년도 정부재원(과학기술정보통신부 여대학원생 공학연구팀제 지원 사업)으로 과학기술정보통신부와 한국여성과학기술인지원센터의 지원을 받아 연구되었습니다.

References

  1. K. Ahn, C. Yoo, and S. Park, "A study of the influence of online word-of-mouth on the customer purchase intention," Asia Marketing Journal, Vol.13, pp.209-231, 2011. (in Korean)
  2. B. Kim, S. Ryu, H. Oh, Y. Jeong, S. Kim, and Y. Kim, "A design of a sentiment analysis system using data similarity among SNS Big Data," Proceedings of the Korean Institute of Information Scientists And Engineers Korea Computer Congress 2019, pp.1581-1583, 2019. (in Korean)
  3. P. Ekman and W. V. Friesen, "Detecting deception from the body or face," Journal of Personality and Social Psychology, Vol.29, No.3, pp.288-298, 1974. https://doi.org/10.1037/h0036006
  4. P. Ekman, "Lie catching and micro expressions," In Martin, C.(Ed.), The Philosophy of Deception. New York, NY: Oxford University Press, pp.118-133, 2009
  5. Y. Han, J. Jeong, and K. Park, "Effects of consistency criterion for scoring on the reliability and the validity of polygraph test for crime suspects," Science of Emotion & Sensibility, Vol.12, pp.557-564, 2009.
  6. Y. Jeong, B. Kim, S. Ryu, N. Kwon, G. Son, and S. Lee, "A design of sentiment analysis system for video contents with image deep learning," Proceedings of the Korean Institute of Information Scientists And Engineers Korea Software Congress 2019, pp.1239-1241, 2019. (in Korean)
  7. E. Hwan and H. Cha, "A study of emotional dimension for mixed feelings," Journal of Korean Society for Emotion and Sensibility, Vol.16, No.4, pp.469-480, 2013. (in Korean)
  8. M. S. Chang, "Empirical sentiment classification using psychological emotions and social web data," Journal of Korean Institute of Intelligent Systems, Vol.22, No.5, pp.563-569, 2012. https://doi.org/10.5391/JKIIS.2012.22.5.563
  9. Google Cloud Speech-to-Text(STT) API [Internet], https://cloud.google.com/speech-to-text
  10. KOMORAN3.0 [Internet], https://github.com/shineware/KOMORAN
  11. KNU Sentiment Dictionary [Internet], https://github.com/park1200656/KnuSentiLex
  12. Gensim, Word2Vec [Internet], https://radimrehurek.com/gensim/
  13. FaceAPI, Microsoft Azure [Internet], https://www.azure.microsoft.com/en-us/services/cognitive-services/face/
  14. 'GJJB' [Video file], https://youtu.be/_0jft-cboDg
  15. 'SWAN' [Video file], https://youtu.be/PWIbsl7y1Fs
  16. 'nyanji' [Video file], https://youtu.be/LcGfixuPS_M
  17. '윤이든' [Video file], https://youtu.be/xr58PA5UvBM
  18. 'MR' [Video file], https://youtu.be/VutOy7p2p0E
  19. 'IT's okay' [Video file], https://youtu.be/dXmiN4nrGdk
  20. '고나고' [Video file], https://youtu.be/FzMUMaBl6RE
  21. '가윤' [Video file], https://youtu.be/tncxOQPqU14
  22. 'Coco Riley' [Video file], https://youtu.be/I0gQDqJjrjw
  23. '박막례 할머니' [Video file], https://youtu.be/1ZPcqjBvEdo
  24. '뷰드름유튜버인씨' [Video file], https://youtu.be/OSFkENfOuGg
  25. 'EJ' [Video file], https://youtu.be/VWnssUbPnHA
  26. 'ITSub' [Video file], https://youtu.be/GYVvBX0GgoE
  27. 'LiveRex' [Video file], https://youtu.be/BgIXArvIVR0
  28. '만능혁키' [Video file], https://youtu.be/UJ_Kkidu31g
  29. '보겸' [Video file], https://youtu.be/wGxiHzTknZI
  30. '임파' [Video file], https://youtu.be/mqDkhLrNhUk
  31. '아우라M' [Video file], https://youtu.be/YdmX7Nv0Rgc
  32. '채우' [Video file], https://youtu.be/nwBfSIuMU-0
  33. '사리*G*O*' [Video file], https://youtu.be/LEt4zFy2j8M
  34. 'YOOTRUE' [Video file], https://youtu.be/HNgagXthqv4
  35. '포푼젤' [Video file], https://youtu.be/el210nRmMC0
  36. S. Lee, G. Son, H. Shin, H. Kim, S. Gwak, Y. Kim, and Y. Kim. "Effect evaluation on sentiment objects of video content and their corresponding response," Proceedings of the Korean Institute of Information Scientists And Engineers Korea Software Congress 2020, pp.1268-1270, 2020. (in Korean)