KIPS Transactions on Software and Data Engineering (정보처리학회논문지:소프트웨어 및 데이터공학)

Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

Multiple Regression-Based Music Emotion Classification Technique

다중 회귀 기반의 음악 감성 분류 기법

  • 이동현 (영남대학교 컴퓨터공학과) ;
  • 박정욱 (영남대학교 컴퓨터공학과) ;
  • 서영석 (영남대학교 컴퓨터공학과)
  • Received : 2018.01.12
  • Accepted : 2018.02.05
  • Published : 2018.06.30
Download PDF
⟨ Previous Next ⟩

Abstract

Many new technologies are studied with the arrival of the 4th industrial revolution. In particular, emotional intelligence is one of the popular issues. Researchers are focused on emotional analysis studies for music services, based on artificial intelligence and pattern recognition. However, they do not consider how we recommend proper music according to the specific emotion of the user. This is the practical issue for music-related IoT applications. Thus, in this paper, we propose an probability-based music emotion classification technique that makes it possible to classify music with high precision based on the range of emotion, when developing music related services. For user emotion recognition, one of the popular emotional model, Russell model, is referenced. For the features of music, the average amplitude, peak-average, the number of wavelength, average wavelength, and beats per minute were extracted. Multiple regressions were derived using regression analysis based on the collected data, and probability-based emotion classification was carried out. In our 2 different experiments, the emotion matching rate shows 70.94% and 86.21% by the proposed technique, and 66.83% and 76.85% by the survey participants. From the experiment, the proposed technique generates improved results for music classification.

4차 산업혁명 시대가 도래하면서 기존 IoT에 감성지능이 포함된 신기술들이 연구되고 있다. 그 중 현재까지 다양하게 진행된 음악 서비스 제공을 위한 감성 분석 연구에서는 인공지능, 패턴인식 등을 활용한 사용자의 감성 인식 및 분류 등에만 초점을 맞추고 있는 상황이나, 사용자의 특정 감성에 해당하는 음악들을 어떻게 자동적으로 분류할지에 대한 감성별 음악 분류기법들에 대한 연구는 매우 부족한 상황이다. 본 연구에서는 최근 각광을 받고 있는 사람들의 감성과 관련된 음악관련 서비스를 개발할 시, 음악을 감성 범위에 따라 높은 정확도로 분류할 수 있도록 하는 감성 기반 자동 음악 분류기법을 제안한다. 데이터수집 시 Russell 모델을 바탕으로 설문조사를 하였으며, 음악의 특성으로 평균파장크기(Average amplitude), peak평균(Peak-average), 파장 수(The number of wavelength), 평균파장 길이(Average wavelength), BPM(Beats per minute)을 추출하였다. 해당 데이터들을 바탕으로 회귀 분석을 이용하여 다중회귀식을 도출하였으며, 각 감성에 대한 표준 수치들을 도출하여 새로운 음악 데이터와 해당 각 감성에 대한 표준 수치들과의 거리 비교를 통해 음악의 감성을 분류시키는 작업을 실시하였다. 이를 통해 나온 결과에 회귀분석을 통하여 나온 데이터를 대입하여 해당 데이터와 각 감성들의 비율을 통해 최종적으로 판단된 감성을 추출하였다. 본 연구에서 실험한 감성 일치율의 2가지 방식에 대해서 제안한 기법의 경우 70.94%, 86.21%의 일치율이 나왔고, 설문참가자들의 경우 66.83%, 76.85%의 일치율이 나옴으로써, 연구 기법을 통한 감성의 판단이 설문참가자들의 평균적인 판단보다 4.11%, 9.36%의 향상된 수치를 제공함을 알 수 있었다.

Keywords

References

  1. Rolfe Winkler, Biography, Daisuke Wakabayashi, and Elizabeth Dwoskin, Apple Buys Artificial-Intelligence Startup Emotient [Internet], https://www.wsj.com/articles/apple-buysartificial-intelligence-startup-emotient-1452188715.
  2. Hannah Jane Parkinson, Happy? Sad? Forget age, Microsoft can now guess your emotions [Internet], https://www.theguardian.com/technology/2015/nov/11/microsoft-guess-your-emotions-facial-recognition-software.
  3. Matt Clinch, Streaming has now taken over the music industry and A.I. will push it into the stratosphere [Internet], https://www.cnbc.com/2017/04/04/google-home-streamingalexa-apple-music-spotify.html.
  4. Yu Jeong Song, Su Yeon Kang , Sun Young Ihm, and Young Ho Park, "Multimedia Processing: An Implementation of a Classification and Recommendation Method for a Music Player Using Customized Emotion," KIPS Transactions on Software and Data Engineering, Vol.4, No.4, pp.195-200, 2015. https://doi.org/10.3745/KTSDE.2015.4.4.195
  5. ReportLinker, How Music Streaming Services Are Using AI to Revolutionize the Listening Experience [Internet], https://www.reportlinker.com/insight/music-streaming-services-using-ai-revolutionize-listening-experience.html.
  6. J. A. Russell, "A Circumplex Model of Affect," Journal of Personality and Social Psychology, Vol.39, No.6, pp.1161-1178, 1980. https://doi.org/10.1037/h0077714
  7. R. E. Thayer, "The Biopsychology of Mood and Arousal," Oxford University Press, 1989.
  8. Donglim Kim, Lim Bin, and Younghwan Lim, "Music Emotion Control Algorithm based on Sound Emotion Tree," Journal of the Korea Contents Association, Vol.15, No.3, pp.21-31, 2015. https://doi.org/10.5392/JKCA.2015.15.03.021
  9. Auke Tellegen, David Watson, and Lee Anna Clark, "On the dimensional and hierarchical structure of affect," Psychological Science, Vol.10, No.4, pp.297-303, 1999. https://doi.org/10.1111/1467-9280.00157
  10. Emil Ian V. Ascalon and Rafael Cabredo, "Lyric-Based Music Mood Recognition," in Proceedings of the DLSU Research Congress, 2015, pp.1-8.
  11. Wikipedia, tf-idf [Internet], https://en.wikipedia.org/wiki/Tf%E2%80%93idf.
  12. H. Sayyadi and L. Raschid, "A Graph Analytical Approach for Topic Detection," ACM Transactions on Internet Technology, Vol.13, No.2, pp.1-23, 2013.
  13. D. Patel and K. Trivedi, "Research of Music classification based on mood recognition," International Education and Research Journal, Vol.3, No.5, pp.544-555, 2017.
  14. Peter Backx, Easy BPM Calculation in Java [Internet], http://www.streamhead.com/easy-bpm-calculation-in-java/.
  15. The R Project for Statistical Computing [Internet], https://www.r-project.org/.
  16. Cool Edit Pro [Internet], https://www.adobe.com/special/products/audition/syntrillium.html.