• The Journal of the Acoustical Society of Korea
• /
• v.41 no.2
• /
• pp.115-121
• /
• 2022

In this paper, we propose a music classification system according to user emotions using Electroencephalogram (EEG) features that appear when listening to music. In the proposed system, the relationship between the emotional EEG features extracted from EEG signals and the auditory features extracted from music signals is learned through a deep regression neural network. The proposed system based on the regression model automatically generates EEG features mapped to the auditory characteristics of the input music, and automatically classifies music by applying these features to an attention-based deep neural network. The experimental results suggest the music classification accuracy of the proposed automatic music classification framework.

• Journal of IKEEE
• /
• v.13 no.2
• /
• pp.159-166
• /
• 2009

So far, many researches have been done to retrieve music information using static classification descriptors such as genre and mood. Since static classification descriptors are based on diverse content-based musical features, they are effective in retrieving similar music in terms of such features. However, human emotion or mood transition triggered by music enables more effective and sophisticated query in music retrieval. So far, few works have been done to evaluate the effect of human mood transition by music. Using formal representation of such mood transitions, we can provide personalized service more effectively in the new applications such as music recommendation. In this paper, we first propose our Emotion State Transition Model (ESTM) for describing human mood transition by music and then describe a music classification and recommendation scheme based on the ESTM. In the experiment, diverse content-based features were extracted from music clips, dimensionally reduced by NMF (Non-negative Matrix Factorization, and classified by SVM (Support Vector Machine). In the performance analysis, we achieved average accuracy 67.54% and maximum accuracy 87.78%.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2008.06a
• /
• pp.343-350
• /
• 2008

사람들은 다양한 매체를 통하여 음악을 청취하고 있으며, 느낌별, 장르별, 연령별, 날씨별, 시간별, 장소별, 상황별, 직업별, 악기별, 템포별 등으로 다양한 분류 방법으로 음악을 제공받고 있다. 이는 음악을 분류하는 방법들이 음악 자체에 대한 분석이나 음악을 듣는 환경에 대한 분류로만 제공되고 있기 때문이다. 같은 상황, 환경이라도 개인에 따라서 같은 음악을 듣더라도 다른 감정의 상태를 나타내기 때문에, 개인을 고려한 분류 방법이 요구된다. 본 논문에서는 인간의 성격을 통해 감정의 표현 방식에 차이가 있다는 면을 초점으로 접근하였다. 감정이 미치는 심전도에 미치는 영향과 음악이 신체와 감정에 미치는 영향들을 통해 심전도를 이용하여 개인의 성향에 따른 음원자극에 대한 반응 차이를 통해 개인의 성향이 반영된 분류 방법을 제시하고자 했다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2015.04a
• /
• pp.941-944
• /
• 2015

저장 장치의 급속한 발전으로 인해 기존에 서비스할 수 없었던 개인 사용자를 위한 클라우드 서비스가 활성화되고 있다. 이 중 음악을 대상으로 하는 스트리밍 및 공유 서비스는 다양한 음악의 종류를 수용하기 위해 체계적인 분류를 필요로 한다. 기존의 분류체계는 단순히 작곡가나 업로더의 의견에 의해서 일방적으로 정해지기 때문에 사용자가 중심이 되는 클라우드 서비스에는 어울리지 않는다. 따라서 본 논문은 이와 같은 문제점을 해결하기 위해 사랑의 감정을 기준으로 새로운 분류체계를 제안한다. 자동적인 분류를 위해 데이터마이닝 기법을 접목시켰으며, 원활한 마이닝을 위해 오디오 음악 파일(raw data)을 정해진 크기로 자르고 feature extraction을 통해 오디오 음악 파일에 대한 전처리를 수행하였다. 이후 feature selection을 수행하기 위해 clustering을 이용해 유효한 중요도를 지나는 feature를 선별하였으며 선별된 feature를 토대로 SVN(Support Vector Machine)을 이용해 feature의 중요도에 대한 유효성을 검증함과 동시에 분류를 수행하여 감정을 기반으로 분류한 결과를 보였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2021.11a
• /
• pp.834-836
• /
• 2021

멀티모달 감정인식을 통해 사람의 감정을 정확하게 분류하고, 사람의 감정에 어울리는 음악을 매칭하는 시스템을 설계한다. 멀티모달 감정 인식 방법으로는 IEMOCAP(Interactive Emotional Dyadic Motion Capture) 데이터셋을 활용해 감정을 분류하고, 분류된 감정의 분위기에 맞는 음악을 매칭시키는 시스템을 구축하고자 한다. 유니모달 대비 멀티모달 감정인식의 정확도를 개선한 시스템을 통해 텍스트, 음성, 표정을 포함하고 있는 동영상의 감성 분위기에 적합한 음악 매칭 시스템을 연구한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2019.01a
• /
• pp.243-246
• /
• 2019

본 논문에서는 감성과 힐링, 머신러닝이라는 주제를 바탕으로 딥러닝을 통한 사용자의 얼굴표정을 인식하고 그 얼굴표정을 기반으로 음악을 재생해주는 얼굴표정 기반의 음악재생 프로그램을 제안한다. 얼굴표정 기반 음악재생 프로그램은 딥러닝 기반의 음악 프로그램으로써, 이미지 인식 분야에서 뛰어난 성능을 보여주고 있는 CNN 모델을 기반으로 얼굴의 표정을 인식할 수 있도록 데이터 학습을 진행하였고, 학습된 모델을 이용하여 웹캠으로부터 사용자의 얼굴표정을 인식하는 것을 통해 사용자의 감정을 추측해낸다. 그 후, 해당 감정에 맞게 감정을 더 증폭시켜줄 수 있도록, 감정과 매칭되는 노래를 재생해주고, 이를 통해, 사용자의 감정이 힐링 및 완화될 수 있도록 도움을 준다.

• The Journal of the Acoustical Society of Korea
• /
• v.34 no.3
• /
• pp.247-255
• /
• 2015

This paper presents a study on the performance of the music search based on the automatically recognized music-emotion labels. As in the other media data, such as speech, image, and video, a song can evoke certain emotions to the listeners. When people look for songs to listen, the emotions, evoked by songs, could be important points to consider. However; very little study has been done on the performance of the music-emotion labels to the music search. In this paper, we utilize the three axes of human music perception (valence, activity, tension) and the five basic emotion labels (happiness, sadness, tenderness, anger, fear) in measuring music similarity for music search. Experiments were conducted on both genre and singer datasets. The search accuracy of the proposed emotion-based music search was up to 75 % of that of the conventional feature-based music search. By combining the proposed emotion-based method with the feature-based method, we achieved up to 14 % improvement of search accuracy.

• Proceedings of the Korean Information Science Society Conference
• /
• 2011.06a
• /
• pp.259-262
• /
• 2011

최근 들어 소리의 세기나 하모니, 템포, 리듬 등의 다양한 음악 신호 특성을 기반으로 한 음악 무드 분류에 대한 연구가 활발하게 진행되고 있다. 본 논문에서는 음악 무드 분류의 정확도를 높이기 위하여 음악 신호 특성과 더불어 노래 가사와 소셜 네트워크 상에서의 사용자 평가 등을 함께 고려하는 멀티 모달 음악 무드 분류 기법을 제안한다. 이를 위해, 우선 음악 신호 특성에 대해 퍼지 추론 기반의 음악 무드 추출 기법을 적용하여 다수의 가능한 음악 무드를 추출한다. 다음으로 음악 가사에 대해 TF-IDF 기법을 적용하여 대표 감정 키워드를 추출하고 학습시킨 가사 무드 분류기를 사용하여 가사 음악 무드를 추출한다. 마지막으로 소셜 네트워크 상에서의 사용자 태그 등 사용자 피드백을 통한 음악 무드를 추출한다. 특정 음악에 대해 이러한 다양한 경로를 통한 음악 무드를 교차 분석하여 최종적으로 음악 무드를 결정한다. 음악 분류를 기반한 자동 음악 추천을 수행하는 사용자 만족도 평가 실험을 통해서 제안하는 기법의 효율성을 검증한다.

• The Journal of the Korea Contents Association
• /
• v.21 no.6
• /
• pp.104-112
• /
• 2021

In this study, emotional analysis was conducted based on the basic attribute data of music and the emotional model in psychology, and the result was applied to the visualization rules in the formative arts. In the existing studies using musical parameter, there were many cases with more practical purposes to classify, search, and recommend music for people. In this study, the focus was on enabling sound data to be used as a material for creating artworks and used for aesthetic expression. In order to study the music visualization as an art form, a method that can include human emotions should be designed, which is the characteristics of the arts itself. Therefore, a well-structured basic classification of musical attributes and a classification system on emotions were provided. Also, through the shape, color, and animation of the visual elements, the visualization of the musical elements was performed by reflecting the subdivided input parameters based on emotions. This study can be used as basic data for artists who explore a field of music visualization, and the analysis method and work results for matching emotion-based music components and visualizations will be the basis for automated visualization by artificial intelligence in the future.

• Journal of Internet Computing and Services
• /
• v.16 no.6
• /
• pp.133-141
• /
• 2015

Mass multimedia contents are shared through various social media servies including social network service. As social network reveals user's current situation and interest, highly satisfactory personalized recommendation can be made when such features are applied to the recommendation system. In addition, classifying the music by emotion and using analyzed information about user's recent emotion or current situation by analyzing user's social network, it will be useful upon recommending music to the user. In this paper, we propose a music recommendation method that makes an emotion model to classify the music, classifies the music according to the emotion model, and extracts user's current emotional state represented on the social network to recommend music, and evaluates the validity of our method through experiments.