• 제목/요약/키워드: Music representation learning

검색결과 5건 처리시간 0.017초

분리된 보컬을 활용한 음색기반 음악 특성 탐색 연구 (Investigation of Timbre-related Music Feature Learning using Separated Vocal Signals)

  • 이승진
    • 방송공학회논문지
    • /
    • 제24권6호
    • /
    • pp.1024-1034
    • /
    • 2019
  • 음악에 대한 선호도는 다양한 요소들에 의해 결정되며, 추천의 이유를 보여주는 특성을 발굴하는 것은 음악 추천에 있어 중요하다. 본 논문은 가수 인식 작업을 통해 학습한 모델을 활용하여 다양한 음악적 특성을 반영하는 요소들 중 가수의 목소리 특성을 추출하는 방법을 제안한다. 배경음이 포함된 음원 역시 활용할 수 있지만, 음원에 포함된 배경음은 네트워크가 가수의 목소리를 온전하게 인식하는 것을 방해할 수 있다. 이를 해결하기 위해 본 연구에서는 음원 분리를 통해 배경음을 분리하는 사전 작업을 수행하고자 하며, SiSEC에 등장해 검증된 모델 구조를 활용하여 분리된 보컬로 이루어진 데이터 세트를 생성한다. 최종적으로 분리된 보컬을 활용하여 아티스트의 목소리를 반영하는 음색 기반 음악 특성을 발굴하고자 하며, 배경음이 분리되지 않은 음원을 활용한 기존 방법과의 비교를 통해 음원 분리의 효과를 알아보고자 한다.

Attention-based CNN-BiGRU for Bengali Music Emotion Classification

  • Subhasish Ghosh;Omar Faruk Riad
    • International Journal of Computer Science & Network Security
    • /
    • 제23권9호
    • /
    • pp.47-54
    • /
    • 2023
  • For Bengali music emotion classification, deep learning models, particularly CNN and RNN are frequently used. But previous researches had the flaws of low accuracy and overfitting problem. In this research, attention-based Conv1D and BiGRU model is designed for music emotion classification and comparative experimentation shows that the proposed model is classifying emotions more accurate. We have proposed a Conv1D and Bi-GRU with the attention-based model for emotion classification of our Bengali music dataset. The model integrates attention-based. Wav preprocessing makes use of MFCCs. To reduce the dimensionality of the feature space, contextual features were extracted from two Conv1D layers. In order to solve the overfitting problems, dropouts are utilized. Two bidirectional GRUs networks are used to update previous and future emotion representation of the output from the Conv1D layers. Two BiGRU layers are conntected to an attention mechanism to give various MFCC feature vectors more attention. Moreover, the attention mechanism has increased the accuracy of the proposed classification model. The vector is finally classified into four emotion classes: Angry, Happy, Relax, Sad; using a dense, fully connected layer with softmax activation. The proposed Conv1D+BiGRU+Attention model is efficient at classifying emotions in the Bengali music dataset than baseline methods. For our Bengali music dataset, the performance of our proposed model is 95%.

순차적 추천에서의 RNN, CNN 및 GAN 모델 비교 연구 (A Comparison Study of RNN, CNN, and GAN Models in Sequential Recommendation)

  • 윤지형;정재원;장백철
    • 인터넷정보학회논문지
    • /
    • 제23권4호
    • /
    • pp.21-33
    • /
    • 2022
  • 최근 추천 시스템은 영화, 음악, 온라인 쇼핑 및 SNS 등 다양한 분야들에서 광범위하게 활용되고 있으며, 추천 시스템 분야에서 1세대 모델이라고 할수 있는 Apriori 모델을 통한 연관분석부터 최근 많은 주목을 받는 딥러닝 기반 모델들까지 많은 모델들이 제안되어왔다. 추천 시스템에서 기본 모델들은 협업 필터링(Collaborative filtering) 방법, 콘텐츠 기반 필터링(Content-based filtering) 방법, 그리고 이 두 방법을 통합적으로 사용하는 하이브리드 필터링(Hybrid filtering) 방법으로 분류될 수 있다. 하지만 이러한 모델들은 최근 점점 빠르게 변화하는 사용자-아이템 간의 상호관계와 빅데이터의 발전과 같은 내외 변화 요인들에 적응하지 못하면서 점점 분야 내 방법론으로써의 지위를 잃어가고 있다. 반면, 추천 시스템 내에서 딥러닝 기반 모델들은 비선형 변환, 표현학습, 순차적 모델링, 그리고 유연성과 같은 장점들 때문에 그 비중이 높아지고 있는 추세이다. 본 논문에서는 딥러닝 기반 추천 모델들 중에서도 사용자-아이템 간의 상호작용에 대해 보다 정확하고, 유연성 있게 분석이 가능한 순차적 모델링에 적합한 순환 신경망, 합성곱 신경망, 그리고 생성적 적대 신경망 중심 기반 모델로 분류하여 비교 및 분석한다.

이종 데이터 간 관계 모델링을 통한 개인화 추천 시스템의 지식 그래프 확장 기법 (Extended Knowledge Graph using Relation Modeling between Heterogeneous Data for Personalized Recommender Systems)

  • 이승주;안석호;이의종;서영덕
    • 스마트미디어저널
    • /
    • 제12권4호
    • /
    • pp.27-40
    • /
    • 2023
  • 많은 추천 시스템 연구에서는 다양한 이종 데이터를 상호 호환적으로 통합하여 추천 시스템의 고질적인 데이터 부족 문제를 해결하고자 한다. 하지만, 지식 그래프를 활용하여 이종 데이터의 통합을 달성한 추천 시스템 연구는 거의 없으며, 대부분 연구에서는 기구축된 지식 그래프 상의 개체 간 연결이 명시적 관계로만 구성되어있다는 한계가 존재한다. 본 논문에서는 이종 데이터의 통합을 위해 다중 지식 베이스로부터 추출한 데이터 간 관계 모델링을 수행하고, 이를 통해 지식 그래프를 확장하는 방법을 제안한다. 또한, 딥러닝 기반의 잠재적 관계 모델링을 통해 지식 그래프 상 개체 간 관계 정보의 신뢰성을 높이고자 한다. 본 논문에서 제안하는 확장된 지식 그래프를 사용하면 개체의 특성 벡터 품질이 개선되고, 최종적으로 예측된 사용자 선호도의 정확성을 높일 수 있다. 또한, 실험을 통해 확장된 지식 그래프 기반 추천 정확도가 기존 지식 그래프 기반 추천 정확도에 비해 향상되었음을 확인하였다.

네트워크 분석을 활용한 딥러닝 기반 전공과목 추천 시스템 (Major Class Recommendation System based on Deep learning using Network Analysis)

  • 이재규;박희성;김우주
    • 지능정보연구
    • /
    • 제27권3호
    • /
    • pp.95-112
    • /
    • 2021
  • 대학 교육에 있어서 전공과목의 선택은 학생들의 진로에 중요한 역할을 한다. 하지만, 산업의 변화에 발맞춰 대학 교육도 학과별 전공과목의 분야가 다양해지고 그 수가 많아지고 있다. 이에 학생들은 본인의 진로에 맞게 수업을 선택하여 수강하는 것에 어려움을 겪고 있다. 본 연구는 대학 전공과목 추천 모델을 제시함으로써 개인 맞춤형 교육을 실현하고 학생들의 교육만족도를 제고하고자 한다. 모델 연구에는 대학교 학부생들의 2015년~2017년 수강 이력 데이터를 활용하였으며, 메타데이터로는 학생과 수업의 전공 명을 사용했다. 수강 이력 데이터는 컨텐츠 소비 여부만을 나타낸 암시적 피드백 데이터로, 수업에 대한 선호도를 반영한 것이 아니다. 따라서 학생과 수업의 특성을 나타내는 임베딩 벡터를 도출했을 시, 표현력이 낮다. 본 연구는 이러한 문제점에 착안하여, 네트워크 분석을 통해 학생, 수업의 벡터를 생성하고 이를 모델의 입력 값으로 활용하는 Net-NeuMF 모델을 제시한다. 모델은 암시적 피드백을 가진 데이터를 이용한 대표적인 모델인 원핫 벡터를 이용하는 NeuMF의 구조를 기반으로 하였다. 모델의 입력 벡터는 네트워크 분석을 통해 학생과 수업의 특성을 나타낼 수 있도록 생성하였다. 학생을 표현하는 벡터를 생성하기 위해, 각 학생을 노드로 설정하고 엣지는 두 학생이 같은 수업을 수강한 경우 가중치를 가지고 연결되도록 설계했다. 마찬가지로 수업을 표현하는 벡터를 생성하기 위해 각 수업을 노드로 설정하고 엣지는 공통으로 수강한 학생이 있는 경우 연결시켰다. 이에 각 노드의 특성을 수치화 하는 표현 학습방법론인 Node2Vec을 이용하였다. 모델의 평가를 위해 추천 시스템에서 주로 활용하는 지표 4가지를 사용하였고, 임베딩 차원이 모델에 미치는 영향을 분석하기 위해 3가지 다른 차원에 대한 실험을 진행하였다. 그 결과 기존 NeuMF 구조에서 원-핫 벡터를 이용하였을 때보다 차원과 관계없이 평가지표에서 좋은 성능을 보였다. 이에 본 연구는 학생(사용자)와 수업(아이템)의 네트워크를 이용해 기존 원-핫 임베딩 보다 표현력을 높였다는 점, 모델을 구성하는 각 구조의 특성에 맞도록 임베딩 벡터를 활용하였다는 점, 그리고 기존의 방법론에 비해 다양한 종류의 평가지표에서 좋은 성능을 보였다는 점을 기여점으로 가지고 있다.