• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2013.06a
• /
• pp.34-35
• /
• 2013

본 논문에서는 오디오 피크 검출을 적용한 TV 방송 프로그램내 배경음악 식별 알고리즘을 제안한다. 제안한 알고리즘은 음악 핑거프린트 추출 및 전송부, 음악구간 검출부, 음악 핑거프린트는 고속 매칭 및 정보전송부 세 부분으로 구성되어 있다. 음악 핑거프린트 추출 및 전송부에서는 음악 원음 오디오 데이터를 퓨리에 변환하여 스펙트럼 계수를 추출한다. 추출된 스펙트럼의 성분 중에서 일정한 문턱값 이상의 에너지를 가지는 값을 피크로 검출하고 검출된 피크를 이용하이 핑거프린트를 생성하고 데이터 베이스화한다. 음악구간 검출부에서는 입력된 방송 프로그램 오디오 데이터에 GMM(Gaussian Mixture Model)을 적용하여 음악과 음악 외 오디오 데이터를 분류한다. 음악 핑거프린트 고속 매칭 및 정보전송부에서는 음악구간이라고 인식된 쿼리 오디오 데이터를 음악 핑거프린트 추출 및 전송부와 동일한 과정을 통해 핑거프린트를 생성하고 데이터 베이스화된 음악 원음의 핑거프린트들과 비교하여 가장 유사한 음원의 정보를 TV의 화면에 자막으로 보여준다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2011.06a
• /
• pp.259-262
• /
• 2011

최근 들어 소리의 세기나 하모니, 템포, 리듬 등의 다양한 음악 신호 특성을 기반으로 한 음악 무드 분류에 대한 연구가 활발하게 진행되고 있다. 본 논문에서는 음악 무드 분류의 정확도를 높이기 위하여 음악 신호 특성과 더불어 노래 가사와 소셜 네트워크 상에서의 사용자 평가 등을 함께 고려하는 멀티 모달 음악 무드 분류 기법을 제안한다. 이를 위해, 우선 음악 신호 특성에 대해 퍼지 추론 기반의 음악 무드 추출 기법을 적용하여 다수의 가능한 음악 무드를 추출한다. 다음으로 음악 가사에 대해 TF-IDF 기법을 적용하여 대표 감정 키워드를 추출하고 학습시킨 가사 무드 분류기를 사용하여 가사 음악 무드를 추출한다. 마지막으로 소셜 네트워크 상에서의 사용자 태그 등 사용자 피드백을 통한 음악 무드를 추출한다. 특정 음악에 대해 이러한 다양한 경로를 통한 음악 무드를 교차 분석하여 최종적으로 음악 무드를 결정한다. 음악 분류를 기반한 자동 음악 추천을 수행하는 사용자 만족도 평가 실험을 통해서 제안하는 기법의 효율성을 검증한다.

• Journal of KIISE:Computing Practices and Letters
• /
• v.15 no.12
• /
• pp.923-927
• /
• 2009

The recent growth of a digital music market induces increasing demands for music searching and recommendation services. In order to improve the performance of music-based application services, the process of extracting melodies from polyphonic music is essential. In this paper, we propose a method to extract melodies from piano solo music which is highly polyphonic and has a wide pitch range. We categorize piano music into three classes taking into account the characteristics of music, and extract melodies according to each class. The performance evaluation for the implemented system showed that our method works successfully on a variety of piano solo music.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.616-623
• /
• 2007

본 논문에서는 음악 신호로부터 추출한 비트 정보를 사용하여 가상 캐릭터의 움직임을 제어하는 방법에 대해 논한다. 특히 주기를 가지는 반복적인 동작, 그 중에서도 춤동작에 대한 음악 신호와의 동기화 방법을 제안한다. 서버로 구현된 음악 비트 인식기는 입력 음악 신호에 대한 분석 정보를 규칙적으로 출력한다. 동작 클라이언트는 동작 캡쳐를 통해 얻은 동작 데이터를 여러 개의 기본 동작들로 나누고, 사용자가 선택한 새로운 순서대로 기본 동작들을 연결하여 부드럽게 재생한다. 또한 서버에 접속하여 전송 받은 음악의 템포에 맞게 동작데이터를 와핑(warping)하고 음악의 주요 비트 시각에 맞추어 기본 동작들의 재생시작 시간을 동기화한다. 음원에 의한, 즉 박자, 강약, 비트와 같은 기본적인 정보뿐만 아니라 분위기, 박자 변화와 같은 고급 정보에도 동적으로 반응하여 춤을 추는 가상 캐릭터를 개발하는 것이 본 연구의 궁극적인 목표이다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2011.04a
• /
• pp.441-443
• /
• 2011

본 논문은 오디오 특징 분석을 기반으로 한 음악검색 방법에 대한 기술과 연구에 대한 내용이다. 본 연구에서는 크게 3가지의 주요 알고리즘을 이용하여 다 성음에서의 오디오 특징을 추출하고 3가지의 각자 다른 방식의 매칭 알고리즘을 기반으로 한 퓨전 매칭 방식을 제안한다. 오디오 특징으로는 메인 멜로디, 음악 구조를 분석한 세그먼테이션 정보를 이용한다. 본 연구에서 사용된 음악 DB는 음악 포털 서비스에서 제공하는 장르를 기반으로 한 8가지 장르에서 다양한 범위에서 2000곡을 선곡하였다. 오디오 특징 추출을 위한 알고리즘 개발과 매칭 알고리즘 개발을 위하여 음악 DB 2000곡 중 장르의 비율을 고려하여 100곡을 선정하고, 24명으로부터 1200개의 허밍을 녹음하였다. 24명중 3명은 대학에서 음악을 전공하고 나머지는 음악적 교육을 받은 경험이 없는 사람들이다. 1200개의 허밍을 분석한 결과 전체 허밍 중 60%정도가 노래의 시작 부분을 허밍하거나 노래를 불렀고, 30%정도는 하이라이트 부분을 허밍 하였다. 나머지 10%정도는 자신이 가장 자신 있는 부분을 불렀다. 이러한 분석 결과를 기반으로 가장 중요한 부분은 노래가 시작되는 부분에서의 멜로디를 정확하게 찾아내는 것이 무엇보다 중요하다는 것이다. 본 연구에서 검색결과의 평가는 MRR를 이용하여 측정하였다. MIDI DB를 사용한 경우가 다 성음에서 직접 멜로디를 추출한 경우보다 약간 성능이 우수하게 나왔으나 그 차이는 미미했다. 본 연구에서는 개발된 알고리즘을 이용하여 PC상에서 사용할 수 있는 클라이언트 프로그램과 Android app를 개발하였다.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.7 no.6
• /
• pp.1210-1216
• /
• 2003

Traditional indexing mechanism are based on the song's metadata such as the title and the composer and so on. However, these system have a major limitation that users have to know the metadata of the songs they want to retrieve. In order to solve these limitation, we proposed a rhythm extraction system that allows users to retrieve music information efficiently from a large music database using the rhythm that is defined as the parts of the music.

• Journal of KIISE:Software and Applications
• /
• v.35 no.11
• /
• pp.692-700
• /
• 2008

In some previous works on musical genre classification, human experts specify segments of a song for extracting musical features. Although this approach might contribute to performance enhancement, it requires manual intervention and thus can not be easily applied to new incoming songs. To extract musical features without the manual intervention, most of recent researches on music genre classification extract features from a pre-determined part of a song (for example, 30 seconds after initial 30 seconds), which may cause loss of accuracy. In this paper, in order to alleviate the accuracy problem, we propose a new method, which extracts features from representative segments (or main theme part) identified by structure analysis of music piece. The proposed method detects segments with repeated melody in a song and selects representative ones among them by considering their positions and energies. Experimental results show that the proposed method significantly improve the accuracy compared to the approach using a pre-determined part.

• The KIPS Transactions:PartD
• /
• v.11D no.3
• /
• pp.495-508
• /
• 2004

Recently, in content-based music information retrieval systems, to enhance the response time of retrieving music data from large music database, some researches have adopted the indexing mechanism that extracts and indexes the representative melodies. The representative melody of music data must stand for the music itself and have strong possibility to use as users' input queries. However, since the previous researches have not considered the musical composition forms, they are not able to correctly catch the contrast, repetition and variation of motif in musical forms. In this paper, we use an index automatically constructed from representative melodies such like first melody, climax melodies and similarly repeated theme melodies. At first, we expand the clustering algorithm in order to extract similarly repeated theme melodies based on the musical composition forms. If the first melody and climax melodies are not included into the representative melodies of music by the clustering algorithm, we add them into representative melodies. We implemented a prototype system and did experiments on comparison the representative melody index with other melody indexes. Since, we are able to construct the representative melody index with the lower storage by 34％ than whole melody index, the response time can be decreased. Also, since we include first melody and climax melody which have the strong possibility to use as users' input query into representative melodies, we are able to get the more correct results against the various users' input queries than theme melody index with the cost of storage overhead of 20％.

• Proceedings of the Korean Information Science Society Conference
• /
• 2011.06b
• /
• pp.405-408
• /
• 2011

기존의 작곡가, 곡명 등의 질의어로 대표될 수 있는 메타 데이터 기반 음악 검색은 음악 데이터의 양이 급증함에 따라 탐색 근거가 되는 사항을 모를 경우 사용자의 요구를 충족시켜 줄 수 없는 단점을 가지고 있다 [1]. 반면 음악의 내용을 기반으로 한 검색의 경우 이러한 제약에서 보다 자유로울 수 있다. 내용 기반 검색[2]의 연구에 있어서 음악 데이터로부터 사용자의 질의를 처리해주기 위한 멜로디를 추출해주는 것이 중요한 문제가 되는데, 데이터의 추출과 편집이 용이한 MIDI 파일이 많이 사용되고 있다. 본 논문에서는 사용자의 질의를 바탕으로 한 QBH system상에서의 음악 데이터 구축을 위해 MIDI파일에서 추출해 낼 수 있는 특징들을 이용해 MIDI파일의 멜로디 트랙 멜로디 트랙과 반주 트랙을 자동으로 구분하는 것을 목적으로, MIDI트랙에서 추출해서 이용할 수 있는 특징들에 대해 알아보고 그에 따른 간단한 분류 알고리즘의 제안과 실험 결과에 대해 소개한다.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2015.05a
• /
• pp.533-536
• /
• 2015

Mobile music market is growing. However, services what are applied recently are inaccurate to recommend music that a user is worth to prefer. So, this paper suggests music recommend system. This system recommend music that users prefer analyzing music information and user's musical propensity and using collaborative filtering. This system classify genre and extract factors what can be get using STFT's ZCR, Spectral roll-off, Spectral flux. So similar musics are clustered by these factors. And then, after divide mood of music's lyric, it finally recommend music automatically using collaborative filtering.