• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2012.07a
• /
• pp.257-259
• /
• 2012

이 논문에서는 실험을 통해서, 기존에 제안하였던 쿼리-바이-싱잉/허밍 (Query-by-singing/humming, QbSH) 시스템의 매칭 엔진의 강인성을 검증하고 그 결과를 제시한다. QbSH 시스템은 디지털 음악의 사용이 보편화되면서 음악 검색의 방법으로 많은 연구가 진행되어 오고 있다. QbSH 시스템은 입력으로부터 멜로디의 특징을 추출하는 부분과 추출된 특징을 매칭하는 부분으로 나눌 수 있는데, 매칭 단계에서 특징이 추출된 두 개의 멜로디 사이의 유사도 또는 거리를 계산하여 가장 유사한 멜로디를 데이터베이스에서 찾게 된다. 이 논문에서는 이 중, 기존에 제안하였던 매칭 엔진 부분의 강인성을 알아보기 위해서 입력으로부터 멜로디의 피치 시퀀스를 추출하는 과정을 간략히 하여 그 결과를 살펴보았다. 즉, 기존에 제안한 매칭 엔진이 특정한 피치 시퀀스 추출 과정에서만 좋은 성능을 보이는 게 아님을 실험을 통해서 살펴보았다. 실험 결과, 피치 시퀀스를 추출하는 과정이 극도로 간략해지더라도, 매칭 엔진을 좋은 성능을 보여주었다.

• 한국HCI학회:학술대회논문집
• /
• 2009.02a
• /
• pp.725-732
• /
• 2009

Thanks to the development of the Internet, people can easily access a vast amount of music. This brings attention to application systems such as a melody-based music search service or music recommendation service. Extracting melodies from music is a crucial process to provide such services. This paper introduces a novel algorithm that can extract melodies from piano music. Since piano can produce polyphonic music, we expect that by studying melody extraction from piano music, we can help extract melodies from general polyphonic music.

• Journal of KIISE:Computing Practices and Letters
• /
• v.15 no.12
• /
• pp.923-927
• /
• 2009

The recent growth of a digital music market induces increasing demands for music searching and recommendation services. In order to improve the performance of music-based application services, the process of extracting melodies from polyphonic music is essential. In this paper, we propose a method to extract melodies from piano solo music which is highly polyphonic and has a wide pitch range. We categorize piano music into three classes taking into account the characteristics of music, and extract melodies according to each class. The performance evaluation for the implemented system showed that our method works successfully on a variety of piano solo music.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.07a
• /
• pp.258-260
• /
• 2011

이 논문에서는 쿼리-바이-싱잉/허밍 (Query-by-singing/humming, QbSH) 시스템 또는 커버 노래 인식 (cover song identification) 시스템에서 사용 가능한 멜로디 유사도를 제안한다. QbSH 또는 커버 노래 인식은 디지털 음악의 사용이 보편화되면서 음악 검색의 방법으로 많은 연구가 진행되어 오고 있다. 멜로디 유사도는 이런 시스템을 구현하는데 필수적인 요소이며, 두 개의 음악에서 멜로디가 추출되었다고 가정하고, 추출된 멜로디 사이의 유사한 정도를 수치로 표현한다. QbSh 시스템이나 커버 노래 인식 시스템은 멜로디 유사도에 기반하여 입력 노래와 유사한 노래를 데이터베이스에서 검색하는 작업을 수행한다. 이 논문에서 제안하는 멜로디 유사도 방식은 기존의 많이 연구되던 동적 시간 왜곡 (dynamic time warping, DTW) 방법과 크로마 표현 방법 (chroma representation)을 사용하였다. DTW방법은 비대칭적으로 사용하고 미디 노트 영역에서 표현된 멜로디 특징은 0이상 12 미만의 크로마 레벨로 표현하였다. 기존의 방법에서는 정수값을 많이 사용하였으나 이 논문에서는 실수값을 사용한다. DTW 에 사용하는 거리 함수를 기존에 사용하던 차이의 절대값 대신 꺾인 함수 형태를 사용함으로써 성능을 높였다. QbSH 시스템에서의 실험을 통해서 성능을 검증하였다. 본 논문에서는 10-12초 길이의 1000번의 쿼리(Query)에 대해서 28시간 정도의 데이터베이스에서 실험한 결과, 순위 역의 평균 (Mean reciprocal rank, MRR) 값이 0.713을 보였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2011.06b
• /
• pp.405-408
• /
• 2011

기존의 작곡가, 곡명 등의 질의어로 대표될 수 있는 메타 데이터 기반 음악 검색은 음악 데이터의 양이 급증함에 따라 탐색 근거가 되는 사항을 모를 경우 사용자의 요구를 충족시켜 줄 수 없는 단점을 가지고 있다 [1]. 반면 음악의 내용을 기반으로 한 검색의 경우 이러한 제약에서 보다 자유로울 수 있다. 내용 기반 검색[2]의 연구에 있어서 음악 데이터로부터 사용자의 질의를 처리해주기 위한 멜로디를 추출해주는 것이 중요한 문제가 되는데, 데이터의 추출과 편집이 용이한 MIDI 파일이 많이 사용되고 있다. 본 논문에서는 사용자의 질의를 바탕으로 한 QBH system상에서의 음악 데이터 구축을 위해 MIDI파일에서 추출해 낼 수 있는 특징들을 이용해 MIDI파일의 멜로디 트랙 멜로디 트랙과 반주 트랙을 자동으로 구분하는 것을 목적으로, MIDI트랙에서 추출해서 이용할 수 있는 특징들에 대해 알아보고 그에 따른 간단한 분류 알고리즘의 제안과 실험 결과에 대해 소개한다.

• Journal of the Institute of Electronics Engineers of Korea SP
• /
• v.47 no.5
• /
• pp.109-116
• /
• 2010

In this paper, we propose a method for extracting predominant melody of polyphonic music based on harmonic structure. Since polyphonic music contains multiple sound sources, the process of melody detection consists of extraction of multiple fundamental frequencies and determination of predominant melody using those fundamental frequencies. Harmonic structure is an important feature parameter of monophonic signal that has spectral peaks at the integer multiples of its fundamental frequency. We extract all fundamental frequency candidates contained in the polyphonic signal by verifying the required condition of harmonic structure. Then, we combine those harmonic peaks corresponding to each extracted fundamental frequency and assign a rank to each after calculating its harmonic average energy. We finally run pitch tracking based on the rank of extracted fundamental frequency and continuity of fundamental frequency, and determine the predominant melody. We measure the performance of proposed method using ADC 2004 DB and 100 Korean pop songs in terms of MIREX 2005 evaluation metrics, and pitch accuracy of 90.42% is obtained.

• Journal of KIISE:Databases
• /
• v.34 no.4
• /
• pp.283-303
• /
• 2007

Recently, the study of efficient way to store and retrieve enormous music data is becoming the one of important issues in the multimedia database. Most general method of MIR (Music Information Retrieval) includes a text-based approach using text information to search a desired music. However, if users did not remember the keyword about the music, it can not give them correct answers. Moreover, since these types of systems are implemented only for exact matching between the query and music data, it can not mine any information on similar music data. Thus, these systems are inappropriate to achieve similarity matching of music data. In order to solve the problem, we propose an Efficient Query-By-Humming System (EQBHS) with a content-based indexing method that efficiently retrieve and store music when a user inquires with his incorrect humming. For the purpose of accelerating query processing in EQBHS, we design indices for significant melodies, which are 1) frequent melodies occurring many times in a single music, on the assumption that users are to hum what they can easily remember and 2) melodies partitioned by rests. In addition, we propose an error tolerated mapping method from a note to a character to make searching efficient, and the frequent melody extraction algorithm. We verified the assumption for frequent melodies by making up questions and compared the performance of the proposed EQBHS with N-gram by executing various experiments with a number of music data.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2011.04a
• /
• pp.441-443
• /
• 2011

본 논문은 오디오 특징 분석을 기반으로 한 음악검색 방법에 대한 기술과 연구에 대한 내용이다. 본 연구에서는 크게 3가지의 주요 알고리즘을 이용하여 다 성음에서의 오디오 특징을 추출하고 3가지의 각자 다른 방식의 매칭 알고리즘을 기반으로 한 퓨전 매칭 방식을 제안한다. 오디오 특징으로는 메인 멜로디, 음악 구조를 분석한 세그먼테이션 정보를 이용한다. 본 연구에서 사용된 음악 DB는 음악 포털 서비스에서 제공하는 장르를 기반으로 한 8가지 장르에서 다양한 범위에서 2000곡을 선곡하였다. 오디오 특징 추출을 위한 알고리즘 개발과 매칭 알고리즘 개발을 위하여 음악 DB 2000곡 중 장르의 비율을 고려하여 100곡을 선정하고, 24명으로부터 1200개의 허밍을 녹음하였다. 24명중 3명은 대학에서 음악을 전공하고 나머지는 음악적 교육을 받은 경험이 없는 사람들이다. 1200개의 허밍을 분석한 결과 전체 허밍 중 60%정도가 노래의 시작 부분을 허밍하거나 노래를 불렀고, 30%정도는 하이라이트 부분을 허밍 하였다. 나머지 10%정도는 자신이 가장 자신 있는 부분을 불렀다. 이러한 분석 결과를 기반으로 가장 중요한 부분은 노래가 시작되는 부분에서의 멜로디를 정확하게 찾아내는 것이 무엇보다 중요하다는 것이다. 본 연구에서 검색결과의 평가는 MRR를 이용하여 측정하였다. MIDI DB를 사용한 경우가 다 성음에서 직접 멜로디를 추출한 경우보다 약간 성능이 우수하게 나왔으나 그 차이는 미미했다. 본 연구에서는 개발된 알고리즘을 이용하여 PC상에서 사용할 수 있는 클라이언트 프로그램과 Android app를 개발하였다.

• Proceedings of the Acoustical Society of Korea Conference
• /
• autumn
• /
• pp.147-150
• /
• 2004

허밍에 의한 고정도의 오디오 정보 검색 시스템을 구현하기 위해서는 시스템 측에서 발생 가능한 문제점과 유저 측에서 발생 가능한 문제점을 함께 고려한 해결 기법이 요구된다. 유저 측에서는 허밍시 자신의 애매한 기억에 기인한 음표의 삽입이나 탈락과 같은 가창실수, 허밍 도중에 음정 및 박자의 불안정한 변화, 같은 곡을 노래 부를지라도 개인차에 의해 상이한 음정과 템포 등이 발생한다. 또한 시스템 측에서 발생 가능한 사항으로써, 비록 허밍질의가 완벽하더라도 입력 허밍 신호를 멜로디 매칭에 이용되는 정확한 특징량의 추출 및 음악 표기로의 변환이 어렵다는 점이다. 종래의 오디오 정보 검색 시스템에서는 이러한 문제점을 해결하기 위해 다양한 멜로디 표현법과 매칭 방법이 제안되고 있으나, 성능 면에서는 아직 만족할 만한 결과를 얻지 못하고 있다. 따라서 이러한 문제점들을 해결하기 위해서 본 논문에서는 허밍 멜로디의 효과적인 표현방법과 시스템 및 유저 측에서 발생 가능한 오류에 강건한 멜로디 매칭 방법을 제안한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2003.04a
• /
• pp.647-649
• /
• 2003

최근 들어 디지털 음악 컨텐츠의 사용량이 증가하면서 데이터베이스로부터 다양한 포맷의 음악 컨텐츠를 효과적으로 찾을 수 있는 음악 검색 시스템의 필요성이 증가했다. 본 논문에서는 사용자들이 자주 질의하는 멜로디를 이용하여 효율적인 검색을 하기 위한 기법을 제안한다. 사용자의 허밍이나 오선지를 통한 질의로부터 추출된 음높이와 음의 길이를 분석하여 UDR과 LSR 스트링으로 변환하고 자주 검색되는 멜로디의 관리를 통해 검색의 성능을 향상시켰다. 또한 XLM을 사용하여 음악 정보를 구조화하는 새로운 데이터 모델을 제안하고 음높이. 음의 길이 , 리듬 등의 음악 특징 정보를 이용한 복합 질의를 통하여 제안한 시스템의 성능 평가를 하였다.