• Proceedings of the Korean Information Science Society Conference
• /
• 2006.10c
• /
• pp.183-188
• /
• 2006

허밍을 통한 유사 검색 질의가 주어질 때 효과적으로 음악 데이터베이스를 검색하는 시스템에 대한 연구는 다양한 방향으로 진행되어 왔다. 최근에는 음악 데이터와 허밍 질의를 시계열 데이터로 보고 시계열 데이터 유사 검색과 관련하여 제안되어 왔던 여러 가지 거리 척도(distance measure)나 인덱싱 기법등을 적용하여 효과적으로 질의를 처리하려는 시도가 계속 되고 있다. 허밍 질의의 특성을 고려한 균일 스케일링(Uniform Scaling)을 사용하여 효과적인 유사 검색을 하는 방법은 가장 최근 제시된 방법 중 하나이다. 본 논문에서는 허밍을 통한 유사 검색 시스템인 Humming BIRD(Humming Based similaR miDi music retrieval system)를 제안하고 구현하였다. 슬라이딩 윈도우를 사용하여 음악의 임의의 부분에 대한 허밍 질의를 처리할 수 있도록 하였으며 효율적인 검색을 위해 중심을 일치시킨(center-aligned) 균일 스케일링을 제안하고 이 거리의 하한을 계산하는 하계 함수를 사용하여 탐색 공간(search space)을 효과적으로 줄여 더 빠르고 효과적인 유사 검색을 가능하도록 하였으며 실험을 통해 중심을 일치시킨된 균일 스케일링이 이전과 같은 검색 결과를 얻으면서도 효과적으로 검색함을 탐색 공간을 줄이는 가지치기 성능을 비교함으로써 보였다.

• Journal of Korea Multimedia Society
• /
• v.10 no.11
• /
• pp.1398-1406
• /
• 2007

Providing natural and efficient access to the fast growing multimedia information is a critical aspect for content-based information system. Query by humming system allows the user to find a song by humming part of the tune form music database. Conventional music information retrieval systems use a high precision pitch extraction method. However, it is very difficult to extract true pitch perfectly. So, In this paper, we propose to use YIN parameter with applying the reliability to reduce the pitch extraction errors. And we describes developed music information retrieval method based on a query by humming system which uses reliable feature extraction. Developed system is based on a continuous dynamic programming algorithm with features including pitch, duration and energy along with their confidence measures. The experiment showed that the proposed method could reduce the errors of the top-10 7.2% and the top-1 9.1% compared with the cepsturm based multiple pitch candidate. The overall retrieval system achieved 92.8% correct retrieval in the top-10 rank list on a database of 155 songs.

• Annual Conference of KIPS
• /
• 2011.04a
• /
• pp.441-443
• /
• 2011

본 논문은 오디오 특징 분석을 기반으로 한 음악검색 방법에 대한 기술과 연구에 대한 내용이다. 본 연구에서는 크게 3가지의 주요 알고리즘을 이용하여 다 성음에서의 오디오 특징을 추출하고 3가지의 각자 다른 방식의 매칭 알고리즘을 기반으로 한 퓨전 매칭 방식을 제안한다. 오디오 특징으로는 메인 멜로디, 음악 구조를 분석한 세그먼테이션 정보를 이용한다. 본 연구에서 사용된 음악 DB는 음악 포털 서비스에서 제공하는 장르를 기반으로 한 8가지 장르에서 다양한 범위에서 2000곡을 선곡하였다. 오디오 특징 추출을 위한 알고리즘 개발과 매칭 알고리즘 개발을 위하여 음악 DB 2000곡 중 장르의 비율을 고려하여 100곡을 선정하고, 24명으로부터 1200개의 허밍을 녹음하였다. 24명중 3명은 대학에서 음악을 전공하고 나머지는 음악적 교육을 받은 경험이 없는 사람들이다. 1200개의 허밍을 분석한 결과 전체 허밍 중 60%정도가 노래의 시작 부분을 허밍하거나 노래를 불렀고, 30%정도는 하이라이트 부분을 허밍 하였다. 나머지 10%정도는 자신이 가장 자신 있는 부분을 불렀다. 이러한 분석 결과를 기반으로 가장 중요한 부분은 노래가 시작되는 부분에서의 멜로디를 정확하게 찾아내는 것이 무엇보다 중요하다는 것이다. 본 연구에서 검색결과의 평가는 MRR를 이용하여 측정하였다. MIDI DB를 사용한 경우가 다 성음에서 직접 멜로디를 추출한 경우보다 약간 성능이 우수하게 나왔으나 그 차이는 미미했다. 본 연구에서는 개발된 알고리즘을 이용하여 PC상에서 사용할 수 있는 클라이언트 프로그램과 Android app를 개발하였다.

• Journal of the Korea Society of Computer and Information
• /
• v.11 no.4 s.42
• /
• pp.137-145
• /
• 2006

A user remembers a melody as not the combination of pitch and duration which is written in score but the contour which is composed of the relative pitch and duration. Because of the way of remembering a melody the previous Music Information Retrieval Systems which uses keyboard Playing or score as the main input melody are not easily acceptable in Query By Humming Systems. In this paper, we mention about the considerable checkpoints for Query By Humming System and previous researches. And we propose the feature extraction which is similar with the way of remembering a melody and similarity computation algorithms between melody in humming and melody in music. The proposed similarity computation algorithms solves the problem which can be happened when only uses the relative pitches by using relative durations.

• Proceedings of the Acoustical Society of Korea Conference
• /
• autumn
• /
• pp.147-150
• /
• 2004

허밍에 의한 고정도의 오디오 정보 검색 시스템을 구현하기 위해서는 시스템 측에서 발생 가능한 문제점과 유저 측에서 발생 가능한 문제점을 함께 고려한 해결 기법이 요구된다. 유저 측에서는 허밍시 자신의 애매한 기억에 기인한 음표의 삽입이나 탈락과 같은 가창실수, 허밍 도중에 음정 및 박자의 불안정한 변화, 같은 곡을 노래 부를지라도 개인차에 의해 상이한 음정과 템포 등이 발생한다. 또한 시스템 측에서 발생 가능한 사항으로써, 비록 허밍질의가 완벽하더라도 입력 허밍 신호를 멜로디 매칭에 이용되는 정확한 특징량의 추출 및 음악 표기로의 변환이 어렵다는 점이다. 종래의 오디오 정보 검색 시스템에서는 이러한 문제점을 해결하기 위해 다양한 멜로디 표현법과 매칭 방법이 제안되고 있으나, 성능 면에서는 아직 만족할 만한 결과를 얻지 못하고 있다. 따라서 이러한 문제점들을 해결하기 위해서 본 논문에서는 허밍 멜로디의 효과적인 표현방법과 시스템 및 유저 측에서 발생 가능한 오류에 강건한 멜로디 매칭 방법을 제안한다.

• Journal of KIISE:Databases
• /
• v.34 no.5
• /
• pp.409-419
• /
• 2007

Database community focuses on the similar music retrieval systems for music database when a humming query is given. One of the approaches is converting the midi data to time series, building their indices and performing the similarity search on them. Queries based on humming can be transformed to time series by using the known pitch detection algorithms. The recently suggested algorithm, scaled and warped matching, is based on dynamic time warping and uniform scaling. This paper proposes Humming BIRD(Humming Based sImilaR mini music retrieval system) using sliding window and center-aligned scaled and warped matching. Center-aligned scaled and warped matching is a mixed distance measure of center-aligned uniform scaling and time warping. The newly proposed measure gives tighter lower bound than previous ones which results in reduced search space. The empirical results show the superiority of this algorithm comparing the pruning power while it returns the same results.

• The Journal of the Acoustical Society of Korea
• /
• v.23 no.6
• /
• pp.488-496
• /
• 2004

This paper describes a music information retrieval system which uses humming as the key for retrieval Humming is an easy way for the user to input a melody. However, there are several problems with humming that degrade the retrieval of information. One problem is a human factor. Sometimes people do not sing accurately, especially if they are inexperienced or unaccompanied. Another problem arises from signal processing. Therefore, a music information retrieval method should be sufficiently robust to surmount various humming errors and signal processing problems. A retrieval system has to extract pitch from the user's humming. However pitch extraction is not perfect. It often captures half or double pitches. even if the extraction algorithms take the continuity of the pitch into account. Considering these problems. we propose a system that takes multiple pitch candidates into account. In addition to the frequencies of the pitch candidates. the confidence measures obtained from their powers are taken into consideration as well. We also propose the use of an algorithm with three dimensions that is an extension of the conventional DP algorithm, so that multiple pitch candidates can be treated. Moreover in the proposed algorithm. DP paths are changed dynamically to take deltaPitches and IOIratios of input and reference notes into account in order to treat notes being split or unified. We carried out an evaluation experiment to compare the proposed system with a conventional system. From the experiment. the proposed method gave better retrieval performance than the conventional system.

• Annual Conference of KIPS
• /
• 2014.11a
• /
• pp.1027-1030
• /
• 2014

대중음악과 스마트폰 기술이 발달하면서 사용자가 직접 음악을 검색할 수 있는 내용 기반 음악 검색 기술이 연구되었다. 그 결과 허밍을 사용하여 음악을 검색할 수 있는 음악 검색 시스템이 개발되었지만, 검색 속도가 느리고 검색 결과가 부정확한 시스템이 많다. 본 논문에서는 음원의 주파수 변화율을 측정하고 이를 코사인 유사도 알고리즘을 이용하여 유사도를 측정하는 음악 검색 시스템을 설계하였고, 각 설계요소를 설명한다. 새로 설계한 음악 검색 시스템을 기반으로 한 실험을 통하여 기존의 음악 검색 시스템과 유사한 성능이 나오는 것을 확인하였으며 본 논문에서 제시한 새로운 음악 검색 시스템은 기존 음악 검색 시스템보다 구조가 단순하면서도 유사한 결과를 내고 있다.

• Journal of KIISE:Computing Practices and Letters
• /
• v.15 no.8
• /
• pp.534-546
• /
• 2009

Query by humming is an effective and intuitive querying mechanism when a user wants to find a song without knowing lyrics. The query by humming system takes a user-hummed melody as input, compares it with melodies in a music database, and returns top-k similar melodies to the input. In this paper, we propose a novel algebra for query by humming, and design and implement a real query by humming system called HummingBase by exploiting the algebra. By analyzing existing similarity search techniques, we derive 10 core operators for the algebra. By using the well-defined algebra, we can easily implement such a system in a extensible and modular way. With two case studies, we show that the proposed algebra can easily represent the query processing processes of existing query-by-humming systems.

• MALSORI
• /
• no.44
• /
• pp.131-143
• /
• 2002

Music query by humming is a challenging problem since the humming signal inevitably contains much variation and inaccuracy. In this paper, we suggest an algorithm for querying a wanted song from music database by humming its melody. In order to suit or adapt the inaccurate peoples humming, a new melody representation technique is proposed. Our algorithm is basically a pitch and duration information-based one and performs fairly well. 85% of correct query rate of the song is achieved for the top 3 matches when tested with 20 songs.