HummingBird: 향상된 스케일드앤워프트 매칭을 이용한 유사 음악 검색 시스템

HummingBird: A Similar Music Retrieval System using Improved Scaled and Warped Matching

  • 이혜환 (서울대학교 전기컴퓨터공학과) ;
  • 심규석 (서울대학교 전기컴퓨터공학부) ;
  • 박형민 (서울대학교 전기컴퓨터공학부)
  • 발행 : 2007.10.15

초록

허밍을 통한 유사 검색 질의가 주어질 때 효과적으로 음악 데이타베이스를 검색하는 시스템에 대한 연구는 다양한 방향으로 진행되어 왔다. 최근에는 음악 데이타베이스와 허밍 질의를 시계열 데이터로 변환하여 시계열 데이타의 유사 검색과 관련하여 제안되어 왔던 여러 가지 거리 척도(distance measure)나 인덱싱 기법등을 적용하여 효과적으로 질의를 처리하려는 시도가 계속 되고 있다. 허밍 질의의 특성을 고려하여 균일 스케일링(Uniform Scaling)과 동적 프로그래밍을 사용한 타임 워핑(Dynamic Time Warping)을 함께 고려한 스케일드 앤 워프트 매칭(Scaled and Warped Matching) 거리를 사용하여 효과적인 유사 검색을 하는 방법은 가장 최근 제시된 방법 중 하나이다. 본 논문에서는 허밍을 통한 유사 검색 시스템인 Humming BIRD(Humming Based sImilaR miDimusic retrieval system)를 제안하고 구현하였다. 슬라이딩 윈도우를 사용하여 음악의 임의의 부분에 대한 허밍 질의를 처리할 수 있도록 하였으며 더 효율적으로 검색하기 위해 이전의 균일 스케일링을 변형하여 중심을 일치시킨(center-aligned) 균일 스케일링을 제안하고 이와 타임 워핑을 결합한 형태의 스케일드 앤워프트 매칭을 제안하였다. 이 거리의 좀 더 타이트한 하한을 계산하는 하계 함수를 사용하여 탐색 공간(search space)을 효과적으로 줄여 더 빠르고 효과적인 유사 검색을 가능하도록 하였다. 마지막으로 실험을 통해 개선된 스케일드 앤 워프트 매칭이 이전에 비해 같은 검객 결과를 얻으면서도 효과적으로 검색함을 탐색 공간을 줄이는 가지치기 성능을 비교함으로써 보였다.

Database community focuses on the similar music retrieval systems for music database when a humming query is given. One of the approaches is converting the midi data to time series, building their indices and performing the similarity search on them. Queries based on humming can be transformed to time series by using the known pitch detection algorithms. The recently suggested algorithm, scaled and warped matching, is based on dynamic time warping and uniform scaling. This paper proposes Humming BIRD(Humming Based sImilaR mini music retrieval system) using sliding window and center-aligned scaled and warped matching. Center-aligned scaled and warped matching is a mixed distance measure of center-aligned uniform scaling and time warping. The newly proposed measure gives tighter lower bound than previous ones which results in reduced search space. The empirical results show the superiority of this algorithm comparing the pruning power while it returns the same results.

키워드

참고문헌

  1. NYU Query by Humming. http://querybyhum.cs.nyu.edu/index.php?p=others/
  2. MIR.http://mirsystems.info/index.php?id=mirsystems
  3. United States Patent 6678680 http://www.freepatentsonline.com/6678680.html
  4. 학교법인영남학원. 허밍과 음성인식을 이용한 음악정보검색방법. 국내 특허 출원 번호 10-2003-0087153
  5. Alexandra L. Uitdenbogerd and Justin Zobel, 'Melodic matching techniques for large music databases,' In Proceeding of ACM Multimedia, 57-66, 1999
  6. Naoko Kosugi, Yuichi Nishihara, Tetsuo Sakata, Masashi Yamamuro and Kazuhiko Kushima, 'A practical query-by-humming system for a large music database,' In Proceeding of ACM Multimedia, 333-342, 2000
  7. Asif Ghias, Jonathan Logan, David Chamberlin and Brian C. Smith, 'Query by Humming: Musical Information Retrieval in an Audio Database,' In Proceeding of ACM Multimedia, 231-236, 1995
  8. Steffen Pauws, 'CubyHum: a fully operational query by humming system,' In Proceeding of ISMIR, 2002
  9. L.Prechelt and R.Typke. An interface for melody input. ACM Transactions on Computer-Human Interaction(TOCHI), 8(2), 133-149, 2001 https://doi.org/10.1145/376929.376978
  10. Shyamala Doraisamy and Stefan M. Ruger, 'Robust Polyphonic Music Retrieval with N-grams,' In Journal of Intelligent Information Systems(JIIS), 21(1), 53-70, 2003 https://doi.org/10.1023/A:1023553801115
  11. Roger B. Dannenberg and Ning Hu, Understanding Search Performance in Query-by-Humming Systems. In proceeding of ISMIR, 2004
  12. D. Mazzoni and R. B. Dannenberg. Melody matching directly from audio. In 2nd Annual International Symposium on Music Information Retrieval, 2001
  13. Y. Zhu and D. Shasha. Warping Indexes with Envelope Transforms for Query by Humming. In Proc. of ACM SIGMOD Conference, 181-192, 2003
  14. A.W.Fu, E.J.Keogh, L.Y.H.Lau and C. Ratanamahatana. Scaling and Time Warping in Time Series Querying. In Proc. of the VLDB Conference, 649-660, 2005
  15. E.J.Keogh, T.Palpanas, V.B.Zordan, D. Gunopulos and M.Cardle. Indexing Large Human-Motion Databases. In Proc. of VLDB Conference, 780-791, 2004
  16. Yahoo Finance. http://finance.yahoo.com/q/hp?s=GE
  17. Midi Database. http://www.mididb.com/
  18. Midi4U. http://www.midi4u.com/
  19. Free Midi Zone. http://www.free-midi.org/