Journal of Korea Multimedia Society (한국멀티미디어학회논문지)

Korea Multimedia Society (한국멀티미디어학회)
권호 표지

A Study on the Implementation of the System of Content-based Retrieval of Music Data

내용 기반 음원 검출 시스템 구현에 관한 연구

  • 허태관 (동국대학교 전자공학과) ;
  • 조황원 (동국대학교 전자공학과) ;
  • 남기표 (동국대학교 전자공학과) ;
  • 이재현 (동국대학교 전자공학과) ;
  • 이석필 (전자부품연구원 디지털미디어연구센터) ;
  • 박성주 (전자부품연구원 디지털미디어연구센터) ;
  • 박강령 (동국대학교 전자공학과)
  • Published : 2009.11.30
Download PDF
⟨ Previous Next ⟩

Abstract

Recently, we can hear various kinds of music in everywhere and anytime. If a user wants to find the music which was heard before in a street or cafe, but he does not know the title of the music, it is difficult to find it. That is the limitation of previous retrieval system of music data. To overcome these problems, we research a method of content-based retrieval of music data based on the recorded humming, the part of recorded music and the played musical instrument. In this paper, we investigated previous content-based retrieval methods of papers, systems and patents. Based on that, we research a method of content-based retrieval of music data. That is, in case of using the recorded humming and music for query, we extract the frequency information from the recorded humming/music and the stored music data by using FFT. We use a MIDI file in case of query by the played musical instrument. And by using dynamic programming matching, the error caused by the disparity of length between the input source with the stored music data could be reduced.

현재 우리는 언제 어디에서나 다양한 음악을 들을 수 있다. 길거리나 카페 등에서 음악을 듣고 그 노래를 다시 듣고 싶어 찾으려 할 때 해당 음악의 가수나 노래 제목을 모른다면 그 음악을 찾을 수 없는 것이 현재 음악 검색 방식의 단점이다. 이러한 문제를 해결하기 위하여 본 연구에서는 음원의 음 정보를 추출하여 데이터베이스를 구축하고 찾고자 하는 음악의 허밍을 녹음하거나 듣고 있는 음악을 직접 녹음하여 검색하는 방법 및 전자 악기를 연주하여 검색하는 내용 기반의 검색 방법을 연구하였다. 본 연구에서는 기존의 많은 내용 기반 음원 검색 논문, 특허 및 시스템을 분석하였으며, 이를 기반으로 내용 기반 검색 방법을 연구하였다. 즉, 허밍과 음악을 직접 녹음하여 검색하는 경우 음과 음원을 고속 푸리에 변환하여 주파수 정보를 추출하였으며, 악기를 연주하여 검색하는 경우 미디 파일을 사용하였다. 그리고 동적 정합 매칭방식을 사용하여, 매칭 시 음원과 입력 음간의 길이차를 극복하였다.

Keywords

References

  1. S. Rho, and E. Hwang, "Implementation of an Efficient Music Retrieval System based on the Analysis of User Query Pattern," Journal of KIPS, 10-A, Vol. 6, pp. 735-748, December 2003.
  2. A. Ghias, et al., "Query by Humming Musical Information Retrieval in An Audio Database," Proceedings of ACM Multimedia, pp. 231-236, 1995.
  3. R.J. McNab, et al., "Toward the Digital Music Library: Tune Retrieval from Acoustic Input," Proceedings of the First ACM Conference on Digital Libraries, pp. 11-18, 1996.
  4. R.J. McNab, et al., "The New Zealand Digital Library Melody Index," Digital Libraries Magazine, 1997.
  5. R. Typke, and L. Prechelt, "An Interface for Melody Input," ACM Transactions on Computer-Human Interaction, pp. 133-149, 2001.
  6. A. Kornstadt, "Themefinder: A Web-Based Melodic Search Tool," Computing In Musicology, Vol. 11, MIT Press, 1998.
  7. Themefinder. http://www.themefinder.org/ (accessed on September 14, 2009).
  8. S. Blackburn, and D. DeRoure, "Tool for Content Based Navigation of Music," Proceedings of ACM Multimedia, pp. 361-368. 1998.
  9. MiDiLiB project. http://www-mmdb.iai.uni-bonn.de/forschungprojekte/midilib/english/ (accessed on September 14, 2009)
  10. S.R Subramanya, et al., "Transforms-based Indexing of Audio Data for Multimedia Databases," Proceedings of IEEE International Conference on Multimedia Systems, 1997.
  11. A. Uitdenbogerd, and J. Zobel, "Manipulation of Music for Melody Matching," Proceedings of ACM Multimedia Conference, pp, 235-240, 1998.
  12. A. Uitdenbogerd, and J. Zobel, "Melodic Matching Techniques for Large Music Databases," Proceedings of ACM Multimedia Conference, pp. 57-66, 1999.
  13. E. Hwang, S. Rho, "Fast Melody Finding Based on Memorable Tunes,"Proceedings of the 1st International Symposium on Computer Music Modeling and Retrieval, Montpellier, France, pp. 227-239, May 26-27, 2003.
  14. "노래/허밍에 의한 질의 방법 및 장치" 국내 특허 출원 (출원번호 : 2008-0084038, 출원일:2008.08.27, 발명자 : 엄기완, 덩징, 주쑤안, 이재원, 시원원, 출원인 삼성전자 주식회사).
  15. "멜로디 질의 기반 음악 검색 방법" 국내 특허 등록 (등록번호 2004-0101592. 등록일 2004.12.03, 발명자 : 배소영, 송정민, 윤경로, 출원인 엘지전자 주식회사).
  16. "허밍 기반의 음원 질의 / 검색 시스템 및 방법" 국내 특허 등록 (등록번호 : 2006-0019096, 등록일 : 2006.03.03, 발명자 : 허성필, 한평희, 원성기, 출원인 : 주식회사 케이티).
  17. "허밍과 음성인식을 이용한 음악정보검색 방법" 국내 특허 등록 (등록번호 : 2005-0053903, 등록일 : 2005.06.10, 발명자 : 정현열, 허성필, 석수영, 출원인 : 영남학원).
  18. "Music Information Retrieval Using a 3D Search Algorithm," (Patent Number: 7488886, Granted Date : 2009.02.10, Inventors : Kemp, Thomas Esslingen DE, Applicants : Sony Deutschland GmbH Berlin DE).
  19. "Musical Theme Searching," (Patent Number : 7518052, Granted Date: 20090414, Inventors : Kourbatov, Alexei Bellevue WA US, Applicants : Microsoft Corporation Redmond WA US).
  20. "Music Similarity Function Based on Signal Analysis," (Patent Number: 7031980, Granted Date : 20060418, Inventors : Logan, Beth T. Somerville MA US, Salomon, Ariel Cambridge MA US, Applicants : Hewlett-Packard Development Company, L.P. Houston TX US).
  21. "Melody Retrieval System," (Patent Number : 20080148924, Granted Date : 2008.06.26, Inventors: Tsui, Chi-Ying Hon kong CN Shi, Bertaram Hong Kong CN Yung, Chi Wai Hong Kong CN, Applicants : Perception Digital Technology(BVI) Limited Road Town VG).
  22. "Melody Retrieval System and Method," (Patent Number: 0944033, Inventors : Sonoda, Tomonari).
  23. 음계주파수 테이블, http//cid-818bd0d828b3f50e.spaces.live.com/Blog/cns%21818BD0D828B3F50E%21393.entry (accessed on September 14, 2009).
  24. MIDI File Format, http//faydoc.tripod.com/formats/mid.htm (accessed on September 14, 2009).
  25. MIDI File Format, http//blog.daum.net/jty71/15645096 (accessed on September 14, 2009).
  26. 한학용 저, 패턴인식 개론 -Matlab 실습을 통한 입체적 학습, 한빛미디어, 2005.
  27. Jungmin Song, So-Young Bae, and Kyoungro Yoon, "Mid-Level Music Melody Representation of Polyphonic Audio for Query-by-Humming System," Proceedings of Symposium on Music Information Retrieval, 2002.
  28. QBSH: A Corpus for Designing QBSH (Query by Singing/Humming) Systems, http://neural.cs.nthu.edu.tw/jang2/dataSet/childSong4public/QBSH-corpus/index.htm (accessed on Sep. 14, 2009).
  29. MIREX, http://www.music-ir.org/mirex/2009/index.php/Main_Page (accessed on Sep. 14, 2009).