Journal of IKEEE (전기전자학회논문지)

Institute of Korean Electrical and Electronics Engineers (한국전기전자학회)
권호 표지
DOI QR코드

DOI QR Code

Vision-Based Piano Music Transcription System

비전 기반 피아노 자동 채보 시스템

  • Park, Sang-Uk (Dept. of Computer Education, SungKyunKwan University) ;
  • Park, Si-Hyun (Dept. of Computer Education, SungKyunKwan University) ;
  • Park, Chun-Su (Dept. of Computer Education, SungKyunKwan University)
  • Received : 2019.03.20
  • Accepted : 2019.03.25
  • Published : 2019.03.31
Download PDF
⟨ Previous Next ⟩

Abstract

Most of music-transcription systems that have been commercialized operate based on audio information. However, these conventional systems have disadvantages of environmental dependency, equipment dependency, and time latency. This paper studied a vision-based music-transcription system that utilizes video information rather than audio information, which is a traditional method of music-transcription programs. Computer vision technology is widely used as a field for analyzing and applying information from equipment such as cameras. In this paper, we created a program to generate MIDI file which is electronic music notes by using smart-phone cameras to record the play of piano.

현재 상용화된 악보 채보 프로그램은 오디오 정보를 기반으로 채보를 진행한다. 이러한 기존 채보 프로그램은 환경 의존성, 장비 의존성, 시간 지연이라는 단점을 지니고 있다. 본 논문은 기존의 오디오를 이용하여 채보를 방식을 지양하고, 연주 영상을 분석하여 채보를 진행하는 컴퓨터 비전 기반 악보 채보 시스템을 제안한다. 제안하는 악보 채보 시스템은 대중화된 스마트폰 카메라를 활용하여 피아노 연주를 촬영하고, 이를 분석하여 자동으로 전자 악보인 미디파일을 생성하는 방식으로 동작한다. 컴퓨터 실험에서 제안하는 악보 채보 시스템은 95.6%의 정확도로 연주된 음계를 채보하는 것으로 조사되었다.

Keywords

JGGJB@_2019_v23n1_249_f0001.png 이미지

Fig. 1. Main pipeline of the VBMT System. 그림 1. VBMT 시스템의 주요 파이프라인

JGGJB@_2019_v23n1_249_f0002.png 이미지

Fig. 2. Pipeline of the Key Change Detection Module. 그림 2. KCD 모듈의 주요 파이프라인

JGGJB@_2019_v23n1_249_f0003.png 이미지

Fig. 3. Stages of the detecting keys by using black-key detection. 그림 3. 흑건 탐지를 통한 백건 검출 단계

Table 1. Correspondent rate of the VBMT System. 표 1. VBMT 시스템의 악보 일치율

JGGJB@_2019_v23n1_249_t0001.png 이미지

References

  1. Broersen and Nijholt, "Developing a Virtual Piano Playing Environment," IEEE International conference, 2002.
  2. Q Yang and G Essl, "Augmented Paino performance using a Depth Camera," NIME, 2012.
  3. Aristotelis Handjakos, "Pianist Motion Capture with the Kinect Depth Camera," 2012.
  4. A. Oka and M. Hashimoto, "Marker-Less Piano Fingering Recognition suing Sequential Depth Images," The 19th Korea-Japan Joint Workshop on Frontiers of Computer Vision, pp. 1-4, 2013. DOI: 10.1109/FCV.2013.6485449
  5. R. Bhuvaneswari and Ravi Subban, "Novel object detection and recognition system based on points of interest selection and SVM classification," ScienceDirect, Cognitive System Research 52, pp. 985-994, 2018. DOI: 10.1016/j.cogsys.2018.09.022
  6. G. Mano, Y. Wu, M. Hor and C. Tang, "Real-Time Hand Detection and Tracking against Complex Background," Fifth International Conference on Intelligent Information Hiding and Multimedia Signal Processing, pp. 905-908, 2009. DOI: 10.1109/IIH-MSP.2009.133
  7. Hemlata Chavan and Prateek Gupta, "A Review on Hand Gesture Detection Using Combine HSI, YCbCr and Morphological Method Recognition," International Research Journal of Engineering and Technology, vol. 03, no. 05, 2016.
  8. Craig Stuart Sapp, "C++ library for parsing Standard MIDI Files," https://midifile.sapp.org.