Smart Media Journal (스마트미디어저널)

THE KOREAN INSTITUTE OF SMART MEDIA (한국스마트미디어학회)
권호 표지
DOI QR코드

DOI QR Code

YOLO based Optical Music Recognition and Virtual Reality Content Creation Method

YOLO 기반의 광학 음악 인식 기술 및 가상현실 콘텐츠 제작 방법

  • 오경민 (조선대학교 컴퓨터공학과) ;
  • 홍요섭 (조선대학교 컴퓨터공학과) ;
  • 백건영 (조선대학교 컴퓨터공학과) ;
  • 전찬준 (조선대학교 컴퓨터공학과)
  • Received : 2021.09.24
  • Accepted : 2021.12.07
  • Published : 2021.12.31
Download PDF
⟨ Previous Next ⟩

Abstract

Using optical music recognition technology based on deep learning, we propose to apply the results derived to VR games. To detect the music objects in the music sheet, the deep learning model used YOLO v5, and Hough transform was employed to detect undetected objects, modifying the size of the staff. It analyzes and uses BPM, maximum number of combos, and musical notes in VR games using output result files, and prevents the backlog of notes through Object Pooling technology for resource management. In this paper, VR games can be produced with music elements derived from optical music recognition technology to expand the utilization of optical music recognition along with providing VR contents.

딥러닝에 기반한 광학 음악 인식 기술(Optical Music Recognition, OMR)을 사용하여 도출된 결과를 가상현실 (Virtual Reality, VR) 게임에 적용시킨 것을 제안한다. 딥러닝 모델은 YOLO v5를 사용했으며 검출되지 않은 객체를 검출하기 위해 Hough transform 사용, 보표 크기 수정 등을 수행한다. 출력된 결과 파일을 사용하여 VR 게임에서 BPM, 최대 콤보 수, 음정과 박자를 분석하여 사용하고 리소스 관리를 위한 Object Pooling 기술을 통해 노트가 밀리는 현상을 방지한다. 광학 음악 인식 기술을 통해 나온 음악 요소로 VR 게임을 제작하여 VR 콘텐츠 제공과 함께 광학 음악 인식의 활용성을 넓히는 것을 확인하였다.

Keywords

Acknowledgement

본 연구는 2021년도 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임 (NRF-2019R1C1C1011597).

References

  1. J. Hajic., "Handwritten optical music recognition", Ph.D. Thesis Proposal, Charles University Institute of Formal and Applied Linguistics, 2017.
  2. D. H. Pruslin, "Automatic recognition of sheet music", Sc.D. Dissertation, Massachusetts Institute of Technology, 1966.
  3. J. Novotny and J. Pokorny, "Introduction to optical music recognition: Overview and practical challenges," in Proc. of 15th Annual International Workshop on Databases, Texts, Specifications, and Objects (DATESO), pp. 65-76, Apr., 2015.
  4. J. Calvo-Zaragoza and D. Rizo "End-to-end neural optical music recognition," Applied Sciences, vol. 8, no. 4, Apr., 2018.
  5. J. Redmon, S. Divvala, R. Girshick, and A. Farhadi, "You only look once: unified, real-time object detection," arXiv:1506.02640v5, May, 2016.
  6. J. Redmon and A. Farhadi, "YOLO9000: Better, faster, stronger," arXiv:1612.08242v1, Dec., 2016.
  7. J. Redmon and A. Farhadi, "YOLOv3: An incremental improvement," arXiv:1804.02767v1, Apr., 2018..
  8. W. Liu, D. Anguelov, D. Erhan, C. Szegedy, S. Reed, C.-Y. Fu, and A. C. Berg, "SSD: Single shot multibox detector," arXiv:1512.02325v5, Dec., 2016.
  9. R. Girshick, "Fast R-CNN," arXiv:1504.08083, Sep., 2015.
  10. S. Ren, K. He, R. Girshick, and J. Sun, "Faster R-CNN: Towards real-time object detection with region proposal networks," arXiv:1506.01497v3, Jan., 2016.
  11. J. Hajic. and P. Pecina, "In search of a dataset for handwritten optical music recognition: introducing MUSCIMA++," arXiv:1703.04824v1, Mar., 2017.
  12. L. Tuggener, I. Elezi, J. Schmidhuber, M. Pelillo, and T. Stadelmann, "DeepScores -- A dataset for segmentation, detection and classification of tiny objects," arXiv:1804.00525v2, May, 2018.
  13. 이승환, "VR 저널리즘의 발전과 미래," 한국애니메이션학회 - 애니메이션연구, 제13권, 제1호, pp. 43-65, 2017년 3월
  14. 배장은, "국내외 게임 산업 동향분석을 통한 가상 현실 기반의 기능성 게임 발전 방안," 디지털디자인학연구, 제14권, 제3호, pp. 737-748, 2014년 7월
  15. 정우정, "VR 시장 변화에 따른 VR 콘텐츠 문제점 연구," 2017 한국디자인학회 봄 국제학술대회논문집, pp. 200-201, 2017년 6월
  16. 이은석, "가상현실 콘텐츠를 위한 고도필드 렌더링 가속화," 한국정보과학회 2020 한국컴퓨터종합학술대회 논문집, pp. 1142-1144, 2020년 7월
  17. 양준석, "'오브젝트 풀링' 기법을 이용한 가비지콜렉터에 대한 최적화," 한국정보과학회 2016년 동계학술대회 논문집, pp. 1910-1912, 2016년 12월
  18. 김혜영, "효율적인 온라인 게임 서버를 위한 객체 풀링 기법에 관한 연구," 한국게임학회 논문지, 제9권, 제6호, pp. 163-170, 2009년 12월