The Journal of the Acoustical Society of Korea (한국음향학회지)

The Acoustical Society of Korea (한국음향학회)
권호 표지
DOI QR코드

DOI QR Code

Exploration of Optimal Multi-Core Processor Architecture for Physical Modeling of Plucked-String Instruments

현악기의 물리적 모델링을 위한 최적의 멀티코어 프로세서 아키텍처 탐색

  • 강명수 (울산대학교 전기공학부) ;
  • 최지원 (울산대학교 전기공학부) ;
  • 김용민 (울산대학교 전기공학부) ;
  • 김종면 (울산대학교 전기공학부)
  • Received : 2011.04.05
  • Accepted : 2011.06.01
  • Published : 2011.07.31
Download PDF
⟨ Previous Next ⟩

Abstract

Physics-based sound synthesis usually requires high computational costs and this results in a restriction of its use in real-time applications. This motivates us to implement the sound synthesis algorithm of plucked-string instruments using multi-core processor architectures and determine the optimal processing element (PE) configuration for the target instruments. To determine the optimal PE configuration, we evaluate the impacts of a sample-per-processing element (SPE) ratio that is defined as the amount of sample data directly mapped to each PE on system performance and both area and energy efficiencies using architectural and workload simulations. For the acoustic guitar, the highest area and energy efficiencies are achieved at a SPE ratio of 5,513 and 2,756, respectively, for the synthesis of musical sounds sampled at 44.1 kHz. In the case of the classical guitar, the maximum area and energy efficiencies are achieved at a SPE ratio of 22,050 and 5,513, respectively. In addition, the synthetic sounds were very similar to original sounds in their spectra. Furthermore, we conducted MUSHRA subjective listening test with ten subjects including nine graduate students and one professor from the University of Ulsan, and the evaluation of the synthetic sounds was excellent.

물리적 모델링 기반 음 합성 알고리즘은 음 합성 시 많은 연산량을 요구하며 이는 실시간 음 합성을 저해한다. 이러한 문제를 해결하기 위해 본 논문에서는 물리적 모델링 기반 현악기 사운드 엔진을 멀티코어 프로세서에 구현하고, 사운드 엔진을 위한 최적의 멀티코어 프로세서 구조를 제안한다. 대상 현악기의 단위음을 합성하기 위해 각 프로세싱 엘리먼트 (processing element, PE)당 합성하는 샘플 (sample-per-processing element, SPE) 수를 변화시키는 실험을 통해 시스템의 성능 (system performance), 시스템 면적 효율 (area efficiency), 에너지 효율 (energy efficiency)을 각각 측정하고, 측정된 결과를 바탕으로 최적의 멀티코어 프로세서 구조를 선택하였다. 모의실험 결과, 어쿠스틱 기타는 SPE가 5,513과 2,756일 때 가장 높은 시스템 면적 효율과 에너지 효율을 보였으며, 클래식 기타는 SPE가 22,050과 5,513일 때 시스템 면적 효율과 에너지 효율이 가장 높았다. 또한 이를 이용하여 44.1 kHz의 샘플링율을 갖도록 대상 악기의 단위음을 합성한 결과 원음과 스펙트럼에서 매우 유사함을 확인할 수 있었고, 울산대학교 대학원생 및 교수 10명을 대상으로 실시한 MUSHRA 주관 청취 테스트에서도 좋은 결과를 얻었다.

Keywords

References

  1. 강명수, 조상진, 정의필, "물리적 모델링 합성법에 기반을 둔 줄없는 기타 구현", 한국음향학회지, 28권, 2호, 119-126쪽, 2008.
  2. D. Overholt, "The Overtone Violin," Proceedings of the 2005 International Conference on New Interfaces for Musical Expression, pp. 34-37, 2005.
  3. G. Wang, "Designing Smule's Ocarian: the iPhone's Magic Flute," Proceedings of the 2009 International Conference on New Interfaces for Musical Expression, pp. 202-209, 2009.
  4. J. Oh, J. Herrera, J. N. Bryan, L. Dahl, and G. Wang, "Evolving the Mobile Phone Orchestra," Proceedings of the 2010 International Conference on New Interfaces for Musical Expression, pp. 82-87, 2010.
  5. 조상진, 정의필, "산조가야금의 물리적 모델링", 한국음향학회지, 23권, 7호, 521-531쪽, 2004.
  6. M. Karjalainen, J. Backman, and J. Polkki, "Ananysis, Modeling, and Real-time Sound Synthesis of the Kantele, a Traditional Finnish String Instrument," in Proc. IEEE International Conference on Acoustics, Speech, and Signal Processing, pp. 229-232, 1993.
  7. 강명수, 조상진, 권순덕, 정의필, "범용 디지털 신호처리기를 이용한 국악기 사운드 엔진 개발", 한국음향학회지, 28권, 3호, 229-238쪽, 2009.
  8. L. V. Huynh, 김철홍, 김종면, "퍼지 백터 양자화를 위한 대규모 병렬 알고리즘", 한국정보처리학회논문지, 16-A권, 6호, 411-418쪽, 2009.
  9. S. T. Verma, and T. H. Y. Meng, "Extending Spectral Modeling Synthesis with Transient Modeling Synthesis," Comput. Music J., vol. 24, no. 2, pp. 47-59, 2000. https://doi.org/10.1162/014892600559317
  10. M. Coodwin, "Residual Modeling in Music Analysis-Synthesis," in Proc. IEEE International Conference on Acoustics, Speech, and Signal Processing, pp. 1005-1008, 1996.
  11. V. Valimaki, J. Juopaniemi, M. Karjalainen, and Z. Janosy, "Physical Modeling of Plucked String Instruments with Application to Real-time Sound Synthesis," J. Audio Eng. Soc., vol. 44, no. 5, pp. 331-353, 1996.
  12. V. Valimaki, and C. Erkut, "Commuted waveguide synthesis of the clavichord," Comput. Music J., vol. 27, no. 1, pp. 71-82, 2006.
  13. T. I. Laakso, V. Valimaki, M. Karjalainen, and U. K. Laine, "Splitting the Unit Delay - Tools for Fractional Delay Filter Design," IEEE Signal Processing Mag,, vol. 13, no. 1, pp. 30-60, 1996. https://doi.org/10.1109/79.482137
  14. S. M. Chai, T. Taha, D. S. Wills, and J. D. Meindl, "Heterogeneous Architecture Models for InterconnectMotivated System Design," IEEE Trans. VLSI Syst., vol. 8, no. 6, 660-670, 2000. https://doi.org/10.1109/92.902260
  15. S. Nugent, D. S. Wills, and J. D. Meindl, "A Hierarchical Block-based Modeling Methodology for SoC in GENESYS," 15th Annual IEEE International AISC/SOC Conference, pp. 239-243, 2002.
  16. A. Gentile, S. Sander, L. Wills, and D. S. Wills, "The Impact of Grain Size of the Efficiency of Embedded SIMD Image Processing Architectures," J. Parallel Distributed Computing, vol. 64, pp. 1318-1327, 2004. https://doi.org/10.1016/j.jpdc.2004.06.013
  17. 강명수, 조상진, 정의필, "음질 열화를 줄이고 공격에 강인한 오디오 워터마킹 알고리듬", 한국음향학회지, 28권, 7호, 653-550쪽, 2009.
  18. International Technology Roadmap for Semiconductors 2007 Edition, http://www.itrs.net/links/2007itrs/2007_chapters/2007_PIDS.pdf