The KIPS Transactions:PartA (정보처리학회논문지A)

Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

Multi-Core Processor for Real-Time Sound Synthesis of Gayageum

가야금의 실시간 음 합성을 위한 멀티코어 프로세서 구현

  • 최지원 (울산대학교 컴퓨터공학과) ;
  • 조상진 (울산대학교 BK21 e-Vehicle연구인력양성사업단) ;
  • 김철홍 (전남대학교 전자컴퓨터공학부) ;
  • 김종면 (울산대학교 컴퓨터정보통신공학부) ;
  • 정의필 (울산대학교 컴퓨터정보통신공학부)
  • Received : 2010.07.26
  • Accepted : 2010.11.10
  • Published : 2011.02.28
Download PDF
⟨ Previous Next ⟩

Abstract

Physical modeling has been widely used for sound synthesis since it synthesizes high quality sound which is similar to real-sound for musical instruments. However, physical modeling requires a lot of parameters to synthesize a large number of sounds simultaneously for the musical instrument, preventing its real-time processing. To solve this problem, this paper proposes a single instruction, multiple data (SIMD) based multi-core processor that supports real-time processing of sound synthesis of gayageum which is a representative Korean traditional musical instrument. The proposed SIMD-base multi-core processor consists of 12 processing elements (PE) to control 12 strings of gayageum in which each PE supports modeling of the corresponding string. The proposed SIMD-based multi-core processor can generate synthesized sounds of 12 strings simultaneously after receiving excitation signals and parameters of each string as an input. Experimental results using a sampling reate 44.1 kHz and 16 bits quantization show that synthesis sound using the proposed multi-core processor was very similar to the original sound. In addition, the proposed multi-core processor outperforms commercial processors(TI's TMS320C6416, ARM926EJ-S, ARM1020E) in terms of execution time ($5.6{\sim}11.4{\times}$ better) and energy efficiency (about $553{\sim}1,424{\times}$ better).

물리적 모델링은 실제 악기음과 유사한 고음질의 음을 합성하는 방법으로 많은 연구가 진행되어 왔다. 그러나 물리적 모델링은 악기의 소리를 합성할 때 필요한 수많은 파라미터들을 동시에 계산해야 하기 때문에 동시 발음수가 높은 악기의 경우 실시간 처리에 문제가 발생할 수 있다. 이러한 문제를 해결하기 위해 본 논문에서는 전통 현악기인 가야금의 음 합성 알고리즘을 실시간으로 처리 가능한 단일 명령어 다중 데이터(Single Instruction Multiple Data, SIMD) 방식의 멀티코어 프로세서를 제안한다. 제안하는 SIMD기반 멀티코어 프로세서는 가야금의 12개현을 제어하기 위해 12개의 프로세싱 엘리먼트(Processing Element, PE)로 구성되어 있다. 각각의 프로세싱 엘리먼트는 해당되는 가야금 현을 모델링하며, 각 현의 여기신호와 파라미터를 음 합성 병렬 알고리즘의 입력으로 받아 동시에 12개 현의 합성된 음을 실시간으로 생성할 수 있다. 표본화 비율을 44.1kHz로 설정하고 16비트 양자화 데이터의 음을 합성한 모의실험 결과, 제안한 SIMD기반 멀티코어 프로세서를 이용한 합성음은 원음과 매우 유사하였으며, 상용 프로세서(TI TMS320C6416, ARM926EJ-S, ARM1020E)보다 실행 시간에서 5.6~11.4배, 에너지 효율에서 553~1,424배의 향상을 보였다.

Keywords

References

  1. 홍연우, 조상진, 김종면, 정의필, "캡스트럼 포락선을 이용한 해금 소리의 포만트 합성", 한국음향학회지, 제28권, 제6호, pp.526-533, 2009년 8월.
  2. 전희성, Pranab K. Dhar, 김철홍, 김종면, "수정된 스펙트럴 모델링을 이용한 수염고래 소리 합성", 한국정보처리학회 논문지, 제17권, 제1호, 69-78페이지, 2010년 2월. https://doi.org/10.3745/KIPSTB.2010.17B.1.069
  3. J. O. Smith, "Physical modeling using digital waveguides," Computer Music J., vol 16, no. 4, pp. 74-87, 1992. https://doi.org/10.2307/3680470
  4. H. G. Alles, "Music synthesis using real time digital techniques," Proc. IEEE, vol. 68, no. 4, pp. 436-449, 1980. https://doi.org/10.1109/PROC.1980.11673
  5. A. W. Y. Su, W.-C. Chang, and R.-W. Wang, "IIR synthesis method for plucked-string instruments with embedded portamento," J. Audio Eng. soc., vol. 50, no. 5, pp. 351-362, 2002.
  6. V. Valimaki, J. Huopaniemi, M. Karjalainen, and Z. Janosy, "Physical modeling of plucked string instruments with application to real-time sound synthesis," J. Audio Eng. soc., vol. 44, no. 5, pp. 331-353, 1996.
  7. M. Karjalainen, J. Backman, and J. Polkki, "Analysis, modeling, and real-time sound synthesis of the kantele, a traditional finnish string instrument," in Proc. IEEE Int. Conf. Acoustics, Speech, and Signal Processing, pp. 229-232, 1993.
  8. 조상진, 정의필, “산조 가야금의 물리적 모델링”, 한국음향학회지, 제23권, 제7호, pp. 521-531, 2004.
  9. 조상진, 정의필, “개선된 산조 가야금의 물리적 모델링을 이용한 오른손 주법의 음 합성”, 한국음향학회지, 제25권, 제8호, pp. 325-332, 2006.
  10. 유준희, “편경의 진동모드 분석”, 한국음향학회지, 제25권, 제3호, pp. 21-28, 2006.
  11. 강명수, 조상진, 정의필, “물리적 모델링 합성법에 기반을 둔 줄 없는 기타 구현”, 한국음향학회지, 제28권, 제2호, pp. 119-126, 2009.
  12. U. P. Chong and S. J. Cho, "Physical modeling of gayageum with application to sound engine in musical synthesizer," in Proc. Int. Conf. High Performance Scientific Computing, 2006.
  13. Luong Van Huynh, 김철홍, 김종면, "퍼지 백터 양자화를 위한 대규모 병렬 알고리즘 “, 한국정보처리학회논문지 A, 제16-A권, 제6호, pp. 411-418, 2009년 12월
  14. P. Ranganathan, S. Adve, and N. P. Jouppi, “Performance of image and video processing with general-purpose processors and media ISA extensions," in Proc. of the 26th Intl. Sym. on Computer Architecture, pp. 124-135, May. 1999.
  15. R. Bhargava, L. John, B. Evans, and R. Radhakrishnan, “Evaluating MMX technology using DSP and multimedia applications,” in Proc. of IEEE/ACM Sym. on Microarchitecture, pp. 37-46, 1998.
  16. N. Slingerland and A. J. Smith, “Measuring the performance of multimedia instruction sets,” IEEE Trans. on Computers, vol. 51, no. 11, pp. 1317-1332, Nov. 2002. https://doi.org/10.1109/TC.2002.1047756
  17. Antonio Gentile, D. Scott Wills, “Portable Video Supercomputing,” IEEE Trans. Computers, vol. 53, no. 8, pp. 960-973, 2004. https://doi.org/10.1109/TC.2004.48
  18. A. Krikelis, I. P. Jalowiecki, D. Bean, R. Bishop, M. Facey, D. Boughton, S. Murphy, and M. Whitaker, “A programmable processor with 4096 processing units for media applications,” in Proc. of the IEEE Intl. Conf. on Acoustics, Speech, and Signal Processing, vol. 2, pp. 937-940, May. 2001.
  19. L. W. Tucker and G. G. Robertson, “Architecture and applications of the connection machine,” IEEE Computer, vol. 21, no. 8, pp. 26-38, 1988. https://doi.org/10.1109/2.74
  20. “Connection machine model CM-2 technical summary,” Thinking Machines Corp., version 51, May 1989.
  21. MarPar (MP-2) System Data Sheet. MarPar Corporation, 1993.
  22. M. J. Irwin, R. M. Owens, "A Two-Dimensional, Distributed Logic Processor," IEEE Trans. on Computers, vol. 40, no. 10, pp. 1094-1101, 1991. https://doi.org/10.1109/12.93742
  23. M. Bolotski, R. Armithrajah, W. Chen, "ABACUS: A High Performance Architecture for Vision," in Proceedings of the International Conference on Pattern Recognition, 1994.
  24. J. O. Smith, "Efficient synthesis of stringed musical instruments," Proc. International Computer Music Conference, pp.74-91. Sep., 1993.
  25. S. M. Chai, T. Taha, D. S. Wills, J. D. Meindl, "Heterogeneous Architecture Models for Interconnect-Motivated System Design," IEEE Trans. on VLSI Systems, vol. 8, no. 6, pp. 660-670, 2000. https://doi.org/10.1109/92.902260
  26. V. Tiwari, S. Malik, and A. Wolfe, "Complilation techniques for Low Energy: An Overview," in Proc. IEEE Intl. Symp. on Low Power Electrin., pp. 38-39, 1994.
  27. Xilinx Vertex-4 FPGA XC4VLX60 data sheet, http://www.alldatasheet.net/datasheet-pdf/pdf/152986/XILINX/XC4VLX60.html