Journal of the Institute of Electronics Engineers of Korea SP (대한전자공학회논문지SP)

The Institute of Electronics and Information Engineers (대한전자공학회)
권호 표지

A Study on Multichannel Format Conversion and Representation of Spatial Sound Information

다채널 포맷 변환과 공간적인 입체 음향 정보의 효과적인 유지에 대한 연구

  • Jeon, Se-Woon (School of Electrical and Electronic Engineering, Yonsei University) ;
  • Park, Young-Cheol (Computer and Telecommunications Engineering Division, Yonsei University) ;
  • Youn, Dae-Hee (School of Electrical and Electronic Engineering, Yonsei University)
  • 전세운 (연세대학교 전기전자공학과) ;
  • 박영철 (연세대학교 컴퓨터정보통신공학부) ;
  • 윤대희 (연세대학교 전기전자공학과)
  • Received : 2010.07.05
  • Published : 2010.09.25
Download PDF
⟨ Previous Next ⟩

Abstract

In this study, the algorithms for multichannel format conversion and robust representation of spatial sound information are proposed. In the spatial analysis, the directional information of sound source is estimated and sound sources are separated from stereo signal. In the spatial resynthesis, the multichannel matrixing with spatial repanning and post-scaling method are applied to represent a spatial sound. The conventional method about channel format conversion has the problem that the energy of sound source and the spatial information are not preserved in the desired channel format. Because the proposed method is designed in consideration of the target multichannel format and its resynthesized signal, the robust representation of spatial sound can be achieved in the multichannel format conversion.

본 논문에서는 다채널 스피커를 사용하는 서로 다른 포맷의 채널 환경에서 입체 음향 신호의 공간 정보를 효과적인 유지할 수 있는 다채널 포맷 변환 알고리즘을 제안한다. 이를 위하여 다채널 오디오 신호에 대한 공간 정보 분석 및 음원 분리 기술과, 다채널 신호의 재합성 및 공간 정보 재현 기술을 적용하였다. 입체 음향 신호의 공간 정보를 유지하기 위하여 음원의 방향감을 생성하는 패닝 게인 정보를 추정하고, 이를 이용하여 방향성을 가지는 음원과 각 채널의 잔향을 분리하는 음원 분리 알고리즘을 제안하였다. 또한 변환하고자 하는 다채널 포맷에서 음원의 방향성을 유지하고 입체 음향 정보를 충실히 재현하기 위하여, 채널 포맷에 따른 후처리 기술을 적용한 다채널 재합성 알고리즘을 제안하였다. 기존의 다채널 포맷 변환 기술에서는 음원 분리 및 재합성 과정에서 음원의 에너지 비율 및 방향 정보를 유지하지 못하는 문제점이 발견되었으나, 제안된 방법을 사용함으로써 입체 음향의 공간적 특성을 다채널 변환 과정에서 강건하게 유지할 수 있었다.

Keywords

References

  1. R. Irwan and Ronald M. Aarts, "Two-to-five channel sound processing," J. Audio Eng. Soc., vol. 50, no. 11, pp. 914-926, Nov. 2002.
  2. C. Avendano and J.-M. Jot, "A frequencydomain approach to multichannel upmix," J. Audio Eng. Soc., vol. 52, no. 7/8, pp. 740-749, July/August 2004.
  3. C. Faller, "Multiple-loudspeaker playback of stereo signals," J. Audio Eng. Soc., vol. 54, no. 11, pp. 1051-1064, Nov. 2006.
  4. J. Usher and J. Benesty, "Enhancement of spatial sound quality: A new reverberationextraction audio upmixer," IEEE Trans. on Audio, Speech, and Language Processing, vol. 15, no. 7, pp. 2141-2150, Sept. 2007. https://doi.org/10.1109/TASL.2007.901832
  5. Michael M. Goodwin and J.-M. Jot, "Multi-channel surround format conversion and generalized upmix," in Proc. AES 30th Int. Conf., SaariselkAa, March 2007, paper 30.
  6. M.R. Bai and Geng-Yu Shih, "Upmixing and Downmixing Two-channel Stereo Audio for Consumer Electronics," IEEE Trans. on Consumer Electronics, vol. 53, no. 3, pp. 1011-1019, Aug. 2007. https://doi.org/10.1109/TCE.2007.4341580
  7. J. Breebaart and E. Schuijers, "Phantom Materialization: A Novel Method to Enhance Stereo Audio Reproduction on Headphones," IEEE Trans. on Audio, Speech, and Language Processing, vol. 15, no. 8, pp. 1503-1511, Nov. 2008.
  8. ITU-R. Recommendation BS.775-1, Multichannel stereophonic sound systems with and without accompanying picture. International Telecommunications Union Radiocommunication Assembly, 1994.
  9. V. Pulkki, "Virtual sound source positioning using vector base amplitude panning," J. Audio Eng. Soc., vol. 45, no. 6, pp. 456-466, June 1997.
  10. J. Blauert, Spatial Hearing: The Psychophysics of Human Sound Localization. Cambridge, MA: MIT Press, 1997.
  11. S.-W. Jeon, Y.-C. Park, S.-P. Lee, and D.-H. Youn, "Robust representation of spatial sound in stereo-to-multichannel upmix," AES 128th Conv., London, May 2010.
  12. S. Haykin, Adaptive Filter Theory, 4th ed. Upper Saddle River, NJ: Prentice-Hall, 2002.
  13. 전세운, 박영철, 이석필, 윤대희, "방향 정보에 따른 가변적인 채널 게인 제어를 통한 다채널 벡터기반의 사운드 패닝 기술에 관한 연구," 한국통신학회 2010년도 하계종합학술발표회 논문집, 2010.
  14. F. Rumsey, "Spatial quality evaluation for reproduced sound: Terminology, meaning, and a scene-based paradigm," J. Audio Eng. Soc., vol. 50, no. 9, pp. 651-666 Sept. 2002.
  15. V. Pulkki, "Spatial sound generation and perception by amplitude panning techniques," PhD thesis, Helsinki University of Technology, Espoo, Finland, 2001.
  16. Michael M. Goodwin and J.-M. Jot, "Primaryambient signal decomposition and vector-based localization for spatial audio coding and enhancement," IEEE Int. Conf. Acoustics, Speech and Signal Processing (ICASSP), vol. 1, pp. I-9-I-12, April 2007.
  17. J. Merimaa, Michael M. Goodwin, and J.-M. Jot, "Correlation-based ambient extraction from stereo recordings," AES 123rd Conv., New York, 2007.
  18. ITU-R BS.562.3, "Subjective assessment of sound quality", International Telecommunications Union, Geneva, Switzerland, 1990.