Journal of the Korean Institute of Intelligent Systems (한국지능시스템학회논문지)

Korean Institute of Intelligent Systems (한국지능시스템학회)
권호 표지
DOI QR코드

DOI QR Code

A Basic Study on the System of Converting Color Image into Sound

컬러이미지-소리 변환 시스템에 관한 기초연구

  • Kim, Sung-Ill (Department of Electronic Engineering, Kyungnam University) ;
  • Jung, Jin-Seung (Department of Electronic Engineering, Kyungnam University)
  • Received : 2010.02.24
  • Accepted : 2010.04.05
  • Published : 2010.04.25
Download PDF
⟨ Previous Next ⟩

Abstract

This paper aims for developing the intelligent robot emulating human synesthetic skills which associate a color image with sound, so that we are able to build an application system based on the principle of mutual conversion between color image and sound. As the first step, in this study, we have tried to realize a basic system using the color image to sound conversion. This study describes a new conversion method to convert color image into sound, based on the likelihood in the physical frequency information between light and sound. In addition, we present the method of converting color image into sound using color model conversion as well as histograms in the converted color model. In the basis of the method proposed in this study, we built a basic system using Microsoft Visual C++(ver. 6.0). The simulation results revealed that the hue, saturation and intensity elements of a input color image were converted into F0, harmonic and octave elements of a sound, respectively. The converted sound elements were synthesized to generate a sound source with WAV file format using Csound toolkit.

본 논문은 컬러이미지에서 소리를 연상하는 인간의 공감각적 기능을 모방하는 지능로봇의 개발을 위하여 색-음 상호변환에 기초한 응용 시스템의 구축을 목표로 하고 있다. 그 첫 번째 단계로서 컬러 이미지를 소리로 변환하는 방법론에 관한 기초 연구 및 이에 기반한 기본 시스템을 구현하고자 한다. 본 연구에서는 컬러 영상이 갖고 있는 색상과 소리의 파동, 즉 상호 주파수 특성에서의 유사성을 이용하여 가시영역에서 가청영역으로 변환하는 방법을 제시하고, 컬러모델 변환 및 변환된 모델에서의 히스토그램을 이용하여 컬러 영상을 소리의 청각적인 요소로 변환 가능하게 하는 색-음 변환 방법을 제시하고 있다. 또한 본 연구에서 제시된 색-음 변환 방법을 토대로 Microsoft Visual C++을 이용하여 코딩하고 실제 기본 응용 시스템을 구현해 보았다. 그 결과 색채와 소리의 상호 연관성 즉, 색채의 색상(Hue), 채도(Saturation)및 명도(Intensity)를 음의 높이(Fundamental Frequency), 하모닉(Harmonics) 및 옥타브(Octave)에 각각 대응시키고, 변환된 음향 요소를 Csound로 합성하여 웨이브 파일로 변환됨을 확인하였다.

Keywords

References

  1. 김민호, 정성환, 강민수, "음의 시각화와 그 표현의 경향", 디자인學硏究, Vol. 16, No. 3, pp. 101-110, 2003.
  2. 박진희, "음악과 색채의 유기적 관계에 관한 연구: 모드를 중심으로", 상명대 뉴미디어정보통신대학원, 석사논문, 2005.
  3. N. Osmanovic, N. Hrustemovic, H. R. Myler, "A testbed for auralization of graphic art", IEEE Region 5, 2003 Annual Technical Conference, pp.45-49, 2003. https://doi.org/10.1109/REG5.2003.1199709
  4. S. Matta, D. K. Kumar, X. Yu, M. Burry, "Discriminative analysis for image to sound mapping", Intelligent Sensing and Information Processing, pp. 119-122, 2004. https://doi.org/10.1109/ICISIP.2004.1287636
  5. G. Bologna, B. Deville, T. Pun, "On the use of the auditory pathway to represent image scenes in real-time", Neurocomputing, Vol. 72, No. 4/6, pp. 839-849, 2009. https://doi.org/10.1016/j.neucom.2008.06.020
  6. 이형민, 영상악기 만들기 1, 마이크로소프트웨어, 10월호, pp. 234-239, 2006.
  7. 손우람, 영상악기 만들기 2, 마이크로소프트웨어, 11월호, pp. 232-238, 2006.
  8. 김길호, 백정기, 사운드컬러하모니즘: 음악이 흐르는 컬러 배색 사전, 임프레스, 2003.
  9. 김길호, 화성법을 이용하여 색과 음을 상호변환하고 색채를 조화하는 방법 및 장치, 출원번호 10-99-34242, 1999.
  10. 김길호, 화성법을 이용한 음색변환표, 출원번호 10-2001-0087651, 2001.
  11. 강동중, 하종은, VISUAL C++을 이용한 디지털 영상처리, 사이텍미디어, 2003.
  12. 김용성, VISUAL C++ 6 완벽가이드, 영진닷컴. 2004.
  13. 이동재, CSOUND, 예당출판사, 2005.
  14. 석용환, MIT CSOUND를 활용한 소리보기, 천이 미디어, 2006.
  15. 김유라, "소리의 표현 연구", 서울여자대학교 대학원, 석사학위논문, 1998.