The Journal of the Acoustical Society of Korea (한국음향학회지)

The Acoustical Society of Korea (한국음향학회)
권호 표지
DOI QR코드

DOI QR Code

Conversion of Image into Sound Based on HSI Histogram

HSI 히스토그램에 기초한 이미지-사운드 변환

  • Received : 2010.10.15
  • Accepted : 2010.12.06
  • Published : 2011.04.30
Download PDF
⟨ Previous Next ⟩

Abstract

The final aim of the present study is to develop the intelligent robot, emulating human synesthetic skills which make it possible to associate a color image with a specific sound. This can be done on the basis of the mutual conversion between color image and sound. As a first step of the final goal, this study focused on a basic system using a conversion of color image into sound. This study describes a proposed method to convert color image into sound, based on the likelihood in the physical frequency information between light and sound. The method of converting color image into sound was implemented by using HSI histograms through RGB-to-HSI color model conversion, which was done by Microsoft Visual C++ (ver. 6.0). Two different color images were used on the simulation experiments, and the results revealed that the hue, saturation and intensity elements of each input color image were converted into fundamental frequency, harmonic and octave elements of a sound, respectively. Through the proposed system, the converted sound elements were then synthesized to automatically generate a sound source with wav file format, using Csound.

본 연구는 컬러이미지에서 특정 사운드를 연상하는 인간의 공감각적 기능을 모방하는 지능로봇의 개발을 최종 목표로 하고 있으며, 이는 컬러이미지와 사운드의 상호변환에 기초하여 이루어질 수 있다. 최종 목표의 첫 번째 단계로서, 본 연구는 컬러 이미지에서 사운드로의 변환을 이용한 기본 시스템의 구축에 초점을 맞추었다. 본 연구에서는 빛과 소리사이의 물리적 주파수 정보로부터 그 유사성에 기초하여 컬러이미지에서 사운드로 변환하는 방법을 제시한다. 컬러이미지에서 사운드로 변환하는 방법은 RGB-to-HSI 컬러모델 변환을 통한 HSI 히스토그램을 사용하고 Microsoft Visual C++을 이용하여 코딩함으로써 구현되었다. 두 가지 컬러이미지를 사용하여 시뮬레이션 실험을 하였고, 그 결과, 각각의 입력 컬러이미지의 색상(Hue), 채도 (Saturation) 및 명도 (Intensity)를 사운드의 기본주파수 (F0: Fundamental Frequency), 하모닉 (Harmonics) 및 옥타브 (Octave)로 각각 변환한다. 제안된 시스템을 통하여 변환된 사운드 요소들을 Csound를 이용, 합성함으로써 웨이브(wav) 파일 포맷 음원을 최종 생성하였다.

Keywords

References

  1. N. Osmanovic, N. Hrustemovic, H. R. Myler, "A testbed for auralization of graphic art", IEEE Region 5, 2003 Annual Technical Conference, pp.45-49, 2003.
  2. G. Bologna, B. Deville, T. Pun, "On the use of the auditory pathway to represent image scenes in real-time", Neurocomputing, vol. 72, no. 4/6, pp. 839-849, 2009. https://doi.org/10.1016/j.neucom.2008.06.020
  3. S. Matta, D. K. Kumar, X. Yu, M. Burry, "Discriminative analysis for image to sound mapping", Intelligent Sensing and Information Processing, pp. 119-122, 2004.
  4. Peter B.L. Meijer, "An experimental system for auditory image representations", IEEE trans. on bio-medical engineering, vol. 39, no. 2, pp. 112-121, 1992. https://doi.org/10.1109/10.121642
  5. 이형민, 영상악기 만들기 1, 마이크로소프트웨어, 10월호, pp. 234-239, 2006.
  6. 손우람, 영상악기 만들기 2, 마이크로소프트웨어, 11월호, pp. 232-238, 2006.
  7. 김길호, 백정기, 사운드컬러하모니즘: 음악이 흐르는 컬러 배색 사전, 임프레스, 2003.
  8. 김길호, 화성법을 이용하여 색과 음을 상호변환하고 색채를 조화하는 방법 및 장치, 출원번호 10-99-34242, 1999.
  9. 김길호, 화성법을 이용한 음색변환표, 출원번호 10-2001-0087651, 2001.
  10. 김민호, 정성환, 강민수, "음의 시각화와 그 표현의 경향", 디자인 學硏究, 16권, 3호, 101-110쪽, 2003.
  11. 박진희, "음악과 색채의 유기적 관계에 관한 연구: 모드를 중심으로", 상명대 뉴미디어정보통신대학원, 석사논문, 2005.
  12. Michael Freeman, Mastering Color Digital Photography, Ilex Press, 2004.
  13. 김유라, "소리의 표현 연구", 서울여자대학교 대학원, 석사학위논문, 1998.