Abstract
As a basic study on both engineering applications and representation methods of synesthesia, this paper aims at building basic system which converts a muscular sense into both visual and auditory elements. As for the building method, data of the muscular sense can be acquired through roll and pitch signals which are calculated from both three-axis acceleration sensor and the two-axis gyro sensor. The roll and pitch signals are then converted into both visual and auditory information as outputs. The roll signals are converted into both intensity elements of the HSI color model and octaves as one of auditory elements. In addition, the pitch signals are converted into both hue elements of the HSI color model and scales as another one of auditory elements. Each of the extracted elements of the HSI color model is converted into each of the three elements of the RGB color model respectively, so that the real-time output color signals can be obtained. Octaves and scales are also converted and synthesized into MIDI signals, so that the real-time sound signals can be obtained as anther one of output signals. In experiments, the results revealed that normal color and sound output signals were successfully obtained from roll and pitch values that represent muscular senses or physical movements, depending on the conversion relationship based on the similarity between color and sound.
본 논문은 공감각의 공학적인 응용 및 표현방법에 관한 기초연구로서, 인간이 인지할 수 있는 감각들 중 근감각을 시각 및 청각 요소로 변환하는 기본 시스템의 구축을 목표로 한다. 구축방법으로서, 근감각 신호를 3축 가속도 센서 및 2축 자이로센서로부터 계산된 롤(roll), 피치(pitch) 신호를 통하여 근감각 신호 데이터를 획득하고 그 데이터에서 시각적 컬러 정보와 청각적 정보로 변환하는 방법을 제안한다. 롤 신호는 HSI 컬러 모델의 명도(Intensity)와 청각의 요소인 옥타브(Octave)로 변환하고, 피치 신호는 HSI 컬러 모델의 색상(Hue)과 청각의 음계(Scale)에 대응하여 변환한다. 추출된 HSI 컬러모델의 요소성분들을 기반으로 RGB 컬러모델로 변환한 후 실시간 컬러 출력신호를 얻는다. 또한, 청각의 요소인 옥타브 및 음계 성분을 기반으로 MIDI 신호로 변환, 합성한 후 실시간 사운드 출력신호를 얻는다. 실험에서, 신체의 움직임 즉 근감각을 표현하는 롤과 피치 값에서 색과 음 사이의 유사성에 기초한 변환관계에 따라 정상적인 색과 음이 출력되는 것을 확인하였다.
