A Study of the spatial perception by audio-visual information

시각과 청각에 의한 공간적 지각에 관한 연구

  • Received : 2010.03.09
  • Accepted : 2010.04.29
  • Published : 2010.04.30

Abstract

Psychophysical experiment was performed to investigate how audio-visual spatial disparity affects on perceptual space in peripheral vision. In the experiment, participants were exposed to two stimuli of vision and sound which comes simultaneously from different directions, respectively. The visual stimulus was implemented by 7 white LEDs which were located at an equal distance with 7 different angles of $-70^{\circ}$, $-40^{\circ}$, $-20^{\circ}$, $0^{\circ}$, $20^{\circ}$, $40^{\circ}$, and $70^{\circ}$ from the right front. Those audial stimuli were also implemented by loudspeakers which were placed at 9 different directions equally spaced by $5^{\circ}$ ranged from $-20^{\circ}$ to $20^{\circ}$. Each participant then evaluated spatial disparity between visual and audial stimuli with 5 levels of response, in which the higher level indicates the larger gap. When the visual stimulus is applied from the right, the results show that the response level gets higher for a larger angle between visual and auditory stimuli. A similar tendency for the visual stimulus with $0^{\circ}$ orientation was also be observed. On the other hand, when the visual stimulus is applied from the left, the response level gets lower for the larger angle.

본 연구에서는 시청각 자극의 공간적 차이가 지각 공간에 있어서 사물과 영상의 배치에 주는 영향을 조사하기 위해 심리적 실험을 하였다. 실험에서는 시각자극과 청각자극을 동시에 제시하고 두 개의 자극이 공간적으로 어느 정도 차이를 느끼는가를 판단하였다. 시각자극은 정면에 있는 스피커를 중심으로 $-70^{\circ}$, $-40^{\circ}$, $-20^{\circ}$, $0^{\circ}$, $20^{\circ}$, $40^{\circ}$, $70^{\circ}$의 7방향, 청각자극은 시각자극을 중심으로 하여 $-20^{\circ}{\sim}20^{\circ}$까지 $5^{\circ}$ 간격으로 9방향을 제시하였다. 실험 참가자는 시각자극과 청각자극이 어느 정도 차이가 있다라고 느낀 것을 1에서 5까지 5단계 평가 척도를 이용하여 회답하였다. 그 결과 시각자극의 제시 각도가 $0^{\circ}$의 경우는 청각자극의 제시 각도가 시각자극의 제시 각도에서 멀어짐에 따라 점차적으로 크게 나타났으며 제시 각도를 중심으로 좌우 대칭으로 나타났다. 정면에서 우측에 시각자극이 제시된 경우는 청각자극의 제시 각도가 시각자극의 제시 각도에서 멀어짐에 따라 평가치가 크게 되었다. 이것은 시각자극의 제시 각도가 $0^{\circ}$의 경우와 같은 경향을 나타내었다. 반대로 좌측에 시각자극이 제시된 경우는 평가치가 작게 나타났다. 이것은 제시 각도가 멀어짐에도 불구하고 같은 방향에서 제시되고 있다는 것을 알 수 있으며 거리를 짧게 인식하는 경향이 나타났다.

Keywords

References

  1. Thomas, G. J., "Experimental study of the influence of vision on sound localization," Journal of Experimental Psychology, 28, pp. 167-17, 1941.
  2. Jack, C. E., Thurlow, W. R., "Effects of degree of visual association and angle of displacement on the ventriloqusim' effect," perceptual and Motor Skills, 37, pp. 967-979, 1973.
  3. Slutsky, D. A., Recanzone, G. H., "Temporal and spatial dependency of the ventriloqusim effect," Neuro Report, 12, pp. 7-10, 2001.
  4. 신위재, 정래원, "실내 이동 로봇의 위치 인식 및 속도제어에 관한 연구," 신호처리시스템학회 논문지, 제11권 1호, pp. 88-91, 2010.
  5. Radeau, D., Bertelson, P., "Adaptation to auditory-visual discordance and ventriloquism in semirealistic situations," Perception and Psychophysics, 6, pp. 137-146, 1977.
  6. Lovelace, E. A., Anderson, D. M., " The role of vision in sound localization," Perceptual and Motor Skills, 14, pp. 721-727, 1985.
  7. 구교식, 차형태, "개선된 머리전달함수를 이용한 3차원 입체음향 성능개선 연구," 한국음향학회지, 제28권 제6호, pp. 557-565, 2009
  8. Shipley, T., "Auditory flutter-driving of visual ficker," Science, 145, pp. 1328-1330, 1964. https://doi.org/10.1126/science.145.3638.1328
  9. Welch, R. B., Warren, D. H., "Immediate perceptual response to intersensory discrepancy," Psychologicla Bulttein, 88, pp. 638-667, 1980.
  10. Alais, D., Burr, D., "The ventriloquist effect results from near-optimal bimodal integration, "Curr. Biol., 14(3), pp. 257-262, 2004.
  11. Lewald, J., Guski, R., "Cross-modal perceptual integration of spatially and temporally auditory and visual stimuli," Cognitive Brain Research, 16. pp. 468-478, 2003. https://doi.org/10.1016/S0926-6410(03)00074-0