本发明公开了一种基于虚拟现实的声光交互系统，利用追踪目标定位和动作捕捉技术，有效的将舞台追光技术与虚拟现实声学感知技术相融合，最终实现声音和光影的交互，加强虚拟现实环境的沉浸感。通过头部手势控制场景中追光和声音，通过声音引导头部手势坐标变换，从而控制舞台场景中的追光，实现声光的交互。该系统由虚拟现实光学跟踪系统、PC软件端、虚拟现实全景声系统及智能追光系统四部分组成。虚拟现实声源位置设置方式将用户位置、虚拟声源坐标及扬声器阵列位置建立精确映射，实现自动追光效果。用户的空间定位除了采用光学跟踪方式以外，还可以在精度要求不高的场景中采用kinect光学设备或语音交互等形式。