本发明提供一种基于多Kinect的人体骨架追踪系统及方法，包括：第一终端包括多个Kinect，采集人体图像变成点云数据；数据传输模块；第二终端包括：数据接收模块，接收点云数据；数据转换模块，统一多个Kinect的相机坐标系、拍摄的标记点坐标系统，得到每两个Kinect的初始变换关系；数据融合模块，每两个Kinect进行初始配对，得到一个Kinect的多种配对方式，通过最小二乘法迭代获得每一个Kinect的最佳配对，根据每两个Kinect的最佳变换关系对多个Kinect的点云数据进行融合；骨架提取模块，根据数据融合模块融合的点云数据进行人体重建。上述系统及方法减弱点云数据配准错位现象。