本发明公开了一种基于特征点追踪由聚焦堆栈重构三维场景的方法和装置，包括：建立由三维场景生成聚焦堆栈的正演模型，给出三维场景特征点与聚焦堆栈的几何关系；提取聚焦堆栈中每个图像的特征点，追踪匹配成功的特征点的坐标，得到特征点在聚焦堆栈中的轨迹；建立由聚焦堆栈重构三维场景的反演模型：由匹配成功的特征点，建立关于特征点三维坐标的方程组，通过求解方程组得到特征点的三维坐标，重构三维场景，并实现三维几何测量。本发明的聚焦堆栈是将探测器固定，通过沿光轴移动透镜完成聚焦堆栈的采集，采用本发明的方案，能够实现相机拍摄视角下的三维重构，可以为虚拟现实和几何测量提供精确的三维结构信息。