本发明适用于结构健康监测技术领域，提供了一种结构振动位移测量方法及装置，该方法包括：对获取的红色方标靶视频进行视频序列分解，得到每一帧图像；提取当前帧图像三通道数据中的红色通道数据；根据获取的初始位置信息进行当前帧的局部动态开窗，得到红色方形靶标的四个边分别对应的四个开窗图像；计算得到每个开窗图像内的边界线段截距值；根据当前帧之前邻近的预设帧数的每一帧内对应的每个开窗图像内的边界线段截距值进行滤波，得到边线位移变化测量序列值；根据边线位移变化测量序列值计算红色方形靶标的实际位移变化值。本发明通过红色方形标靶的4个边进行局部开窗，得到红色方形靶标的水平或垂直的位移变化，计算效果较好，且系统实时性较强。