本发明提供视频场景相似性分析方法及系统、视频编解码方法及系统，分析方法包括：从视频每一个镜头中分别选取一帧图像作为关键帧；提取每一个关键帧的特征向量，构建相似度矩阵；根据相似度矩阵，以吸引度和归属度的和作为线性核对各关键帧进行聚类，设定各关键帧的聚类标签。视频编解码方法包括上述视频场景相似性分析方法；将聚为一类的关键帧作为一个GOP压缩；将关键帧压缩后在编码端重建放在帧缓存区，其余GOP的B帧和P帧通过各自的关键帧索引找到帧缓存区对应的关键帧进行帧间预测编码；解码时，先解码所有关键帧，再根据聚类标签解码B帧和P帧。上述方法及系统能够挖掘非连续帧以及非连续GOP之间的相关性。