本发明提出一种彩色图像加密方法和装置，其中，方法包括：根据与待加密彩色图像中每个颜色通道的像素的坐标，生成与三个颜色通道对应的三元数矩阵；将三元数矩阵划分为互不重叠的多个矩阵块，并对多个矩阵块中的每个矩阵块进行离散三元数傅里叶变换，获取与每个矩阵块对应的频谱信息；对所有矩阵块的频谱信息组合，生成三元频谱矩阵，并提取三元频谱矩阵中的实部分量、第一虚部分量和第二虚部分量；对实部分量、第一虚部分量和第二虚部分量分别进行二维傅里叶变换后，获取与其实部分别对应的第一矩阵，以及与其虚部分别对应的第二矩阵；根据第一矩阵和第二矩阵确定加密图像。本发明操作简单、具有较高的安全性和较低的存储空间。