本发明公开了一种隐私保护的表情识别方法及系统，其中，该方法包括以下步骤：获取多幅彩色人脸图像，并对多幅彩色人脸图像进行预处理，得到多幅彩色人脸图像的颜色分量；将颜色分量作为四元矩阵的虚部，构建第一四元数矩阵，并计算第一四元数矩阵的局部方差；将局部方差作为四元矩阵的实部，将颜色分量作为四元矩阵的虚部，构建第二四元数矩阵；采用四元数Gyrator变换对第二四元数矩阵进行加密处理，生成实数矩阵；随机置乱实数矩阵，以进行卷积神经网络的训练，并利用训练好的卷积神经网络对彩色人脸图像识别验证。该方法具有更强的鉴别性能、较高的安全性和可撤销性。