本发明公开了一种图像深度特征确定方法及系统。该方法包括：提取深度卷积神经网络中各卷积层输出的特征图；计算各所述卷积层的层熵和相对层熵；根据各所述卷积层的层熵和相对层熵，从各所述卷积层中选取特征表达层；根据所述特征表达层输出的所述特征图构建深度特征描述子；对所述深度特征描述子进行编码处理，得到所述输入图像的深度特征表达。本发明提供的图像深度特征确定方法及系统具有泛化性强、处理过程简单的特点，能够获得具有鲁棒性与区分度的高层特征表达。