本发明公开了一种多分支神经网络模型的弱监督细粒度图像分类方法。其技术方案是：首先将细粒度图像数据集按比例随机划分成训练集和测试集；接着利用局部区域定位网络定位有潜在语义信息的局部区域；将原图像和定位后的局部区域分别输入到可变形卷积的残差网络和旋转不变编码的方向响应网络，构成三个分支的特征网络，分别进行训练，三个分支分别基于交叉熵损失进行后向传播学习。最后，组合分支内损失和分支间损失优化整个网络，对测试集进行分类预测。本发明方法减少因姿态、视角和背景干扰等诸多变化对分类结果的负面影响，在细粒度图像分类任务上取得了更好的效果。