[发明专利]一种基于迁移学习的大规模食材图像分类方法

说明书

本发明公开了一种基于迁移学习的大规模食材图像分类方法，包括以下步骤：输入一张原始图片，通过迁移学习的知识，输出包含两方面的信息，其一是对收货环境的识别结果，其二是对食材种类的识别结果；在基于多任务的Prior‑Tree CNN模型的前向传播之后，由最后一个全连接层产生的联合特征将被输入到不同的分类任务中；本发明的基于迁移学习的大规模食材图像分类方法，基于迁移学习方法对卷积神经网络模型进行改进，并且提出Prior‑Tree CNN模型来学习类结构和分类器参数，改进后的模型具有高效性、高准确率及普适性。

技术领域

本发明涉及一种基于迁移学习的大规模食材图像分类方法，属于食材图像分类技术领域。

背景技术

随着深度学习的飞速发展，图像分类技术已发展成国内外计算机视觉领域比较热门的研究方向，在越来越多的领域得到了应用；基于实际场景，如何构建好一种对图像进行分类，并且准确率高、鲁棒性好的方法是图像分类技术走向实际应用不可避免的核心问题。

训练分类器需要大量的样例，当训练样例很少时，这就成为了一个难题，对于严重的类别不平衡问题，则使用诚信环境数据集中一组类的固有结构来呈现Priori tree CNN模型；例如，需要购买的四种食材，大红椒与螺丝椒，小米椒和尖青椒有关，但只有一个螺丝椒的图像，这将很难训练一个分类器来区分螺丝椒和其他三个类别的数百张图片；通过这些相关类别的标记示例，可以让模型通过zero-shot更容易从一个螺丝椒示例学习任务；通过从相关类别迁移“知识”来学习新类别，只需要了解螺丝椒的特征；传统的图像分类包括KNN,SVM等方法，KNN是通过测量不同特征值之间的距离进行分类，KNN的缺点包括计算量大，样本不平衡时预测偏差比较大等问题；SVM属于监督学习，是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，SVM的缺点包括对于核函数的高维映射解释力不强，尤其是径向基函数；并且只给出了二类分类的算法，解决多分类问题存在困难；针对现有技术存在的问题，本发明基于迁移学习方法对卷积神经网络模型(CNN)进行了改进，提出了Prior-Tree CNN模型来学习类结构和分类器参数，充分地利用大量已有的相关类别的标记数据、学习高效的相关类别的“知识”迁移，从而利用大样本集上的训练得到的分类器提高小样本集物体分类的准确率和鲁棒性，并且建立Meal-53小样本数据集，其目的是在只有少数样例的情况下提高分类准确度。

发明内容

为解决上述问题，本发明提出了一种基于迁移学习的大规模食材图像分类方法，基于迁移学习方法对卷积神经网络模型(CNN)进行改进，并且提出Prior-Tree CNN模型来学习类结构和分类器参数，改进后的模型具有高效性、高准确率及普适性。

本发明的基于迁移学习的大规模食材图像分类方法，所述分类方法包括以下步骤：输入一张原始图片，通过迁移学习的知识，输出包含两方面的信息，其一是对收货环境的识别结果，其二是对食材种类的识别结果；在基于多任务的Prior-Tree CNN模型的前向传播之后，由最后一个全连接层产生的联合特征将被输入到不同的分类任务中。

进一步地，所述分类方法具体包括以下步骤：在多任务分类CNN模型上增加一人为设定的树形结构，根据这个树形结构，首先设置父类节点，然后让新加入的子类能够直接获得父类的特征，在此情况下再训练；这样即使数据少，新加入的子类也能拥有不错的效果；该模型也可以视为不同任务的特定softmax损失；在优化联合损失层并共享视觉特征之后，CNN模型在反向传播过程中将传递其相关参数；将收集到的食材图像用c∈{0，1}来标志是否为干净收货环境下的图片，用多类标签k∈{1，...K}来标志食材种类，式中K是所有类别的数量；最后迭代地训练整个网络和参数直到收敛；

在实际过程中，学习过程与标准梯度下降几乎相同，测试时，首先验证图像是否为干净的收货环境图片；如果图像被预测为非干净的图像，则系统将拍摄新图像以继续该过程，直到在给定时间内找到干净图像；其次，如果图像被预测为蔬菜类别，则该模型将按给定顺序过滤蔬菜中的其他标签；最后，通过结合了订单、重量等信息的Priori Tree CNN模型，干净的图像将得到食材类别和预测的分数。