[发明专利]一种基于迁移学习的大规模食材图像分类方法

权利要求书

1.一种基于迁移学习的大规模食材图像分类方法，其特征在于，所述分类方法包括以下步骤：输入一张原始图片，通过迁移学习的知识，输出包含两方面的信息，其一是对收货环境的识别结果，其二是对食材种类的识别结果；在基于多任务的先验树CNN模型的前向传播之后，由最后一个全连接层产生的联合特征将被输入到不同的分类任务中；

所述分类方法具体包括以下步骤：在多任务分类CNN模型上增加一人为设定的树形结构，根据这个树形结构，首先设置父类节点，然后让新加入的子类能够直接获得父类的特征；在优化联合损失层并共享视觉特征之后，CNN模型在反向传播过程中将传递其相关参数；将收集到的食材图像用c∈{0，1}来标志是否为干净收货环境下的图片，用多类标签k∈{1，...K}来标志食材种类，式中K是所有类别的数量；最后迭代地训练整个网络和参数直到收敛；

测试时，首先验证图像是否为干净的收货环境图片；如果图像被预测为非干净的图像，则系统将拍摄新图像以继续该过程，直到在给定时间内找到干净图像；其次，如果图像被预测为蔬菜类别，则该模型将按给定顺序过滤蔬菜中的其他标签；最后，通过结合了订单、重量信息的先验树CNN模型，干净的图像将得到食材类别和预测的分数；

所述先验树CNN模型其公式表达方式如下：

首先假设已经拥有一棵先验树，所有的食材类别是一个三层的树组成的，先验树一共有K+1个叶子节点，分别对应的是K个食材类别标签和1个被忽略标签；这些叶子节点与第二层的7个父类节点相连，K个食材类别具有4个父类，包括S1，S2，S3，S4，收货环境类别被分为3组，包括N1，N2，N3；对于这种层次分类，如果有高置信度将输入图像分类为蔬菜，那么过滤掉订单中其他类别进行预测，不需要关注肉和水产等类别了；

在softmax函数之前，叶子标签节点k与权重向量关联；每一个超类节点s和向量关联，式中s∈{1，2，3，4}；例如，β_cabbage和β_carrot记录了与α_vegatable之间的偏差；为β定义下面的生成模型：

这个先验表达式说明了类别之间的关系，k上的条件分布表示为：

通过MAP推断{W，β，α}的值，最大化：

logP(k|I，t，W，β)+logP(k|I，W，β)+logP(W)+logP(β|α)+logP(α)； (3)

在损失函数的角度来看，最小化：

在这里，通过固定α的值为0，损失函数将降低到标准损失函数，令C_s＝{k|parant(k)＝s}，那么

因此，公式(4)中的损失函数通过迭代地进行以下两个步骤来优化；首先，最大化W和β，使用标准损失函数的标准随机梯度下降将α固定；其次，通过公式(5)固定β，从而最大化α。