[发明专利]一种多尺度融合的食品图像分类模型训练及图像分类方法

说明书

本发明提供一种训练食品图像分类模型的方法，所述方法包括：对食品图像进行多尺度切割，形成包含原图像的多尺度食品切割图像；分别构建多个尺度的卷积神经网络模型，每个卷积神经网络模型对应一个尺度的食品切割图像；利用带有类别标签的食品图像作为目标图像，将其多尺度切割后代入多个尺度的卷积神经网络模型，利用预测的类别概率与真实的类别标签的比对结果作为反馈来进行多个尺度的卷积神经网络模型的优化。本发明创新性地提出了在原图像基础上进行多尺度切割形成多尺度切片的方式题。本发明在多个公共数据集都达到目前最好的识别性能：本发明的方法在公共数据集ETH Food‑101上可以达到90.56％的识别准确率，在公共数据集VireoFood‑172上可以达到90.61％的识别准确率。

技术领域

本发明图像识别领域，尤其涉及基于深度神经网络融合的食品图像识别模型训练及相应识别方法。

背景技术

在食品图像识别领域，现有的技术大多是用将简单的识别方法用于一种装置，即只是作为识别设备(比如智能冰箱)的一个模块，而没有针对食物图像识别方法进行专门深入的改善。这类技术偏实用，主要实现方案是：(1)食物图像获取和处理；(2)训练模型以提取特征；(3)嵌入装置识别模块，进行实际识别。第(1)种方案用于对小数量的食品区域进行标注(比如，参见申请号为CN201810620629.4的中国专利“一种自动检测食物新鲜度的智能冰箱”)等处理，不适用于现实中大量无标注的食品图像。第(2)种方案所使用的模型比较传统，不是现在识别性能较好的深度神经网络模型(比如，参见申请号为CN201810736434.6的中国专利“一种计算图像中食物热量的方法及装置”)。第(3)种方案识别的数量有限(比如，参见申请号为CN201810038061.5的中国专利申请“一种基于卷积神经网络的中餐食物识别方法”)。还有一类偏重方法识别技术研究的专利，其使用的方法识别食物类别较少或只识别中国菜，且使用的识别方法不是现在主流的深度神经网络，其识别性能不是最佳。

专利CN201810620629.4“一种自动检测食物新鲜度的智能冰箱”中使用的是标注图像，必须要进行图像的大规模标注。并且该专利需要先对食物图像中食物部分找出，圈出食品区域，需要大量人工介入，繁琐复杂。

专利CN201810736434.6“一种计算图像中食物热量的方法及装置”中运用模糊C值法对像素聚类来进行切割，模糊聚类会损失一定的食物图像信息。

专利CN201810038061.5“一种基于卷积神经网络的中餐食物识别方法”是对整图进行卷积操作，并且该专利只对中餐进行识别，食物种类25种且图片不足一万，可识别的食物种类较少。

另外，专利申请CN201810054620.1，“一种基于神经网络的食物识别方法”中提出了对图像进行的LBP(Local Binary Pattern，局部二值模式)特征计算，但是，这种二值化特征会损失部分精准结果。

专利申请CN109034196A“模型生成方法及装置、食物识别方法及装置”，提出了中国食品识别模型生成方法，但是，该专利只是对全局图像做卷积操作，仅适用于中国菜。

因此，现有的食品图像识别方法要么适用范围有限，要么会带来严重的精度损失，准确性欠佳，均存在各自的问题，无法解决。

发明内容

针对上述问题，本申请的发明人希望提供一种食物图像数据处理更加简单、适用范围更广、识别准确性更高的食品图像识别方法。

本申请的发明人在进行食物图像识别技术研究时，发现现有的图像识别技术不能完全适用于食物图像识别，这是由食物自身非刚性结构导致的。