[发明专利]一种融合容器信息的菜品信息检索方法

说明书

本发明公开了一种融合容器信息的菜品信息检索方法。本发明步骤如下：(1)建立容器信息数据库；(2)建立菜品信息数据库；(3)菜品图片定位；(4)容器边缘曲率信息提取；(5)菜品图片特征提取；(6)菜品相似度数值计算；(7)菜品信息检索。本发明在对菜品识别方面，采用对比特征检索的方式，而不是直接分类方式去判别菜品类别，当要判别新的菜品类别的时候，只需要对新菜品采样，并将采样得到特征记录到数据集中。当需要判别类别的时候，使用特征在数据库中进行对比，就可得到结果。当然在判别时候使用特征相似度同时还引入菜品图像的颜色直方图相似度与容器边缘曲率相似度，进一步提高的判别的准确性。

技术领域

本发明属于图像处理技术领域，涉及深度学习中的目标检测与特征提取与带权K近邻分类，图像直方图相似度和融合容器边缘的曲率信息的菜品信息检索方法。

背景技术

随着深度学习领域的不断突破，人类社会进入信息智能化时代，传统食堂的运营模式的弊端越发凸显，人工点菜结算不可避免的造成结算错误、结算时间过长等问题。人们开始关注如何更好的利用计算机来自动识别菜品并自动结算。提供服务速度与质量，减少人力成本。

目前，主流的方式是使用深度学习的目标检测网络直接获取菜品图像，再使用训练好的网络直接进行菜品分类。这样的方式，存在一些弊端：a.直接使用目标检测网络得到的菜品图像不一定很好的表示菜品信息，可能预测的范围过大，为下一步分类引入了大量噪声；b.可能菜品图像没包含完整的菜品，导致菜品信息缺少，同样为下一步分类带来负面影响。c.分类网络分类结果固定，但需要添加新的菜品时候，需要重新调整网络输出维度，且准备新类别数据重新训练网络，过程繁琐、不稳定。

通过研究发现，将菜品与容器绑定(某种菜品指定用某种样式的碗)，在使用目标检测的预测框与深度学习方式提取容器边缘相结合可以得到精准的菜品图像。

发明内容

根据上述缺陷描述，本发明提出了一种融合容器信息的菜品信息检索方法；其中应用深度学习中的目标检测与特征提取与带权K近邻分类，图像直方图相似度和融合容器边缘的曲率信息的菜品信息检索方法。

为实现以上的目的，本发明是通过以下技术方案来实现的：

(1)建立容器信息数据库：容器边缘曲率信息、容器图片与容器类别；

(2)建立菜品信息数据库：录入每一个菜品图片的特征数据、记录菜品图片的颜色直方图与菜品类别；菜品图片的特征数据使用训练好SENet网络提取；

(3)菜品图片定位：对采集的菜品图片使用神经网络进行目标检测和图像边缘信息提取，获得数字图像中全部的菜品位置信息并分割出每一个单独的菜品图片；

(4)容器边缘曲率信息提取：通过RCF网络对步骤(3)中每一个获取的菜品图片进行菜品容器边缘提取，随后计算容器边缘曲率；

(5)菜品图片特征提取：使用训练好的SENet网络对步骤(3)得到每一个菜品图片进行特征提取，获得2048个维度特征数据。

(6)菜品相似度数值计算：从容器信息数据库获取数据与当前待处理的容器信息计算曲率相似度，从菜品信息数据库获取数据与当前待处理的菜品图片之间计算特征数据之间的余弦值和颜色直方图相似度，并对计算得到的余弦值和颜色直方图相似度进行加权求和，以此作为菜品的相似度数值；

(7)菜品信息检索：使用加权K近邻分类方法，将步骤(6)计算的全部相似度作为距离，对待分类菜品图片进行分类。

进一步的的，步骤(1)中容器信息数据库具体是：

1-1.保证图像显示范围为能完整容器的最小范围；

1-2.以图像中心点为参考点，图像正上方向为角度0度方向，顺时针为正向依次记录角度与曲率点对；