[发明专利]一种多阶段菜品识别方法

说明书

本发明揭示了一种多阶段菜品识别方法，包括第一阶段，采集包含餐盘及其中菜品的连续多帧图片，并从中筛选得到适于进行菜品识别的若干帧图片；第二阶段，对所得图片进行目标检测，定位当前图片中所有菜品各自的具体位置；第三阶段，裁剪抠取每一个菜品的子图，并将子图逐一送入特征提取网络、提取菜品特征并与数据库中菜品特征进行匹配，识别菜品类别。本发明菜品识别方法采用分阶段的识别方式，降低了目标检测网络对标签数据的需求，节约了人力成本；采用特征提取网络对子图或增强后的子图提取用于比对识别的特征，可适用于不固定类别或灵活新增的菜品识别，具有较强的泛化能力，且菜品识别精度更高。

技术领域

本发明涉及一种计算机视觉的图像数据处理方法，尤其涉及一种融合深度学习目标检测和图像检索方法的多阶段菜品识别方法。

背景技术

随着社会的快速发展，为了体现方便快捷，现阶段大部分的餐厅都采用了自主挑选菜品，排队进行结账。由于结账分为人工计价和自动计价，随着食客人数的增多，人工计价效率低，正确率无法得到保障等缺点就会显露出来。随着人工智能以及移动端互联网的规模急速增长，人们对于“智能化”的需求越来越大，因此近年来出现了一些自动计价方法。在餐饮行业方面，当前越来越多许高校以及大型企业的食堂，引入菜品智能识别与结算设备。现有的技术有单独使用深度学习目标检测或语义分割的菜品识别方法在智能结算过程中，智能结算台通过摄像头获取结算时的菜品图片，即可端到端直接获取到每个菜品的具体位置和所属类别，智能结算系统根据每个菜品的检测结果进行快速关联，计算出当前订单的结算总金额。但是，该种方式对标签数据需求量大，需要更高的人力成本；只适用于固定类别的菜品识别，不能识别新增的菜品，灵活性低；端到端模式的泛化能力差，菜品识别精度低。

基于形状的餐盘识别，设置有多个盘槽，餐盘包括多种形状和颜色的餐盘，通过摄像机采集餐盘的形状和颜色以及对应餐盘的个数,信号处理器将摄像机采集到的信息进行处理并将处理后的数据传输给结算服务计算机,结算服务计算机根据处理后的数据自动计算出结算金额。但该方法对标签数据需求量大，需要更高的人力成本。

使用深度学习目标检测或语义分割的菜品识别方法，指通过端到端直接获取到每个菜品的具体位置和所属类别，但泛化能力差，菜品识别精度较低。

发明内容

鉴于上述现有技术的不足，本发明的目的旨在提出一种多阶段菜品识别方法。

本发明实现上述目的的技术解决方案是：一种多阶段菜品识别方法，其特征在于包括：

第一阶段，利用摄像头采集连续的视频流，通过对相邻两帧连续图像进行特征比对，确定有包含餐盘及其中菜品的图片进入摄像头视角，触发检测功能；第二阶段，对所得图片进行目标检测，定位当前图片中所有菜品各自的具体位置；第三阶段，裁剪抠取每一个菜品的子图，并将子图逐一送入特征提取网络、提取菜品特征并与数据库中菜品特征进行匹配，识别菜品类别。

上述多阶段菜品识别方法，进一步地，第一阶段中特征比对根据对菜品识别的现实场景分析，过程包括先对采集的每一帧图片降采样为8*8大小的区域，再对所得区域的灰度平均值乘以值为1.25的缩放因子得到阈值；而后将所得区域内的64个灰度值与阈值进行比较，设大于阈值为1，小于阈值为0，得到64位的二进制编码；最后将连续两帧图像的二进制编码进行欧式距离比较，若欧式距离大于5，则触发检测功能。

上述多阶段菜品识别方法，进一步地，第一阶段触发检测功能之后，可选抛弃随后采集所得一至五帧图像，用于等待待检测目标稳定。

上述多阶段菜品识别方法，进一步地，第二阶段中所述目标检测为将待检测目标稳定后采集所得的图片输入至YOLO V5的目标检测网络，并通过网络输出餐盘及菜品目标在当前图片中的位置。

上述多阶段菜品识别方法，进一步地，第三阶段在对扣取的子图进行特征提取前，还包括对子图至少在预设角度范围内随机旋转、翻转，结合亮度和对比度的随机调制增强处理。