[发明专利]基于视觉检测和重识别的多源两阶段菜品识别方法

说明书

本发明公开了基于视觉目标检测和重识别的多源两阶段菜品识别方法，所述方法包括训练流程和测试流程。这种方法通过结合目标检测和重识别技术来定位和识别菜品，能提高实际菜品识别的鲁棒性和精度。

技术领域

本发涉及信息技术领域中的计算机视觉和模式识别技术，具体是一种基于视觉检测和重识别的多源两阶段菜品识别方法。

背景技术

餐厅和食堂是生活中大众用餐的地方，但是传统的餐厅和食堂收银结账流程是个既费时又费力的过程，而且由于收银员的精力有限，不能一直保持高效工作且不出错，另外，当客流量激增的时候，收银结账的速度成为了食堂运转效率的一大瓶颈，除此之外，大量的不断更新的菜品也为收银员准确结算增加了难度，所以单单凭人工结账收银已经远远满足不了应用需求的快速增长，餐厅、食堂收银结账迫切需要通过智能化手段来大幅提高结账收银效率，降低收银成本。餐厅、食堂中菜品识别算法是智能结算技术的核心组成部件，如果能够自动地在收银场景中对菜品进行长时间持续地识别，就能够极大的提高收银效率，大幅降低收银成本，将结账收银带入一个全新的智能化时代。尽管经过全世界各国专家和学者多年的不懈研究，目标识别算法取得了长足的进步。但是，在实际的应用场景中一些具有挑战的因素，诸如类别不确定、部分遮挡、类间和类内相似性干扰、姿态变化，光照变化等因素，仍使得菜品识别算法的大规模应用和达到工业标准应用面临重重困难。

发明内容

本发明的目的是针对现有技术的不足，而提供一种基于视觉检测和重识别的多源两阶段菜品识别方法。这种方法通过结合目标检测和重识别技术来定位和识别菜品，能提高实际菜品识别的鲁棒性和精度。

实现本发明目的的技术方案是：

一种基于视觉检测和重识别的多源两阶段菜品识别方法，包括训练流程和测试流程，其中训练流程包括如下步骤：

1-1)建立餐盘检测数据集：在真实的不同餐厅和食堂环境中采集餐盘检测数据集，餐盘检测数据集中每张图片中的托盘上的餐盘中都有盛着不同菜品、或菜品以外的其它物品或空餐盘，餐盘的图片采用垂直向下视角进行图像采集，对采集的图像进行标注，标注包括采集的图像矩形边框的旋转角度、餐盘的颜色、餐盘的形状和菜品的名称，将餐盘检测数据集分为训练集和测试集，测试集中餐盘中的菜品种类不包含在训练集中餐盘中的菜品种类中；

1-2)训练全方位餐盘检测器：首先定义全方位餐盘检测器，全方位餐盘检测器采用旋转的边界框来定位餐盘，全方位餐盘检测器为单阶段检测器即能够一次性预测出目标的位置和类别、并且参数量小于10M，全方位餐盘检测器采用图片的长边为计算角度的参考轴、设为h，图片的短边表示为w，以水平线为参考，设逆时针方向为正方向、角度的定义域为[0°，180°]，将角度预测作为一个包含180个类别的分类任务，其中180个类别对应180度的分类任务，全方位餐盘检测器的训练过程为：全方位餐盘检测器的检测模型以Yolo v5为基准模型进行训练，训练全方位检测器的训练样本从步骤1-1)得到的训练集中选取，训练样本类别总数为3类，包括餐盘类、空盘类、饮料类，然后再加上旋转边界框的中心点位置、宽、高、旋转角度这些在训练过程中使模型要去拟合的对象，每次输入一个批次的图片，一个批次含有16张图片，然后对这些图片进行尺度处理即将这些图片的长边缩放到480像素，再对短边不足480像素的部分用黑色填充，就得到了尺寸为480*480像素的一批次图片，接着将这些处理好的图片输入到模型中，输出得到网络的预测值，包括目标类别、边界框的中心点、宽、高、旋转角度，然后，将这些预测值与真实值进行损失计算即采用如公式(1)所示损失函数对目标类别预测、旋转角度预测进行优化：

其中，L代表损失函数，y^*表示角度的真实值，表示预测的角度值，α和γ是用来平衡正负样本的参数，然后采用如公示(2)所示损失函数对边界框中心点、宽、高预测进行优化：