[发明专利]一种食物智能协作方法以及应用该方法的早餐制备系统

权利要求书

1.一种食物智能协作方法，其特征在于，包括以下步骤：

步骤S1：获取若干个早餐图像；

步骤S2：识别若干早餐图像中的食物品名，并标记该食物品名以及是否破损；

步骤S3：识别步骤S2中标记完成的早餐图像中的食物品名以及记录各类食物的数量信息，再记录各类食物的标记有破损的数量信息，将各类食物的数量信息中各类食物的标记有破损的数量剔除，得到各类食物的未标记有破损的数量信息并存于预设的食物信息数据表内；

步骤S4：获取顾客所点菜单名录，提取所需食物品名和所需数量；

步骤S5：依次调取早餐图像的食物信息数据表，逐一判断该早餐图像中是否含有所需食物品名：

如果含有，协作机器人（3）移动至该图像所在位置，并将该食物放置于顾客餐盘内，并将该顾客所需数量减少相应数量，直至达到该顾客所需数量；

其中，所述步骤S2包括：

步骤S2-1：对早餐图像中的食物进行特征提取；

步骤S2-2：对早餐图像中的食物进行识别食物品名；

步骤S2-3：判断图像中的食物是否破损：

若食物无破损，对早餐图像中的食物标注：该食物品名；

若食物有破损，对早餐图像中的食物标注：该食物品名+破损；

所述步骤S2中，通过算法训练标记模型：获取400张早餐图像，所述早餐图像的分辨率为256×256；

随机选取95%数量的早餐图像作为训练图片，剩余5%数量的早餐图像作为测试图片；

通过SamplePairing数据增强方法将95%数量的早餐图像增强为早餐图像初始总数的10倍，并按照7:1的比例重新划分为训练集和验证集，即将训练图片进行镜像和随机裁剪为分辨率为224×224的图像，将训练图片随机混合经过SamplePairing处理生成4000张早餐图像，再按照7:1的比例将4000张早餐图像重新划分为训练集和验证集；

使用训练集对早餐图像内的标记模型进行迭代训练和标注，得到标记训练模型，再使用验证集对该标记训练模型进行验证；

使用训练图片对该标记训练模型进行测试标注：

当测试标注的标注选框与实际框的比值≥0.5时，得到最终的标记模型；

当测试标注的标注选框与实际框的比值＜0.5时，重新训练标记模型；

通过最终的标记模型对获取到的若干个早餐图像进行分别识别和标注：所述标注的标签为“食物品名”或“食物品名+破损”。

2.根据权利要求1所述的一种食物智能协作方法，其特征在于，所述步骤S5包括：

步骤S5-1：调取第一幅早餐图像的食物信息数据表；

步骤S5-2：判断该食物信息数据表中是否含有所需食物品名：

如果不含有，调取下一幅早餐图像的食物信息数据表，进行步骤S5-2。

3.根据权利要求2所述的一种食物智能协作方法，其特征在于，所述步骤S5-2还包括：

如果含有，判断所需食物品名在该早餐图像的食物信息数据表中的数量与所需数量的关系：

如果该数量等于所需数量，协作机器人（3）移动至该图像所在位置，并将该食物放置于顾客餐盘内，并将该顾客所需数量减至零，重新获取该图像所在位置的早餐经过拾取后的早餐图像和进行步骤S2。

4.根据权利要求3所述的一种食物智能协作方法，其特征在于，所述步骤S5-2还包括：

如果该数量小于所需数量，协作机器人（3）移动至该图像所在位置，并将该食物放置于顾客餐盘内，并将该顾客所需数量减少相应数量，重新获取该图像所在位置的早餐经过拾取后的早餐图像和进行步骤S2，调取下一幅早餐图像，进行步骤S5-2；

如果该数量大于所需数量，协作机器人（3）移动至该图像所在位置，并将所需数量的该食物放置于顾客餐盘内，并将该顾客所需数量减少相应数量，重新获取该图像所在位置的早餐经过拾取后的早餐图像和进行步骤S2。

5.一种早餐制备系统，其特征在于，所述早餐制备系统应用权利要求1至4中任意一项的食物智能协作方法，所述早餐制备系统还包括早餐制作装置（1）、图像采集装置（2）、协作机器人（3）以及控制器（4），所述控制器（4）内存储有若干个食物信息数据表。