[发明专利]基于视频理解的无感取菜模型建立、取菜方法及装置

说明书

本发明涉及基于视频理解的无感取菜模型建立、取菜方法及装置，包括：通过训练好的无感取菜模型识别用餐人的取菜动作，根据取菜动作将用餐人的菜品与用餐人餐盘进行匹配，通过计算每种菜品的重量，对用餐人做个体统计，通过无感取菜模型识别取菜动作，相比于现有技术，不需要用餐人拿取每种菜品前将餐盘放置于指定的感应区域，提高了用餐人的取菜效率，用餐人在取菜过程中，只需要正常取菜就行，不需要做额外的动作，提高了用餐人的配合度。

技术领域

本发明涉及动作识别技术领域，具体涉及基于视频理解的无感取菜模型建立、取菜方法及装置。

背景技术

在一些特殊的食堂场景中（如针对专业运动员的食堂），需对用户每餐摄取的食物进行精细化统计；

在现有的技术中，一般在餐盘上植入RFID芯片，在每种菜品前，会放置一个感应区，用餐人拿菜前，需先将餐盘，放置在感应区内，等待识别后，再进行取菜的操作，也就是每拿一种菜品，都需要将餐盘摆放至指定感应区，每次感应也有一定的延迟，用餐人配合度较低。

发明内容

有鉴于此，本发明的目的在于提供基于视频理解的无感取菜模型建立、取菜方法及装置，以解决现有技术中，用餐人每拿取一种菜品，都需要将餐盘放置指定感应区等待感应，感应存在延迟，用餐人取菜时间长、配合度较低的问题。

根据本发明实施例的第一方面，提供基于视频理解的无感取菜模型建立方法，所述方法包括：

获取人体取菜的视频，对所述视频进行抽帧获取到多个视频帧，对所述多个视频帧中包含有取菜动作的视频帧标注为正常样本，选取所述正常样本作为数据集；

将所述数据集中的正常样本输入到目标神经网络模型的编码器中，通过所述编码器对正常样本进行映射得到正常样本的映射向量，所述目标神经网络模型的解码器对所述正常样本的映射向量进行重建，输出重建后的视频帧；

计算重建后的视频帧与正常样本的视频帧之间的损失值，通过梯度下降方法调整所述目标神经网络模型的参数，直至损失值不再降低或达到预设的迭代次数，获得无感取菜模型。

根据本发明实施例的第二方面，提供基于视频理解的无感取菜方法，所述方法基于所述的基于视频理解的无感取菜模型建立方法得到的所述无感取菜模型，所述取菜方法包括：

预先将用餐人身份信息与其人脸图像进行绑定；

用餐人用餐时，将用餐人身份信息与餐盘进行匹配；

根据训练好的无感取菜模型将用餐人餐盘与用餐人所拿菜品进行匹配；

获取用餐人每种菜品所拿的重量；

根据用餐人每种菜品的重量对用餐人做个体统计。

优选地，

所述预先将用餐人身份信息与其人脸识别图像进行绑定包括：

根据用餐人提供的人脸图像，将所述人脸图像与用餐人用餐时的饭卡进行绑定。

优选地，

所述用餐人用餐时，将用餐人身份信息与餐盘进行匹配包括：

对每个餐盘设置编号，用餐人使用所述饭卡刷卡后拿取餐盘，将所述饭卡与所述餐盘对应的编号进行绑定。

优选地，

所述根据训练好的无感取菜模型将用餐人餐盘与用餐人所拿菜品进行匹配包括：

用餐人取菜时，获取用餐人的人脸图像以及取菜视频，将所述人脸图像输入到预设的人脸识别模型中，获取到该人脸图像对应的用餐人身份信息，根据用餐人身份信息获取到用餐人的饭卡，根据用餐人的饭卡获取用餐人的餐盘编号；