[发明专利]基于视频理解的无感取菜模型建立、取菜方法及装置

权利要求书

1.基于视频理解的无感取菜方法，其特征在于，所述方法包括：

预先将用餐人身份信息与其人脸图像进行绑定；

用餐人用餐时，将用餐人身份信息与餐盘进行匹配；

根据训练好的无感取菜模型将用餐人餐盘与用餐人所拿菜品进行匹配；

所述根据训练好的无感取菜模型将用餐人餐盘与用餐人所拿菜品进行匹配包括：

用餐人取菜时，获取用餐人的人脸图像以及取菜视频，将所述人脸图像输入到预设的人脸识别模型中，获取到该人脸图像对应的用餐人身份信息，根据用餐人身份信息获取到用餐人的饭卡，根据用餐人的饭卡获取用餐人的餐盘编号；

将所述取菜视频分为多个视频帧输入到训练好的无感取菜模型中；

若所述无感取菜模型输出的重建后的所有视频帧与输入的视频帧之间的损失值均大于预设的阈值，则表明用餐人并没有取菜动作；

若所述无感取菜模型输出的重建后的视频帧与输入的视频帧之间的损失值小于或等于预设的阈值，表明用餐人存在取菜动作；

当所述用餐人存在取菜动作时，获取用餐人的菜品信息，将该菜品信息与所述用餐人餐盘进行匹配；

获取用餐人每种菜品所拿的重量；

根据用餐人每种菜品的重量对用餐人做个体统计。

2.根据权利要求1所述的方法，其特征在于，

所述训练好的无感取菜模型的训练步骤包括：

获取人体取菜的视频，对所述视频进行抽帧获取到多个视频帧，对所述多个视频帧中包含有取菜动作的视频帧标注为正常样本，选取所述正常样本作为数据集；

将所述数据集中的正常样本输入到目标神经网络模型的编码器中，通过所述编码器对正常样本进行映射得到正常样本的映射向量，所述目标神经网络模型的解码器对所述正常样本的映射向量进行重建，输出重建后的视频帧；

计算重建后的视频帧与正常样本的视频帧之间的损失值，通过梯度下降方法调整所述目标神经网络模型的参数，直至损失值不再降低或达到预设的迭代次数，获得无感取菜模型。

3.根据权利要求2所述的方法，其特征在于，

所述预先将用餐人身份信息与其人脸识别图像进行绑定包括：

根据用餐人提供的人脸图像，将所述人脸图像与用餐人用餐时的饭卡进行绑定。

4.根据权利要求3所述的方法，其特征在于，

所述用餐人用餐时，将用餐人身份信息与餐盘进行匹配包括：

对每个餐盘设置编号，用餐人使用所述饭卡刷卡后拿取餐盘，将所述饭卡与所述餐盘对应的编号进行绑定。

5.根据权利要求4所述的方法，其特征在于，

所述获取用餐人的菜品信息包括：每种菜品下方设置有一个重量传感器，当用餐人存在取菜动作时，有对应菜品的重量下降，则判定用餐人拿取的是重量下降的菜品。

6.根据权利要求5所述的方法，其特征在于，

所述获取用餐人每种菜品所拿的重量包括：

根据用餐人拿取菜品之后的菜品重量以及拿取菜品之前的菜品重量计算差值，所述差值即为用餐人拿取的菜品重量。

7.基于视频理解的无感取菜装置，其特征在于，所述装置包括：

身份绑定模块：用于将用餐人身份信息与其人脸图像进行绑定；

餐盘绑定模块：用于用餐人用餐时，将用餐人身份信息与餐盘进行匹配；

菜品绑定模块：用于根据训练好的无感取菜模型将用餐人餐盘与用餐人所拿菜品进行匹配；

包括：

用餐人取菜时，获取用餐人的人脸图像以及取菜视频，将所述人脸图像输入到预设的人脸识别模型中，获取到该人脸图像对应的用餐人身份信息，根据用餐人身份信息获取到用餐人的饭卡，根据用餐人的饭卡获取用餐人的餐盘编号；

将所述取菜视频分为多个视频帧输入到训练好的无感取菜模型中；

若所述无感取菜模型输出的重建后的所有视频帧与输入的视频帧之间的损失值均大于预设的阈值，则表明用餐人并没有取菜动作；

若所述无感取菜模型输出的重建后的视频帧与输入的视频帧之间的损失值小于或等于预设的阈值，表明用餐人存在取菜动作；

当所述用餐人存在取菜动作时，获取用餐人的菜品信息，将该菜品信息与所述用餐人餐盘进行匹配；

重量获取模块：用于获取用餐人每种菜品所拿的重量；

统计模块：用于根据用餐人每种菜品的重量对用餐人做个体统计。