[发明专利]一种用餐智能检测评分方法和系统

权利要求书

1.一种用餐智能检测评分方法，其特征在于：包括如下步骤：

步骤A：采集实时用餐视频数据流，获取用餐图像；

步骤B：获取用餐图像中的人脸信息，将人脸信息在人脸比对库中进行对比，识别人脸身份；

步骤C：获取用餐视频数据流中的餐盘信息，对餐盘信息进行识别，获取所识别的人脸身份的用餐情况，得出用餐评分等级，生成个人用餐情况信息；

步骤D：根据用餐评分等级控制提示装置发出用餐提醒。

2.根据权利要求1所述一种用餐智能检测评分方法，其特征在于：

在所述步骤B中，识别人脸身份包括：

步骤B1：判断用餐图像中是否存在人脸，如果存在人脸，则返回用餐图像中人脸所在位置；

步骤B2：获取用餐图像中人脸所在位置的人脸关键点的位置；

步骤B3：根据人脸关键点的位置，采用相似变换，将人脸关键点对齐到标准人脸关键点，通过截取得到对齐且尺度归一的人脸图像；

步骤B4：对人脸图像进行特征提取，将人脸图像表示成具有高层语义信息的特征向量；

步骤B5：将人脸特征与人脸比对库中的特征进行比较，得到检测结果。

3.根据权利要求2所述一种用餐智能检测评分方法，其特征在于：

在所述步骤B1中，包括如下步骤：

对原始用餐图像进行滑窗，对窗口中的图像提取特征；

将提取的特征输入训练好的人脸判别分类器，判断该窗口区域中人脸的置信度，保留人脸置信度大于预设置信度的窗口；

通过非极大值抑制对所保留的窗口进行融合，得到人脸检测结果。

4.根据权利要求3所述一种用餐智能检测评分方法，其特征在于：

通过对滑窗窗口的大小进行缩放和/或等效的对原始用餐图像构建图形金字塔，以检测不同尺度人脸。

5.根据权利要求3所述一种用餐智能检测评分方法，其特征在于：

包括使用人脸非人脸二分类网络和人脸框校准网络对人脸检测进行训练和测试；

人脸非人脸二分类网络包括：

12-net、24-net和48-net；

人脸框校准网络包括：

12-calibration-net、24-calibration-net和48-calibration-net；

训练步骤包括：

将标注的每个人脸框进行45种变换，相同变换具有相同的标签，训练一个45分类的分类器，预测当前人脸框是45种人脸框中每一种的概率；

测试步骤包括：

输入原始用餐图像，通过12-net对整张原始用餐图像进行扫描，拒绝90％以上的非人脸窗口；剩余的窗口输入到12-calibration-net中，调整窗口的大小和位置；

调整后的窗口，经过非极大值抑制，去掉重合度过高的人脸框，将剩余的人脸框输入到24-net，去掉非人脸的窗口；

将24-net的输出窗口输入到24-calibration-net，调整窗口的大小和位置；依次再经过非极大值抑制、48-net和48-calibration-net，得到最终的人脸检测结果。

6.根据权利要求2所述一种用餐智能检测评分方法，其特征在于：

在所述步骤B2中，包括如下步骤：

训练关键点定位神经网络；

将用餐图像中人脸所在位置的区域图像输入关键点定位神经网络，回归得到人脸106个关键点的位置；

其中，训练关键点定位神经网络包括：

定义一个卷积神经网络，输入人脸区域图像，将该人脸区域图像的关键点作为监督信息，将SmoothL1Loss函数作为损失函数，采用Caffe平台对该卷积神经网络进行训练。