[发明专利]情绪识别方法、装置、设备及存储介质

权利要求书

1.一种情绪识别方法，其特征在于，所述方法应用于情绪识别装置，所述方法包括以下步骤：

获取视频文件；

从所述视频文件中识别具有业务分析价值的业务片段；

对所述业务片段对应的图像人物进行人脸检测，得到人脸图像；

对所述人脸图像进行表情识别，得到所述人脸图像的表情识别结果；

将所述人脸图像的表情识别结果、预先得到的所述人物的抱胸动作识别结果和预先得到的所述人物的点头动作识别结果进行融合，得到融合后的所述人物的情绪结果。

2.如权利要求1所述的情绪识别方法，其特征在于，所述情绪识别装置包括：业务片段识别模块，所述从所述视频文件中识别具有业务分析价值的业务片段的步骤包括：

从所述视频文件中读取当前帧的图像；

对所述当前帧的图像进行人体检测，得到人物在所述当前帧的图像中的位置信息；

结合所述位置信息，若所述人物的位置稳定且所处面积占所述当前帧的图像1/10以上，则根据人物的服装、所处区域、停留时间中的一种或多种判断人物身份；

统计全天的时间线，若某一时间段存在不同人物身份且所述时间段超过预设的人物停留时长阈值，则将所述时间段作为具有业务分析价值的时间片段；

通过所述业务片段识别模块识别所述具有业务分析价值的时间片段，基于所述时间片段得到具有业务分析价值的业务片段。

3.如权利要求2所述的情绪识别方法，其特征在于，所述情绪识别装置还包括：抱胸动作识别模块，所述对所述业务片段对应的图像人物进行人脸检测，得到人脸图像的步骤之前还包括：

通过所述抱胸动作识别模块，对所述业务片段对应的图像人物进行抱胸动作识别，得到所述人物的抱胸动作识别结果。

4.如权利要求2所述的情绪识别方法，其特征在于，所述情绪识别装置还包括：人脸检测模块，所述对所述业务片段对应的图像人物进行人脸检测，得到人脸图像的步骤包括：

通过所述人脸检测模块，对所述业务片段对应的图像人物进行人脸检测，得到人脸图像；

基于所述人脸图像获取人脸位置信息，所述人脸位置信息包括检测框的左上角坐标、检测框的右下角坐标和预设数量个人脸关键点坐标。

5.如权利要求4所述的情绪识别方法，其特征在于，所述情绪识别装置还包括：点头动作识别模块，所述对所述业务片段对应的图像人物进行人脸检测，得到人脸图像的步骤之后还包括：

根据所述预设数量个人脸关键点坐标，计算所述关键点在相邻时间序列的垂直移动距离；

基于所述垂直移动距离定义抬头判断条件和低头判断条件；

通过所述点头动作识别模块，基于所述抬头判断条件和低头判断条件对所述人物的人脸进行点头动作识别，得到所述人物的点头动作识别结果。

6.如权利要求4所述的情绪识别方法，其特征在于，所述情绪识别装置还包括：无效人脸剔除模块，所述对所述人脸图像进行表情识别，得到所述人脸图像的表情识别结果的步骤之前还包括：

基于所述人脸位置信息对所述人脸图像进行无效人脸判断，剔除无效人脸，得到剔除无效人脸后的人脸图像。

7.如权利要求2所述的情绪识别方法，其特征在于，所述情绪识别装置还包括：结果融合模块，所述将所述人脸图像的表情识别结果、预先得到的所述人物的抱胸动作识别结果和预先得到的所述人物的点头动作识别结果进行融合，得到融合后的所述人物的情绪结果的步骤包括：

确定表情识别结果、抱胸动作识别结果和点头动作识别结果的融合权重；

通过结果融合模块，结合所述融合权重，将所述人脸图像的表情识别结果、预先得到的所述人物的抱胸动作识别结果和预先得到的所述人物的点头动作识别结果进行融合，得到融合后的所述人物的情绪结果。