[发明专利]基于环形模型的复杂情绪检测方法和系统

权利要求书

1.一种基于环形模型的复杂情绪检测方法，其特征在于，该方法预先构建深度学习模型，所述深度学习模型包括基础提取模块，人脸特征矫正模块和特征融合模块；

所述复杂情绪检测方法包括：

S1、收集并预处理待测人员的人脸图片；

S2、将预处理后的人脸图片输入所述基础提取模块，获取第一特征图；

S3、将所述第一特征图输入所述人脸特征矫正模块，获取关注人脸关键点区域的第二特征图；

S4、将所述第二特征图输入所述特征融合模块，再通过全连接层获取该人脸图片对应的唤醒度和效价的预测值；

S5、根据所述唤醒度和效价的预测值，结合预设的向量映射坐标图，映射所述待测人员的情绪状态。

2.如权利要求1所述的复杂情绪检测方法，其特征在于，所述S2中，所述获取第一特征图包括：

对预处理后的三通道的人脸图片进行2d卷积；

采用归一化函数和激活函数进一步处理，特征图尺寸保持不变；

采用最大池化操作；

最后采用多个3*3的2d卷积层对特征图进行处理，只改变通道数而保持特征图尺寸不变，层与层之间使用残差连接，获取所述第一特征图。

3.如权利要求1所述的复杂情绪检测方法，其特征在于，所述人脸特征矫正模块包括两个级联的四阶Hourglass网络。

4.如权利要求3所述的复杂情绪检测方法，其特征在于，所述S3中，所述获取关注人脸关键点区域的第二特征图包括：

将所述第一特征图输入第一个Hourglass网络，获取第三特征图；

将所述第三特征图输入第二个Hourglass网络，获取人脸关键点热图；

将所述第一特征图和第三特征图分别与所述人脸关键点热图相乘后相加，获取所述第二特征图。

5.如权利要求1所述的复杂情绪检测方法，其特征在于，所述S4包括：将所述第二特征图依次进行2d卷积、平均池化、最大池化、降维，再通过全连接层输出所述唤醒度和效价的预测值。

6.如权利要求1～5任一项所述的复杂情绪检测方法，其特征在于，所述S5包括：

设当前预测值落在所述向量映射坐标图的点P(v,a)，其中v、a分别表示效价、唤醒度的预测值；任一情绪u的方向单位向量用表示；在上的投影向量则：

点P在情绪u的强度计算方法为方向与u相同结果为方向相反为范围在-1到1之间；

以此类推可以得到每一种情绪方向的投影向量，以及对应的归一化分值，由此判断所述待测者的情绪状态。

7.一种基于环形模型的复杂情绪检测系统，其特征在于，该系统预先构建深度学习模型，所述深度学习模型包括基础提取模块，人脸特征矫正模块和特征融合模块；

所述复杂情绪检测系统包括：

预处理模块，用于收集并预处理待测人员的人脸图片；

提取模块，用于将预处理后的人脸图片输入所述基础提取模块，获取第一特征图；

矫正模块，用于将所述第一特征图输入所述人脸特征矫正模块，获取关注人脸关键点区域的第二特征图；

预测模块，用于将所述第二特征图输入所述特征融合模块，再通过全连接层获取该人脸图片对应的唤醒度和效价的预测值；

映射模块，用于根据所述唤醒度和效价的预测值，结合预设的向量映射坐标图，映射所述待测人员的情绪状态。

8.一种存储介质，其特征在于，其存储有用于基于环形模型的复杂情绪检测的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1～6任一项所述的复杂情绪检测方法。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器；以及

一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如权利要求1～6任一项所述的复杂情绪检测方法。