[发明专利]基于环形模型的复杂情绪检测方法和系统

说明书

本发明提供一种基于环形模型的复杂情绪检测方法、系统、存储介质和电子设备，涉及情绪检测技术领域。本发明预先构建深度学习模型，包括基础提取模块，人脸特征矫正模块和特征融合模块；收集并预处理待测人员的人脸图片；将预处理后的人脸图片输入所述基础提取模块，获取第一特征图；将所述第一特征图输入所述人脸特征矫正模块，获取关注人脸关键点区域的第二特征图；将所述第二特征图输入所述特征融合模块，再通过全连接层获取该人脸图片对应的唤醒度和效价的预测值；根据所述唤醒度和效价的预测值，结合预设的向量映射坐标图，映射所述待测人员的情绪状态。弥补了由于数据集标签限制，导致一些情绪如焦虑、抑郁等，无法检测的技术空白。

技术领域

本发明涉及情绪检测技术领域，具体涉及一种基于环形模型的复杂情绪检测方法、系统、存储介质和电子设备。

背景技术

人脸表情是人类表达内心想法和情感状态的最直接、最有力的信号，因此人脸表情识别在许多领域有着非常重要的作用，如驾驶、医疗、教育等。

随着深度学习的发展，各种网络结构层出不穷，基于深度学习的人脸表情识别准确率也越来越高。但是受制于数据集标签的影响，目前人脸表情识别算法一般只能预测八种常见基本情绪：平静、高兴、悲伤、惊讶、害怕、生气、轻蔑、厌恶。

在上世纪八十年代，罗素提出了情绪分类的环形模式。其认为情感维度不是独立的，而是以高度系统化的方式相互关联的。情绪可划分为两个维度：唤醒度(arousal)和效价(valence)，由此可以组合成情绪的其他类型。

因此，以此理论为基础，有必要提出一种新的网络结构，用带有唤醒度和效价标签的人脸图片去训练模型，使其能够预测唤醒度和效价，进而弥补现有技术只能预测常见基本情绪的缺陷。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种基于环形模型的复杂情绪检测方法、系统、存储介质和电子设备，解决了现有技术只能预测常见基本情绪的技术问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

一种基于环形模型的复杂情绪检测方法，该方法预先构建深度学习模型，所述深度学习模型包括基础提取模块，人脸特征矫正模块和特征融合模块；

所述复杂情绪检测方法包括：

S1、收集并预处理待测人员的人脸图片；

S2、将预处理后的人脸图片输入所述基础提取模块，获取第一特征图；

S3、将所述第一特征图输入所述人脸特征矫正模块，获取关注人脸关键点区域的第二特征图；

S4、将所述第二特征图输入所述特征融合模块，再通过全连接层获取该人脸图片对应的唤醒度和效价的预测值；

S5、根据所述唤醒度和效价的预测值，结合预设的向量映射坐标图，映射所述待测人员的情绪状态。

优选的，所述S2中，所述获取第一特征图包括：

对预处理后的三通道的人脸图片进行2d卷积；

采用归一化函数和激活函数进一步处理，特征图尺寸保持不变；

采用最大池化操作；

最后采用多个3*3的2d卷积层对特征图进行处理，只改变通道数而保持特征图尺寸不变，层与层之间使用残差连接，获取所述第一特征图。

优选的，所述人脸特征矫正模块包括两个级联的四阶Hourglass网络。

优选的，所述S3中，所述获取关注人脸关键点区域的第二特征图包括：