[发明专利]基于多模态特征融合的管理层心理状态识别方法及系统

说明书

本发明提供一种基于多模态特征融合的管理层心理状态识别方法及系统，涉及心理状态识别技术领域。本发明首先获取管理层人员发言时的视频数据和文字互动界面文本信息数据的多模态数据，提取上述多模态数据的人脸图像特征、行为姿态特征，以及文本数据特征等多模态特征；再对这些特征进行融合，得到多模态融合后的特征，并对多模态融合后的特征进行降维；最后利用降维后的融合后特征和预先获取的管理层心理状态分类标签数据训练基于支持向量机的多模态数据心理状态识别模型，并利用训练后的多模态数据心理状态识别模型即可实现对管理层人员的心理状态识别。本发明的心理状态识别技术其精度和准确率更高，能够更真实全面地分析管理层心理状态。

技术领域

本发明涉及心理状态识别技术领域，具体涉及一种基于多模态特征融合的管理层心理状态识别方法及系统。

背景技术

世界卫生组织为健康提出了一个三维的定义，即“健康是一种在身体上、心理上和社会上的完满状态。”其中，心理状态是个体处在特定的场景刺激下由于心理活动所产生的一系列反应，具体表现在肢体或面部活动以及生理状态的协调变化等。心理状态在日常生活和人际交往中十分重要，因此在近些年来，对心理状态识别的研究逐渐成为热点。在金融领域中，管理层的心理状态通常与公司的经营发展情况相关，评估管理层召开业绩说明会视频时的心理状态，将有助于投资者关注管理层的心理状态，从而帮助投资者分析判断并进行投资决策。

目前，常见的心理状态识别技术主要针对单一模态的信息进行分析研究，例如，针对人脸表情的心理状态识别、基于生理信号如脑电的心理状态识别、对语音信息的心理状态识别等。

然而，单一模态信息析取的指标特征对心理状态不具有完整的信息表达，因此，基于此的心理状态识别其准确率有待提高。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种基于多模态特征融合的管理层心理状态识别方法及系统，解决了现有基于单一模态信息进行心理状态识别时存在准确率较低的问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

第一方面，本发明首先提出一种基于多模态特征融合的管理层心理状态识别方法，所述方法包括：

获取管理层人员发言时的视频数据、文字互动界面文本信息数据，以及管理层心理状态分类标签数据；

基于CNN卷积神经网络提取所述视频数据的人脸图像特征，基于图卷积网络和时间卷积网络提取所述视频数据的行为姿态特征；以及基于BERT模型获取所述文字互动界面文本信息数据的文本数据特征；

基于矩阵的TFN方法对所述人脸图像特征、所述行为姿态特征，以及所述文本数据特征进行特征融合以获取融合后特征；

利用PCA主成分分析法对所述融合后特征进行降维获取降维后的融合后特征；

基于所述降维后的融合后特征和所述管理层心理状态分类标签数据利用支持向量机进行管理层心理状态识别。

优选的，所述基于CNN卷积神经网络提取所述视频数据的人脸图像特征包括：

将所述视频数据文件切割成帧图片并保存；

使用Python调用cv2库对所述帧图片进行人脸识别并保存带有人脸的图片；

对带有人脸的图片进行包括预处理，灰度化、几何变化、图像增强的操作；

使用CNN卷积神经网络提取经过上述操作后的人脸图片的人脸图像特征。

优选的，所述基于图卷积网络和时间卷积网络提取所述视频数据的行为姿态特征包括：

使用Openpose获取每帧图像中管理层的上半身关节点信息；