[发明专利]基于多模态特征融合的管理层心理状态识别方法及系统

权利要求书

1.一种基于多模态特征融合的管理层心理状态识别方法，其特征在于，所述方法包括：

获取管理层人员发言时的视频数据、文字互动界面文本信息数据，以及管理层心理状态分类标签数据；

基于CNN卷积神经网络提取所述视频数据的人脸图像特征，基于图卷积网络和时间卷积网络提取所述视频数据的行为姿态特征；以及基于BERT模型获取所述文字互动界面文本信息数据的文本数据特征；

基于矩阵的TFN方法对所述人脸图像特征、所述行为姿态特征，以及所述文本数据特征进行特征融合以获取融合后特征；

利用PCA主成分分析法对所述融合后特征进行降维获取降维后的融合后特征；

基于所述降维后的融合后特征和所述管理层心理状态分类标签数据利用支持向量机进行管理层心理状态识别。

2.如权利要求1所述的方法，其特征在于，所述基于CNN卷积神经网络提取所述视频数据的人脸图像特征包括：

将所述视频数据文件切割成帧图片并保存；

使用Python调用cv2库对所述帧图片进行人脸识别并保存带有人脸的图片；

对带有人脸的图片进行包括预处理，灰度化、几何变化、图像增强的操作；

使用CNN卷积神经网络提取经过上述操作后的人脸图片的人脸图像特征。

3.如权利要求1所述的方法，其特征在于，所述基于图卷积网络和时间卷积网络提取所述视频数据的行为姿态特征包括：

使用Openpose获取每帧图像中管理层的上半身关节点信息；

对所述关节点信息中的关节点坐标进行归一化处理；

使用图卷积网络和时间卷积网络对归一化处理后的所述关节点坐标进行空间和时间维度的变换，输出行为姿态特征。

4.如权利要求1所述的方法，其特征在于，获取管理层心理状态分类标签数据包括：若干个被试观看所述视频数据中若干个视频片段及文字互动界面后，对每一个所述视频片段以及所述文字互动界面分别在消极和积极的维度上进行等级划分。

5.如权利要求1所述的方法，其特征在于，所述基于所述降维后的融合后特征和所述管理层心理状态分类标签数据利用支持向量机进行管理层心理状态识别包括：

基于支持向量机算法构建多模态数据心理状态识别的心理状态分类器；

将所述降维后的融合后特征作为分类器的输入，将所述管理层心理状态分类标签数据作为输出，训练所述心理状态分类器；

基于训练后的所述心理状态分类器进行管理层心理状态识别。

6.一种基于多模态特征融合的管理层心理状态识别系统，其特征在于，所述系统包括：

数据采集模块，用于获取管理层人员发言时的视频数据、文字互动界面文本信息数据，以及管理层心理状态分类标签数据；

多模态特征提取模块，用于基于CNN卷积神经网络提取所述视频数据的人脸图像特征，基于图卷积网络和时间卷积网络提取所述视频数据的行为姿态特征；以及基于BERT模型获取所述文字互动界面文本信息数据的文本数据特征；

多模态特征融合模块，用于基于矩阵的TFN方法对所述人脸图像特征、所述行为姿态特征，以及所述文本数据特征进行特征融合以获取融合后特征；

特征降维模块，用于利用PCA主成分分析法对所述融合后特征进行降维获取降维后的融合后特征；

心理状态识别模块，用于基于所述降维后的融合后特征和所述管理层心理状态分类标签数据利用支持向量机进行管理层心理状态识别。

7.如权利要求6所述的系统，其特征在于，所述多模态特征提取模块基于CNN卷积神经网络提取所述视频数据的人脸图像特征包括：

将所述视频数据文件切割成帧图片并保存；

使用Python调用cv2库对所述帧图片进行人脸识别并保存带有人脸的图片；

对带有人脸的图片进行包括预处理，灰度化、几何变化、图像增强的操作；

使用CNN卷积神经网络提取经过上述操作后的人脸图片的人脸图像特征。