[发明专利]具有跨媒体信息融合功能的非接触式情绪监测方法

摘要

本申请提供一种具有跨媒体信息融合功能的非接触式情绪监测方法，其中，本方法基于包括监测目标个体面部可见光视频、面部红外热图视频、音频数据在内的非接触式数据，分别确定第一情绪特征向量矩阵、第二情绪特征向量矩阵和第三情绪特征向量矩阵，之后利用可调节的多模态特征融合机制对上述三个情绪特征向量矩阵进行降维和特征提取，从而得到共享模态矩阵和私有模态矩阵，最后基于得到的模态矩阵确定监测目标个体对于每种预设情绪状态的概率分布。上述方案不仅全面增加了用于分析情绪状态的监测数据类型，将多种类型的监测数据进行跨媒体融合，并且能够充分利用有效数据分析情绪状态，在有效提高情绪状态监测准确度的同时增进分析效率。

主权项

1.一种具有跨媒体信息融合功能的非接触式情绪监测方法，其特征在于，包括：/n获取目标个体的面部可见光图像、目标个体的面部红外图像、目标个体的音频信息；/n获取面部可见光图相中多个预定特征点的图像特征信息，和多个预定面部区域的图像特征信息，并基于所述多个预定特征点的图像特征信息和多个预定面部区域的图像特征信息，确定目标个体的第一情绪特征向量矩阵；/n对所述音频信息依次进行预加重处理、分帧处理、加窗处理，并将处理后的音频信息输入LSTM中，利用LSTM提取输入的音频信息的的MFCC特征和LPCC特征，并基于所述MFCC特征和LPCC特征生成目标个体的第二情绪特征向量矩阵；/n基于所述面部红外图像，确定目标个体的额头部位的平均温度信息，基于所述平均温度信息，确定血液灌注值；利用python中的opencv模块对血液灌注值进行处理，得到血液灌注伪彩色图，并利用双向GRU神经网络提取血液灌注伪彩色图中的图像特征，得到目标个体的第三情绪特征向量矩阵；/n利用结构化稀疏投影矩阵U