[发明专利]一种基于多模态信息融合的智能心理评估方法及系统

说明书

本公开公开了一种基于多模态信息融合的智能心理评估方法及系统，包括对采集的生理信号和行为信号分别利用多模深度信念网络分别获取生理信号和行为信号的高层特征，得到高层生理特征和高层行为特征；利用双模深度信念网络将高层生理特征和高层行为特征进行模态特征的融合，得到多模态融合特征；使用分类器对多模态融合特征进行分类，得到心理评估分类结果。利用深度信念网络的学习特性，对生理信号和行为信号的各模态特征分别进行融合，解决多源异质数据无法有效融合的问题，增强了心理评估结果的准确性和客观性。

技术领域

本公开涉及计算心理学技术领域，特别是涉及一种基于多模态信息融合的智能心理评估方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

随着时代的进步，传统心理测量方法与工具的不足日渐显露，这些不足体现在：基于先验知识的心理学研究逻辑不严谨，测量过程耗费大量的人力和物力，非代表性取样与研究情景不真实，数据收集与分析过程缓慢，心理评估结果反馈时间滞后性等。

在传统研究方法的基础上，研究基于多模态信息融合的心理测量关键技术，可以帮助更好地鉴别个体在智力、人格、心理健康等心理特征上的差异性，从而确定个体的相对优劣之处，为因材施教和人尽其才提供定量化的依据，这些研究成果可以转化应用于医疗、教育、管理、军事、工业等各个领域。

在现有技术中，基于情感词典和规则的方法通过文字中的负面情感词和正面情感词的个数识别情感倾向；但是发明人发现，首先情感词典的构建费时费力；其次构建的情感词典对心理评估的准确性产生干扰，过度依赖于情感词典，而忽视被测者心理信号本身存在的情感特征。基于规则的方法中，方法的制定取决于人的主观意识，不是以真实数据为主导的评估方式。

另外，多模态信息融合技术作为计算心理学的新兴研究领域，借助大数据存储管理和云计算作为研究工具，利用数据挖掘技术对数据进行分析建模，可以建立基于机器学习算法的心理特征、心理病症诊断等模型。但是，发明人发现现有的多模态特征融合方法仅通过简单的拼接来组合特征，或将所有模态信息直接利用深度模型进行融合，这样会导致特征冗余和关键特征不足等问题，造成多模态情感识别效果不理想。

发明内容

为了解决上述问题，本公开提出了一种基于多模态信息融合的智能心理评估方法及系统，利用深度信念网络的学习特性，对生理信号和行为信号的各模态特征分别进行融合，解决多源异质数据无法有效融合的问题，增强了心理评估结果的准确性和客观性。

为了实现上述目的，本公开采用如下技术方案：

第一方面，本公开提供一种基于多模态信息融合的智能心理评估方法，包括：

接收用户对虚拟现实场景中心理测试任务的选择，并启动多通道生理记录仪采集用户完成心理测试任务过程中的生理信号和行为信号，构成测试样本；

对测试样本利用多模深度信念网络分别获取生理信号和行为信号的高层特征，得到高层生理特征和高层行为特征；

利用双模深度信念网络将高层生理特征和高层行为特征进行模态特征的融合，得到多模态融合特征；

根据预先构建的情感数据库中的情感类别训练分类器，使用训练后的分类器对多模态融合特征进行情感标签的标注，得到测试样本的情绪类别。

第二方面，本公开提供一种基于多模态信息融合的智能心理评估系统，包括：

数据采集模块，被配置为接收用户对虚拟现实场景中心理测试任务的选择，并启动多通道生理记录仪采集用户完成心理测试任务过程中的生理信号和行为信号，构成测试样本；

信号特征提取模块，被配置为对测试样本利用多模深度信念网络分别获取生理信号和行为信号的高层特征，得到高层生理特征和高层行为特征；