[发明专利]基于多模态生理数据的心理量表置信度评估方法及系统

权利要求书

1.基于多模态生理数据的心理量表置信度评估方法，其特征在于，包括：

采集被试者在心理量表测试过程中单题目的多模态生理信号数据，并分别进行预处理；

对单题目时刻生理信号按时间戳进行数据切片，标准为时间戳工具数据，完成各模态分段操作；

对各模态分别训练预测模型获得单题目置信度，并在特征层和决策层分别设计策略进行融合，获得更准确地单题目置信度；

将各量表单题目置信度和行为数据输入至概率密度模型进行量表置信度的预测。

2.如权利要求1所述的基于多模态生理数据的心理量表置信度评估方法，其特征在于，所述单题目的多模态生理信号数据包括心电、脑电、眼动、皮电以及微表情生理信号数据。

3.如权利要求1所述的基于多模态生理数据的心理量表置信度评估方法，其特征在于，对心电数据进行预处理时采取滤除手段，包括叠加平均法过滤基线漂移、带陷滤波器过滤频率干扰、巴特沃滤波器过滤肌电干扰，以及硬阈值和软阈值进行小波阈值去噪。

4.如权利要求1所述的基于多模态生理数据的心理量表置信度评估方法，其特征在于，脑电信号的预处理包括全脑平均做重参考、做通道位置信息标准、降采样、删除无用数据、去除磁场干扰、数据切段、基线校正、矫正坏道、剔除伪迹、移除掉坏段。

5.如权利要求1所述的基于多模态生理数据的心理量表置信度评估方法，其特征在于，对眼动信号做数据平滑以及去燥滤波、有效区域保留、眼跳识别处理。

6.如权利要求1所述的基于多模态生理数据的心理量表置信度评估方法，其特征在于，在单模态数据进行分别预处理后，将各模态数据提取同一处理部分再进行共同处理，包括删除重复按键、异常按键完成按键时间戳标准化。

7.如权利要求1所述的基于多模态生理数据的心理量表置信度评估方法，其特征在于，对不同量表中的异常题目取相似题目信号补充，处理异常答题行为情况，将时间过长数据进行截取，将时间过短数据进行补0。

8.如权利要求1所述的基于多模态生理数据的心理量表置信度评估方法，其特征在于，针对不同的生理模态数据建立不同维度的卷积神经网络进行特征提取，提取各模态的时频域特征、小波分析特征、基于EMD的特征、相关系数特征。

9.基于多模态生理数据的心理量表置信度评估系统，其特征在于，包括：

数据采集模块，用于采集被试者在心理量表测试过程中单题目的多模态生理信号数据，

数据处理模块，用于各模态分别进行预处理，对单题目时刻生理信号按时间戳进行数据切片，标准为时间戳工具数据，完成各模态分段操作；

数据融合模块，用于对各模态分别训练预测模型获得单题目置信度，并在特征层和决策层分别设计策略进行融合，获得更准确地单题目置信度；

预测模块，用于将各量表单题目置信度和行为数据输入至概率密度模型进行量表置信度的预测。

10.如权利要求9所述的基于多模态生理数据的心理量表置信度评估系统，其特征在于，所述单题目的多模态生理信号数据包括心电、脑电、眼动、皮电以及微表情生理信号数据。