[发明专利]一种基于多模态特征的抑郁倾向测评系统和方法

权利要求书

1.一种基于多模态特征的抑郁倾向测评系统，其特征在于，包括：

原始数据采集装置，用于采集原始数据，所述原始数据包含待测用户面部的视频数据、包含待测用户声音的音频数据和包含待测用户步态的视频数据；

数据预处理装置，用于从所述原始数据中提取待处理数据，所述待处理数据包括待测用户的面部视频数据、音频数据和步态视频数据；

多模态特征提取装置，用于依据所述待处理数据获取多模态特征数据，所述多模态特征数据包括面部特征数据、音频特征数据和步态特征数据；所述面部特征数据包括面部特征向量；所述音频特征数据包括语音特征向量；所述步态特征数据包括步态特征向量；

结果输出装置，用于将所述多模态特征数据输入一抑郁倾向测评数学模型，以获取抑郁倾向测评结果。

2.如权利要求1所述的抑郁倾向测评系统，其特征在于，所述依据所述待处理数据获取多模态特征数据，包括：

对所述面部视频数据按一预设帧率进行采样，以获取面部图片；

对采样获取的每一帧所述面部图片使用MTCNN网络进行人脸图像裁剪和对齐；

采用面部编码器对裁剪后的所述面部图片进行特征提取，以获取所述面部特征向量；其中，所述面部编码器以ResNet-50作为主干网络。

3.如权利要求1所述的抑郁倾向测评系统，其特征在于，所述依据所述待处理数据获取多模态特征数据，包括：

对所述音频数据按一预设步长截取短期帧；

通过支持向量机模型对所述短期帧进行筛选，以裁减掉非语音段并保留语音段；

对筛选后的所述短期帧进行拼接，以获取预设时间长度的音频片段；

提取所述音频片段的音频统计特性；所述音频统计性包括频率特征、能量特征和/或谱特征；

计算每个所述音频片段的梅尔功率谱图；

应用卷积神经网络对所述音频统计特性进行特征提取，以获取音频特性特征；

和所述梅尔功率谱图进行特征提取，以获取梅尔功率谱图特征；

将所述音频特性特征和所述梅尔功率谱图特征进行中期融合，以获取所述语音特征向量。

4.如权利要求1所述的抑郁倾向测评系统，其特征在于，所述依据所述待处理数据获取多模态特征数据，包括：

对所述步态视频数据按一预设帧率进行采样，以获取步态图片；

对采样获取的每一帧所述步态图片用OpenPose工具提取人体25个关键点的坐标，以获得步态特征矩阵；

采用步态编码器对所述步态特征矩阵进行特征提取，以获取所述步态特征向量。

5.如权利要求4所述的抑郁倾向测评系统，其特征在于，所述步态编码器包括图卷积网络、时间卷积网络和空间自注意力网络。

6.如权利要求5所述的抑郁倾向测评系统，其特征在于，所述对采样获取的每一帧所述步态图片用OpenPose工具提取人体25个关键点的坐标，以获得步态特征矩阵，包括：

每个所述坐标有x，y，z三个分量，每一帧所述步态图片对应的特征向量矩阵维度为（m,n）；其中，m和n为自然数；

依据所述步态视频数据得到一个连续的时间序列数据，将所述时间序列数据转换为所述步态特征矩阵，所述步态特征矩阵的维度为（N，n，T，m）；其中，N为样本数，T为每个样本的帧数。

7.如权利要求1所述的抑郁倾向测评系统，其特征在于，所述抑郁倾向测评数学模型的获取方法包括：

构建样本集，获取以评级的抑郁症患者和非抑郁症患者的面部视频数据、音频数据和步态视频数据；依据以评级的所述抑郁症患者和非抑郁症患者的面部视频数据、音频数据和步态视频数据获取所述多模态特征数据；以评级的所述抑郁症患者和非抑郁症患者是依据汉密顿抑郁量表进行抑郁值评分；

将所述面部特征向量、所述语音特征向量和所述步态特征向量进行融合，并通过回归获得对应所述汉密顿抑郁量表的抑郁值；所述抑郁倾向测评结果为对应所述汉密顿抑郁量表的抑郁值。