[发明专利]一种基于多模态特征的抑郁倾向测评系统和方法

说明书

本申请公开了一种基于多模态特征的抑郁倾向测评系统和方法，该抑郁倾向测评系统包括原始数据采集装置、数据预处理装置、多模态特征提取装置和结果输出装置。原始数据采集装置用于采集原始数据，数据预处理装置用于从原始数据中提取待处理数据，多模态特征提取装置用于依据待处理数据获取多模态特征数据，结果输出装置用于将多模态特征数据输入一抑郁倾向测评数学模型，以获取抑郁倾向测评结果。由于多模态特征数据包括待测用户的面部特征数据、音频特征数据和步态特征数据，并将该多模态特征输入抑郁倾向测评数学模型以实现对待测用户的抑郁倾向测评，进而提高抑郁倾向测评的准确性。

技术领域

本发明涉及人体检测系统和检测数据处理与智能分析技术领域，具体涉及一种基于多模态特征的抑郁倾向测评系统和方法。

背景技术

当今社会人们的压力越来越大，过大的压力会使人产生抑郁倾向，严重影响人们的学习、工作和生活。抑郁倾向在人们的生活中普遍存在，其主要表现为心情低落、注意偏差、记忆力降低等等。目前常见的自查抑郁倾向的测量方法通常采用心理健康自查表，如《状况自评表SCL90》、《伯恩斯抑郁状况自查表》等等。在此背景下，运用人工智能技术辅助医生进行病患的筛查和识别，减轻医生的工作压力，具有重要的现实意义。

现有基于人工智能技术的抑郁症检测方法中，基于面部表情、语音的较多。在基于面部表情的特征提取中，AUs和Landmarks已被证实是有效特征，但低维的手工特征仍无法代表整个面部信息，造成大量信息损失。在基于音频的特征提取中，虽然声学特征提取的方式多种多样，但缺乏泛化能力强、能消除因特征不同或同一特征实现方式不同所造成差异的简约、可自动提取的特征集。基于步态进行抑郁症检测的研究较为缺失，尚没有行之有效的解决方案。

发明内容

本发明主要解决的技术问题是如何基于面部表情、语音和步态的多模态进行抑郁倾向的评测。

第一方面，一种实施例中提供一种基于多模态特征的抑郁倾向测评系统，其特征在于，包括：

原始数据采集装置，用于采集原始数据，所述原始数据包含待测用户面部的视频数据、包含待测用户声音的音频数据和包含待测用户步态的视频数据；

数据预处理装置，用于从所述原始数据中提取待处理数据，所述待处理数据包括待测用户的面部视频数据、音频数据和步态视频数据；

多模态特征提取装置，用于依据所述待处理数据获取多模态特征数据，所述多模态特征数据包括面部特征数据、音频特征数据和步态特征数据；所述面部特征数据包括面部特征向量；所述音频特征数据包括语音特征向量；所述步态特征数据包括步态特征向量；

结果输出装置，用于将所述多模态特征数据输入一抑郁倾向测评数学模型，以获取抑郁倾向测评结果。

一实施例中，所述依据所述待处理数据获取多模态特征数据，包括：

对所述面部视频数据按一预设帧率进行采样，以获取面部图片；

对采样获取的每一帧所述面部图片使用MTCNN网络进行人脸图像裁剪和对齐；

采用面部编码器对裁剪后的所述面部图片进行特征提取，以获取所述面部特征向量；其中，所述面部编码器以ResNet-50作为主干网络。

一实施例中，所述依据所述待处理数据获取多模态特征数据，包括：

对所述音频数据按一预设步长截取短期帧；

通过支持向量机模型对所述短期帧进行筛选，以裁减掉非语音段并保留语音段；

对筛选后的所述短期帧进行拼接，以获取预设时间长度的音频片段；

提取所述音频片段的音频统计特性；所述音频统计性包括频率特征、能量特征和/或谱特征；

计算每个所述音频片段的梅尔功率谱图；

应用卷积神经网络对所述音频统计特性进行特征提取，以获取音频特性特征；

和所述梅尔功率谱图进行特征提取，以获取梅尔功率谱图特征；