[发明专利]一种应用于抑郁症检测的语音、面部特征提取方法及系统

摘要

本发明公开一种应用于抑郁症检测的语音、面部特征提取方法及系统。根据能量信息法将音频数据进行特征提取，得到频谱参数和声学参数；将上述参数输入第一深度神经网络模型，得到语音深度特征数据；将视频图像进行静态特征提取，得到帧图像；将帧图像输入第二深度神经网络模型，得到面部特征数据；将视频图像进行动态特征提取，得到光流图像；将光流图像输入第三深度神经网络模型，得到面部运动特征数据；将面部特征数据和运动特征数据输入第三深度神经网络模型，得到面部深度特征数据；将语音深度特征数据和面部深度特征数据输入第四神经网络模型，得到融合数据。采用本发明的方法或系统能够提高抑郁症的筛查结果的精度和提高抑郁症的检测效率。

主权项

1.一种应用于抑郁症检测的语音、面部特征提取方法，其特征在于，所述方法包括：随机选取一段音视频数据；根据能量信息法将所述音视频数据中的音频数据进行特征提取，得到频谱参数和声学参数；将所述频谱参数和所述声学参数输入第一深度神经网络模型，得到音频的语音深度特征数据；将所述音视频数据中的视频图像进行静态特征提取，得到帧图像；将所述帧图像输入第二深度神经网络模型，得到面部特征数据；将所述音视频数据中的视频图像进行动态特征提取，得到光流图像；将所述光流图像输入第三深度神经网络模型，得到面部运动特征数据；将所述面部特征数据和所述面部运动特征数据输入第三深度神经网络模型，得到视频的面部深度特征数据；将所述语音深度特征数据和所述面部深度特征数据输入第四神经网络模型，得到融合数据。