[发明专利]基于DCNN‑DNN和PV‑SVM的多模态抑郁症估计和分类方法

说明书

技术领域

本发明属于计算机和医学结合领域，采用深度卷积神经网络(DCNN)、深度神经网络(DNN)、段落向量(PV)以及支持向量机(SVM)模型，涉及一种从听觉、视觉和文本信息中对抑郁症进行分类的方法。

背景技术

近年来，人工智能领域已经借助机器学习方法，从音频、视频出发建立了多种多样的抑郁症检测系统，来帮助心理学家进行临床抑郁症的检测预防和治疗。在过去的几年中，通过音视频信息来进行抑郁症的检测领域已经取得了许多重要的成果。文献“Decision Tree Based Depression Classification from Audio Video and Language Information,2016 6th AVEC,pp 89-96”公开了一种基于音频、视频的多模态抑郁症估计，之后结合文本信息手动建立决策树对抑郁症进行分类。此方法分为抑郁症估计和抑郁症分类两部分。在抑郁症估计阶段，采用音视频单模态对抑郁症进行初步估计，之后又将音视频的单模态估计结果相结合，进行最终的多模态抑郁症估计。但是，这种方法在抑郁症估计阶段，受到样本数量，特征种类多、针对性差以及模型性能的局限，导致对抑郁症的估计准确度低，泛化性差，无法达到精度要求；在抑郁症分类阶段，此方法采用人工分析文本信息的方法，结合抑郁症估计阶段的估计值，通过人工建立决策树，实现抑郁症的分类。这一阶段由于需要人工分析文本信息，因此主观性大，工作量大，因此此方法具有局限性且难以推广。

目前研究学者借助机器学习方法来判断抑郁症已经取得了一定的成果，然而由于抑郁症的复杂性以及个体的差异性，抑郁症的研究仍然面临以下挑战：

1)“多对一”问题。而在抑郁症研究中，往往是一个样本(许多帧)对应一个抑郁程度。这种多对一的问题导致大量有用的时序信息被丢弃，造成信息浪费。为了弥补信息丢失的缺点，学者设计了多种统计方法，这样产生非常高的特征维度，容易导致过拟合现象。

2)大量有用的信息未被挖掘。目前，较多研究的是通过音视频来检测抑郁症。这种通过音视频来研究抑郁症的方法，通常是“内容无关”的方法。而通过文本信息来研究抑郁症的方法现在还不是很成熟。通常，文本信息中反映了患者的睡眠、生活状态等信息，这种“内容相关”的方法目前还没有被大量挖掘。

综上所述，现有的抑郁症检测方法易受特征维度影响，大量信息未被全面研究，容易造成抑郁症估计精确度低，抑郁症检测分类正确率低。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明设计了一种基于深度卷积神经网络(DCNN)、深度神经网络(DNN)、段落向量(PV)以及支持向量机(SVM)的多模态抑郁症估计和分类方法。

技术方案

1.一种基于DCNN-DNN和PV-SVM的多模态抑郁症估计和分类方法，其特征在于

步骤如下：

步骤1：利用位移范围直方图和Opensmile工具对音视频特征进行预处理：将视频Landmarks特征输入位移范围直方图统计方法中，得到视频Landmarks特征的全局特征；将音频LLD特征输入Opensmile工具提取音频全局统计信息；

所述的位移范围直方图统计方法步骤如下：

首先定义时间间隔M:＝{M₁,M₂,M₃,...,M_x}，范围R:＝{R₁,R₂,R₃,...,R_z}，视频Landmarks特征作为位移范围直方图统计方法的输入，x和z分别代表时间间隔和范围的个数；

然后，对于每一个时间间隔M_x，计算Landmarks特征每一个维度中，第i+M_x帧与第i帧之间的差值，得到差值矩阵；

最后，统计差值矩阵中每个维度在每个范围R_z中的分布个数；将得到的分布个数除以原始Landmarks特征的总帧数，得到归一化后的视频Landmarks全局特征；

步骤2：利用深度卷积神经网络提取步骤1中音、视频统计特征的隐层抽象特征：