[发明专利]基于视频表情识别的表达障碍患者辅助护理系统

说明书

本发明公开了基于视频表情识别的表达障碍患者辅助护理系统，包括采集视频模块、人脸检测模块、基于深度神经网络的表情识别模块、护理建议生成模块；利用深度卷积神经网络的良好非线性拟合的优点，构建出高性能的视频表情识别系统，通过构建高性能的视频表情识别深度神经网络模型，用于表情的自动识别，可以应用于表达障碍患者辅助护理系统，以极大地提高患者护理的质量。

技术领域

本发明涉及视频处理技术领域，尤其涉及基于视频表情识别的表达障碍患者辅助护理系统。

背景技术

情绪是一种综合了人的感觉、思想和行为的状态，它包括人对外界或自身刺激的心理反应，包括伴随这种心理反应的生理反应。对人类情绪的感知与描述是当前神经科学、心理学、认知科学、计算机科学和人工智能等领域中的热点交叉研究课题。在人们的日常工作和生活中，情绪的作用无处不在。特别是在医疗护理中，如果能够知道患者、特别是有表达障碍的患者的情绪状态，就可以迅速将患者的情绪状况传送给护理人员，并及时根据患者的情绪做出不同的护理措施，提高护理质量。因此，表达障碍患者的情绪分析对提高护理质量来说非常重要。本发明提出一种基于视频表情识别的表达障碍患者辅助护理系统，以极大地提高患者护理的质量。

发明内容

针对上述问题，本发明提出了基于视频表情识别的表达障碍患者辅助护理系统，利用深度卷积神经网络的良好非线性拟合的优点，构建一种高性能的视频表情识别系统，用于医疗护理中。

本发明通过以下技术方案来实现上述目的：

基于视频表情识别的表达障碍患者辅助护理系统，包括采集视频模块、人脸检测模块、基于深度神经网络的表情识别模块、护理建议生成模块；

采集视频模块用于收集患者表情数据集，并手动标注训练样本；收集的患者表情包括如下4种表情：厌恶、恐惧、快乐、悲伤；

人脸检测模块在得到表情数据集后根据目前比较成熟的人脸区域检测算法将人脸区域的视频裁剪出来，为后续使用；

基于深度神经网络的表情识别模块包括动态检测与静态检测两部分，静态检测部分将视频最后一帧图像作为网络输入，其前五个卷积层为特征提取层，每个卷积层后均接最大池化层与ReLU层，第六、七、八层为全连接层，对前述提取的视频特征进行人物表情种类的映射，输出对应表情的权重大小；动态检测部分与静态检测部分类似，只是输入为视频中的5帧图像，这5帧图像分别输入与静态检测部分类似的网络中，区别仅在于第三个卷积层的输出经过级联层后，再经过1x1的卷积层进行降维，以实现特征融合，之后输入第四个卷积层；动态检测部分能够获取视频的时序特征，静态部分获取静态表情特征，最后经过融合得到最终表情识别的结果，该融合过程可用如下公式表示：

O＝αA+(1-α)B，0≤α≤1；

其中，A表示动态检测部分的输出，B表示静态检测部分的输出，α为融合权重，0为网络的最终预测结果；

护理建议生成模块根据识别到的表情信息，判断患者的精神状态，若长时间处于快乐状态，说明护理情况良好；若处于恐惧，则需要对患者进行安慰，避免对治疗过程过于畏惧；若检测为厌恶，则需要思考护理方式是否符合患者的心意；若检测为悲伤，则需要对患者进行心理疏导，并可邀其家人也多与患者进行沟通，避免消极情绪，提高护理质量，并将识别结果以及推荐的护理方案及时反馈给护理人员。

本申请另一方面提供了上述基于视频表情识别的表达障碍患者辅助护理系统的护理方法，包括以下步骤：

(1)构建视频表情识别深度神经网络模型，用于表情的自动识别；

(2)采集患者表情数据集，并构建标注的训练样本；

(3)利用(1)中模型以及(2)中的训练集，对网络模型进行优化训练；

(4)将(3)中得到的神经网络模型网络导入计算机视觉系统中，作为事先已知的模型数据；