[发明专利]基于视频表情识别的表达障碍患者辅助护理系统

摘要

本发明公开了基于视频表情识别的表达障碍患者辅助护理系统，包括采集视频模块、人脸检测模块、基于深度神经网络的表情识别模块、护理建议生成模块；利用深度卷积神经网络的良好非线性拟合的优点，构建出高性能的视频表情识别系统，通过构建高性能的视频表情识别深度神经网络模型，用于表情的自动识别，可以应用于表达障碍患者辅助护理系统，以极大地提高患者护理的质量。

主权项

1.基于视频表情识别的表达障碍患者辅助护理系统，其特征在于，包括采集视频模块、人脸检测模块、基于深度神经网络的表情识别模块、护理建议生成模块；采集视频模块用于收集患者表情数据集，并手动标注训练样本；收集的患者表情包括如下4种表情：厌恶、恐惧、快乐、悲伤；人脸检测模块在得到表情数据集后根据目前比较成熟的人脸区域检测算法将人脸区域的视频裁剪出来，为后续使用；基于深度神经网络的表情识别模块包括动态检测与静态检测两部分，静态检测部分将视频最后一帧图像作为网络输入，其前五个卷积层为特征提取层，每个卷积层后均接最大池化层与ReLU层，第六、七、八层为全连接层，对前述提取的视频特征进行人物表情种类的映射，输出对应表情的权重大小；动态检测部分与静态检测部分类似，只是输入为视频中的5帧图像，这5帧图像分别输入与静态检测部分类似的网络中，区别仅在于第三个卷积层的输出经过级联层后，再经过1x1的卷积层进行降维，以实现特征融合，之后输入第四个卷积层；动态检测部分能够获取视频的时序特征，静态部分获取静态表情特征，最后经过融合得到最终表情识别的结果，该融合过程可用如下公式表示：O＝αA+(1‑α)B，0≤α≤1；其中，A表示动态检测部分的输出，B表示静态检测部分的输出，α为融合权重，0为网络的最终预测结果；护理建议生成模块根据识别到的表情信息，判断患者的精神状态，若长时间处于快乐状态，说明护理情况良好；若处于恐惧，则需要对患者进行安慰，避免对治疗过程过于畏惧；若检测为厌恶，则需要思考护理方式是否符合患者的心意；若检测为悲伤，则需要对患者进行心理疏导，并可邀其家人也多与患者进行沟通，避免消极情绪，提高护理质量，并将识别结果以及推荐的护理方案及时反馈给护理人员。