[发明专利]一种基于深度信息的面部疼痛表情识别方法及系统

说明书

一种基于深度信息的面部疼痛表情识别方法和系统，所述方法包括：建立含有深度信息的疼痛表情数据集；对采集的疼痛表情数据集进行预处理；将经过预处理的疼痛表情数据集输入至帧注意网络中进行训练得到疼痛分级模型，所述帧注意网络包括特征嵌入模块和帧关注模块；将实时采集并经过预处理的表情数据发送至所述疼痛分级模型中进行识别，根据识别结果判断是否进行报警处理。利用本发明能够稳定的对识别目标进行异常状态检测，及时向工作人员发出预警，对于公共医疗和智慧养老等领域有重大的实用价值。

技术领域

本发明属于图像识别技术领域，尤其涉及一种基于深度信息的面部疼痛表情识别方法及系统。

背景技术

国际疼痛研究协会将“疼痛”定义为“与实际或潜在的组织损伤相关的令人不快的感觉和情绪体验,或对此类损伤的描述”。疼痛在医学上被当作一个重要指标,正确地判断疼痛能够让治疗更加有效,疼痛检测的黄金准则是病人的“自我报告”,然而这不是对所有病人都适用的一种方法，人类对疼痛的感觉和判断是主观的，量表的报告可能在个体之间存在显著差异。特别是当患者沟通疼痛的能力受损时，对患者进行行为观察，特别是患者的面部表情，作为疼痛评估的关键行为指标，已被确定为评估疼痛的一种重要方式。濒临死亡、智力障碍、危重症、使用镇静剂的患者、新生儿，或患有痴呆、头颈癌或脑转移的患者尤其脆弱，需要技术来为忙碌的临床医生提供可靠和有效的疼痛警报。美国疼痛管理护理学会(ASPMN)在其对非言语病人疼痛评估的立场声明中，描述了疼痛评估的层次结构，其中包括观察面部表情的行为被认为是疼痛评估的有效方法。在没有交流能力的病人的情况下，面部疼痛表情的评估可以作为疼痛的关键行为指标，当有口头报告时，面部疼痛表情的评估也能带来额外的价值。

疼痛表情识别可运用到医疗领域和智慧养老等诸多领域。据了解，在医院中除了重症病房24小时机器监护外，其他病房的病人都是在自己感觉不舒服时按铃，或者家属发现叫医生，并且因为人力有限和制度原因，医院查房每次间隔在2到3个小时之间。但在这个时间间隔之内或者在夜深人静的夜晚，如上述提到的没有语言表达能力、行动受限的患者有紧急情况或患者情况急速恶化导致失去言语与行动能力而无法自己触发报警装置时，疼痛报警系统就体现出其巨大的价值，可以尽快向医护人员发出警报，及时进行救治，特别是对于有生命危险的患者而言，可以尽快进行急救，把握住救治的黄金时间。

发明内容

本发明针对现有技术的缺陷，提供一种基于深度信息的面部疼痛表情识别方法及系统，能够稳定的对识别目标进行异常状态检测，及时向工作人员发出预警。

本发明首先提供了一种基于深度信息的面部疼痛表情识别方法，包括：

步骤S1、建立含有深度信息的疼痛表情数据集；

步骤S2、对采集的疼痛表情数据集进行预处理；

步骤S3、将经过预处理的疼痛表情数据集输入至帧注意网络中进行训练得到疼痛分级模型，所述帧注意网络包括特征嵌入模块和帧关注模块，所述特征嵌入模块针对每个人脸图像嵌入一个帧特征向量，所述帧关注模块学习自关注权重和关系注意力权重此两级关注权重，并通过自关注权重和关系注意力权重将所述帧特征向量聚合形成紧凑特征，所述自关注权重应用一个FC层和一个sigmoid函数进行分配，所述关系注意力权重应用样本连接和另一个FC层进行分配；

步骤S4、将实时采集并经过预处理的表情数据发送至所述疼痛分级模型中进行识别，根据识别结果判断是否进行报警处理。

进一步地，所述步骤S1包括：

步骤S11、布置至少三个基于TOF的深度相机以相异的角度朝向摄像目标以采集图像；

步骤S12、利用图像标注工具对采集图像的人脸区域进行若干个人脸关键点的逐点标注，得到经标注的疼痛表情样本；

步骤S13、结合专业评估和病人自述对疼痛表情样本进行等级评估，依据面部动作编码系统的PSPI疼痛指标划分疼痛等级。