[发明专利]一种基于深度信息的面部疼痛表情识别方法及系统

权利要求书

1.一种基于深度信息的面部疼痛表情识别方法，其特征在于，包括：

步骤S1、建立含有深度信息的疼痛表情数据集；

步骤S2、对采集的疼痛表情数据集进行预处理；

步骤S3、将经过预处理的疼痛表情数据集输入至帧注意网络中进行训练得到疼痛分级模型，所述帧注意网络包括特征嵌入模块和帧关注模块，所述特征嵌入模块针对每个人脸图像嵌入一个帧特征向量，所述帧关注模块学习自关注权重和关系注意力权重此两级关注权重，并通过自关注权重和关系注意力权重将所述帧特征向量聚合形成紧凑特征，所述自关注权重应用一个FC层和一个sigmoid函数进行分配，所述关系注意力权重应用样本连接和另一个FC层进行分配；

步骤S4、将实时采集并经过预处理的表情数据发送至所述疼痛分级模型中进行识别，根据识别结果判断是否进行报警处理。

2.根据权利要求1所述的基于深度信息的面部疼痛表情识别方法，其特征在于，所述步骤S1包括：

步骤S11、布置至少三个基于TOF的深度相机以相异的角度朝向摄像目标以采集图像；

步骤S12、利用图像标注工具对采集图像的人脸区域进行若干个人脸关键点的逐点标注，得到经标注的疼痛表情样本；

步骤S13、结合专业评估和病人自述对疼痛表情样本进行等级评估，依据面部动作编码系统的PSPI疼痛指标划分疼痛等级。

3.根据权利要求1所述的基于深度信息的面部疼痛表情识别方法，其特征在于，所述步骤S2包括：

步骤S21、采用Yolo目标检测网络模型对包含深度信息的疼痛表情数据集进行逐帧的图像分割，从视频帧中提取包含人脸的头部区域；

步骤S22、采用主动外观模型方法检测出人脸关键点，从头部区域中裁剪出人脸区域。

4.根据权利要求1所述的基于深度信息的面部疼痛表情识别方法，其特征在于，在所述步骤S3中，所述特征嵌入模块针对每个人脸图像嵌入一个帧特征向量是指：

把一个有n帧的视频表示为V，它的帧为{I1，I2，…In}，则针对一个人脸图像嵌入的帧特征向量表示为{f1，f2，…fn}。

5.根据权利要求4所述的基于深度信息的面部疼痛表情识别方法，其特征在于，在所述步骤S3中，第I帧的自关注权重定义为：

α_i＝σ(f_i^Tq⁰)，

其中q⁰是FC层的参数，σ表示sigmoid函数；

第I帧的关系注意力权重定义为：

β_i＝σ([f_i:f′_v]^Tq¹)，

其中q¹是FC层的参数，σ表示sigmoid函数，f′_v是所有输入的帧特征聚集而成的全局表示，f′_v定义为：

6.根据权利要求5所述的基于深度信息的面部疼痛表情识别方法，其特征在于，在所述步骤S3中，通过自关注权重和关系注意力权重将所述帧特征向量聚合形成紧凑特征的计算公式为：

7.根据权利要求1所述的基于深度信息的面部疼痛表情识别方法，其特征在于，在所述步骤S4中，根据识别结果判断是否进行报警处理包括：

当检测摄像目标的疼痛等级达到第一设定阈值时，触发警报；

当检测摄像目标的疼痛等级达到第二设定阈值且疼痛持续时间达到设定时长时，触发警报；

当检测摄像目标的单次疼痛等级达到第三设定阈值且在设定时间间隔内反复疼痛累计次数超过设定次数阈值时，触发警报。