[发明专利]基于端到端网络的非接触式心率测量方法、系统和装置

权利要求书

1.基于端到端网络的非接触式心率测量方法，其特征在于，所述方法包括：

步骤S10，获取包含人脸信息的待测视频帧序列；

步骤S20，基于所述待测视频帧序列，通过MTCNN人脸检测模型和人脸关键点模型获取人脸感兴趣区域图像序列；

步骤S30，基于所述人脸感兴趣区域图像序列，通过训练好的端到端双分支网络获取各帧图像对应的心率值；其方法包括：

步骤S31，通过所述端到端双分支网络中的α分支按时间顺序均匀采集所述人脸感兴趣区域图像序列中x张图像作为α分支待处理图像序列，通过β分支按时间顺序均匀采集nx张图像作为β分支待处理图像序列；

步骤S32，令s=1，基于所述α分支待处理图像序列，通过第一多分支构建模块获取α分支s阶特征序列；基于所述β分支待处理图像序列，通过第二多分支构建模块获取β分支s阶特征序列；

步骤S33，基于所述α分支s阶特征序列，通过α分支s阶特征提取模块获取α分支s+1阶待融合特征序列；基于所述β分支s阶特征序列，通过β分支s阶特征提取模块获取β分支s+1阶特征序列；

步骤S34，将所述β分支第s+1阶特征序列通过偏置网络进行尺度调整生成β分支s+1阶偏置特征序列，将所述β分支s+1阶偏置特征序列和所述α分支s+1阶待融合特征序列融合为α分支s+1阶待注意特征序列；

步骤S35，基于所述α分支s+1阶待注意特征序列，通过非局部区域自注意模块获取α分支s+1阶特征序列；

步骤S36，令s=s+1，重复步骤S33-步骤S35的过程直至s=5；此时α分支第s+1阶特征序列即为各帧图像对应的心率值；

其中，所述端到端双分支网络包括α分支和β分支，并通过带正确心率标签的训练图像序列以及设定的全局损失函数进行迭代训练直至全局损失值低于设定阈值或达到设定训练次数；

所述α分支包括顺次连接的1个第一多分支构建模块、α分支1阶特征提取模块、α分支2阶特征提取模块、α分支3阶特征提取模块和α分支4阶特征提取模块；所述α分支的通道数为所述β分支的4倍；所述α分支的α分支上每个偏置网络与α分支的连接点之后通过非局部区域自注意模块生成α分支对应阶的特征序列；

所述β分支包括顺次连接的1个第二多分支构建模块、β分支1阶特征提取模块、β分支2阶特征提取模块、β分支3阶特征提取模块和β分支4阶特征提取模块；所述β分支每秒采集图像帧数为所述α分支的n倍，n为预设的大于1的正整数；所述β分支的β分支各阶特征提取模块的输出端通过偏置网络与对应阶的α特征提取模块相连。

2.根据权利要求1所述的基于端到端网络的非接触式心率测量方法，其特征在于，所述训练好的端到端双分支网络，其训练方法为：

步骤A10，获取训练视频帧序列，所述训练视频帧序列为标注了标准心率的视频帧序列；

步骤A20，基于所述训练视频帧序列，重复步骤S31-步骤S36的操作，通过坐标下降法调整端到端双分支网络各阶段的权重，直至皮尔逊负相关系数损失与L1损失之和小于预设的第一阈值或迭代至预设的次数，获得训练好的端到端双分支网络。

3.根据权利要求1所述的基于端到端网络的非接触式心率测量方法，其特征在于，所述非局部区域自注意模块包括3个第三卷积层和1个第四卷积层；

第1个第三卷积层和第2个第三卷积层基于所述α分支s+1阶待注意特征序列获取第一1阶注意特征序列和第二1阶注意特征序列，将所述第一1阶注意特征序列和第二1阶注意特征序列相乘并通过softmax进行分类生成第一2阶待注意特征序列；

第3个第三卷积层基于所述待注意特征序列获取第二2阶待注意特征序列，并将所述第二2阶待注意特征序列与第一2阶待注意特征序列相乘生成3阶待注意特征序列；

第四卷积层基于所述3阶待注意特征序列生成3阶注意特征序列，将所述3阶注意特征序列与所述α分支s+1阶待注意特征序列加和，生成α分支s+1阶特征序列。