[发明专利]一种基于时空注意力网络和输入优化的非接触式心率测量方法

说明书

本发明公开了一种基于时空注意力网络和输入优化的非接触式心率测量方法，其步骤包括：1获取含有人脸视频、标签生理信号及标签心率的数据集，并进行预处理；2训练超分辨率模型ESRGAN，用于恢复图像中的生理信息；3构建时空注意力网络模型M；4采用迁移学习的策略训练时空注意力网络模型M，得到初步训练好的时空注意力网络模型M′；5将初步训练好的ESRGAN中的生成器S′与初步训练好的时空注意力网络模型M′进行联合训练，实现非接触式测量心率。本发明能有效、精确地提取出rPPG信号，大幅提升提取信号的质量，并从rPPG信号中计算出心率信息，从而能显著提高非接触式心率测量的准确率。

技术领域

本发明涉及到注意力网络，超分辨率网络和心率检测，属于视频计算领域，具体的说是一种基于时空注意力网络和输入优化的非接触式心率测量方法。

背景技术

传统的心率监测设备，比如心电图，需要特定的设备并且必须与人体皮肤表面接触。若需要进行长期的持续监测，则会对使用者或患者造成诸多不便。且心电图设备往往体积大、价格昂贵，因此测量成本过高，不利于实时地对用户的生理及心理健康状况进行长期监测。相相较于接触式的设备，基于视频的非接触式心率监测优势明显。该监测方法成本低廉，无需用户佩戴设备，利用一个消费级摄像头即可通过人体皮肤表面的光学信息捕获到心率，克服了接触式心率测量的劣势，可在多种环境下进行实时的心率监测。

国内外研究非接触式心率监测一般分为五个步骤：

(1)ROI提取与跟踪。ROI可根据需要进行选取，一般来说，ROI选取人脸部分。该步骤可以抛弃图像中无用的背景信息，使得相关研究集中到所需关注的核心区域中来。

(2)输入图像预处理。为了减少输入噪声或是增强生理信息，很多传统算法还会对输入数据进行预处理，例如将视频帧的色彩模式进行转换、对视频进行欧拉放大，或是对视频进行归一化处理。

(3)生理信号提取。使用rPPG提取算法计算出视频中所包含的rPPG信号。目前，rPPG提取算法大致分为三类：基于信号分解的算法、基于色彩通道线性组合的算法，以及基于深度学习的算法。

(4)信号后处理。由于初步提取的rPPG信号可能会含有噪声，可使用信号处理技术对其进行滤波去噪。

(5)心率估算。可对rPPG信号使用离散傅里叶变换将其转换到频域，计算rPPG信号波峰的出现频率，或直接对rPPG信号进行波峰检测，从而得到最终的心率值。

然而研究表明非接触式心率检测还存在诸多问题，比如：光照、运动等不可控因素会影响人脸检测的准确率；为了降低存储或传输成本，对视频数据进行压缩时会导致生理信号被腐蚀；由于个体间存在差异，个体的肤色以及皮肤状况也存在很大差异，这就对算法的泛化性能有很高的要求等等。将原始视频作为输入，并不能很好地利用视频中的生理信息，使得心率检测的准确率不高。并且由于大部分数据集所覆盖的心率范围极其有限，极大地影响模型的泛化能力。

发明内容

本发明是为了解决上述现有技术存在的不足之处，提出一种基于时空注意力网络和输入优化的非接触式心率测量方法，以期能恢复并增强压缩视频数据中的生理信号信息，减少噪声干扰，并充分利用空间信息与时域信息，提高rPPG信号提取的鲁棒性，从而能显著提高非接触式心率测量的准确率。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种基于时空注意力网络和输入优化的非接触式心率测量方法的特点是按如下步骤进行：

步骤一、获取含有人脸视频、标签生理信号及标签心率的数据集，并进行预处理；

步骤1.1、使用多任务级联卷积神经网络对数据集中的人脸视频进行逐帧检测并裁剪出人脸图像，从而得到人脸图像集；