[发明专利]一种基于时空注意力网络和输入优化的非接触式心率测量方法

权利要求书

1.一种基于时空注意力网络和输入优化的非接触式心率测量方法，其特征是按如下步骤进行：

步骤一、获取含有人脸视频、标签生理信号及标签心率的数据集，并进行预处理；

步骤1.1、使用多任务级联卷积神经网络对数据集中的人脸视频进行逐帧检测并裁剪出人脸图像，从而得到人脸图像集；

步骤1.2、对人脸图像集进行归一化处理，得到归一化后的人脸图像集X＝{x₀,x₁,…,x_t,…x_T-1}，x_t表示归一化后的第t帧人脸图像，且x_t的大小为Y×Y×C，0≤t≤T-1，T表示归一化后的人脸图像集X内的人脸视频的帧数；

步骤1.3、将第t帧人脸图像x_t与数据集中第t个生理信号和相对应后再进行滤波处理与归一化处理，从而得到预处理后的标签生理信号数据P＝{p₀,p₁,…,p_t,…p_T-1}，p_t表示预处理后的第t个标签生理信号；

步骤1.4、将第t帧人脸图像x_t与数据集中第t个标签心率值相对应，从而得到标签心率数据HR＝{hr₀,hr₁,…,hr_t,…hr_T-1}，hr_t表示第t个标签心率值；

步骤二、训练超分辨率模型ESRGAN，用于恢复图像中的生理信息；

步骤2.1、采用超分重建数据集独立训练超分辨率模型ESRGAN，且训练过程中保留超分辨率模型ESRGAN的生成器中上采样模块，得到预训练后的ESRGAN模型；

步骤2.2、去除预训练后的ESRGAN模型的生成器中上采样模块后，基于经过视频压缩的其他人脸视频数据集的人脸图像，使用迁移学习再次对删除上采样模块后的模型进行训练后，得到初步训练好的ESRGAN模型；

步骤三、构建时空注意力网络模型M，包括：由两层的2D卷积层、时域融合模块、注意力模块、多个残差块的堆叠构成网络主干；且采用指数线性单位函数为时空注意力网络模型M的激活函数，并在激活函数后使用批标准化处理；

步骤四、基于公开数据集PURE，采用迁移学习的策略训练时空注意力网络模型M；

步骤4.1、按照步骤一对公开数据集PURE进行预处理，得到PURE人脸数据集X′＝{x′₀,x′₁,…,x′_t,…x′_T-1}、PURE标签生理信号数据P′＝{p′₀,p′₁,…,p′_t,…p′_T-1}和PURE标签心率数值HR′＝{hr′₀,hr′₁,…,hr′_t,…hr′_T-1}，x′_t、p′_t和hr′_t分别代表PURE数据集经过步骤一处理后的第t帧人脸图像、第t个标签生理信号和第t个标签心率值；

步骤4.2、以随机的D度以内的角度对维度为Y×Y×C的PURE人脸图像集X′进行旋转，并以一定的比例区间(α，β)对旋转后的人脸图像集进行随机裁剪，再将剪裁后的人脸图像集按照Y×Y的维度进行上采样后输入到时空注意力网络模型模型M中，经过主干网络前两层的2D卷积层的提取，得到部分空间特征；

步骤4.3、将所述部分空间特征输入主干网络的时域融合模块、注意力模块以及多个残差块中进行时域信息挖掘处理，输出维度为T/2×1×1的特征图信号序列E＝{e₀,e₁,…,e_t,…e_T/2-1}；e_t表示第t个特征图信号；

步骤4.4、对特征图信号E进行维度缩减后再利用最近邻插值法进行上采样处理，得到长度为T的rPPG信号，记为R＝{r₀,r₁,…,r_t,…r_T-1}；r_t表示第t个rPPG信号；

步骤4.5、利用式(1)所示的L2损失函数来衡量时空注意力网络模型M所提取的rPPG信号R与PURE标签生理信号数据P′的误差Loss_L2(X′,P′)：

步骤4.6、使用巴特沃斯带通滤波器将rPPG信号R中指定带宽区间(ω,μ)以外的噪声以及谐波信号进行滤除，得到滤波后的rPPG信号R′＝{r′₀,r₁′,…,r′_t,…r′_T-1}，r_t′表示滤波后的第t个rPPG信号；

步骤4.7、利用式(2)计算滤波后的rPPG信号R′的功率谱密度

式(2)中，r′_n为第n帧人脸图片经过时空注意力网络模型M后的输出值再经过滤波处理后的rPPG信号；表示给定的心率频率；f_s表示所输入视频数据的帧率；

步骤4.8、利用式(3)计算信噪比SNR(f_T,X′)：

式(3)中，f_T为标签心率HR′所对应的频率值；F为人体所有可能心率所对应频率值的集合；F⁺＝(f_T-Δ,f_T+Δ)为标签心率HR′所对应频率值附近的一段间隔，Δ表示标签心率HR′附近的一段区域；F\F⁺表示除标签心率HR′外的其他频率集合；

步骤4.9、利用式(4)计算交叉熵损失函数Loss_SNR(f_T,X′)：

式(4)中，PSD(f_T,X′)表示rPPG信号R′关于标签心率HR′对应频率值的功率谱密度；

步骤4.10、利用式(5)计算总损失函数Loss_Total(f_T,X′)：

式(5)中，α₁与α₂表示用于调节两部分损失函数权重的超参数；

步骤4.11、按照步骤4.2至步骤4.10的过程，并采用Adam优化器对时空注意力网络模型M的所有参数进行优化，直到总损失Loss_Total在连续I个训练周期内不再下降为止；得到优化后的时空注意力网络模型；

步骤4.12、将优化后的时空注意力网络模型迁移到其他数据集，重复步骤4.2至步骤4.10，并采用Adam优化器对优化后的时空注意力网络模型所有参数再进行优化，直到总损失Loss_Total在连续I个训练周期内不再下降为止，得到初步训练好的时空注意力网络模型M′；

步骤五、将所述初步训练好的ESRGAN中的生成器S′与所述初步训练好的时空注意力网络模型M′进行联合训练；

步骤5.1、按照步骤一的过程将经过视频压缩的第三人脸视频数据集进行处理，输出人脸数据集X″、标签生理信号数据P″和标签心率数值HR″；

步骤5.2、利用ESRGAN模型中的生成器S′对人脸数据集X″进行逐帧优化，得到优化好的视频数据C＝{c₀,c₁,…,c_t,…c_T/2-1}，c_t表示优化好的第t帧人脸图片；

步骤5.3、采用POS算法与动作描述正则化方法对优化好的视频数据C进行处理，再将两者在通道上进行级联，得到处理后的视频数据C′，将视频数据C′送入初步训练好的时空注意力网络模型M′进行训练，得到rPPG信号R″和总损失函数Loss′_Total；

步骤5.4、按照步骤5.2至步骤5.3的过程，利用标签生理信号数据P″和标签心率数值HR″对初步训练好的时空注意力网络模型M′和ESRGAN模型中的生成器S′进行监督学习，并采用余弦退火重启算法对生成器S′的学习率进行调整，采用Adam优化器对初步训练好的时空注意力网络模型M′的参数进行优化，直到总损失Loss′_Total在连续I个训练周期内不再下降为止，从而得到训练完成的时空注意力网络模型M″和ESRGAN模型的生成器S″，用于非接触式测量心率。