[发明专利]非接触式多生理参数的同步检测方法和系统

权利要求书

1.一种非接触式多生理参数的同步检测方法，其特征在于，预先构建一个带有注意力机制的多任务网络架构，该多任务网络架构包括共享网络和若干子任务网络；所述同步检测方法包括：

S1、分别采集受试者的可见光视频和热红外视频；

S2、预处理所述可见光视频和热红外视频，获取所述可见光视频中人脸图像对应的第一时空特征图，以及所述热红外视频中人脸图像对应的第二时空特征图；

S3、将所述第一时空特征图、第二时空特征图分别输入所述共享网络的两个结构相同但参数不共享的神经网络中，分别获取不同层次的特征提取图；

S4、将所述第一时空特征图、第二时空特征图相同层次的特征提取图输入所述共享网络对应的特征融合块，获取当前层次的融合特征；

S5、将当前层次的融合特征分别输入各个所述子任务网络对应的注意力模块中，结合上一层注意力模块的输出，获取当前层注意力模块输出的任务相关特征；

S6、将各层注意力模块输出的任务相关特征共同输入所属子任务网络的多层次特征融合模块中，获取多层次融合特征，预测对应的生理参数指标。

2.如权利要求1所述的同步检测方法，其特征在于，所述S2包括：

S21、根据所述可见光视频和热红外视频的图像序列，分别采用密集人脸对齐方法进行所述受试者的人脸检测与面部关键点标记；

S22、确定受试者人脸图像的若干感兴趣区域，分别提取所述可见光视频和热红外视频每一帧图像序列对应的iPPG信号；

S23、按照时间顺序拼接所述iPPG信号，获取所述第一时空特征图和第二时空特征图。

3.如权利要求1或者2所述的同步检测方法，其特征在于，所述S3中两个结构相同但参数不共享的神经网络是指：两个只保留了特征提取部分，舍弃池化层和全连接层Resnet-34网络。

4.如权利要求3所述的同步检测方法，其特征在于，所述特征融合块包括两层深度可分离卷积层、激活函数层、压缩和激励网络模块；

所述S4包括：

S41、定义和分别表示所述第一时空特征图、第二时空特征图第m层生成的特征提取图，连接所述和依次输入所述两层深度可分离卷积层和激活函数层，获取当前层次对应的初步融合特征；

其中，表示级联操作，表示哈达玛积；DSC_t表示第t层深度可分离卷积，t取1或者2；ReLU表示激活函数；fm_ms_m表示依次经过模态注意和空间注意之后的初步融合特征；

S42、将所述初步融合特征输入所述压缩和激励网络模块，获取当前层次对应的所述融合特征；

fm_msc_m＝fm_ms_m×SE(fm_ms_m)

其中，SE为所述压缩和激励网络模块；fm_msc_m为经过通道加权后的所述融合特征。

5.如权利要求4所述的同步检测方法，其特征在于，所述S5包括：

对于任意任务u，定义该任务u在第m层注意力模块中的注意力遮罩表示为计算第m层注意力模块中输出任务相关特征：

其中，均为带有批正则化和非线性激活层的卷积块；和用于生成注意力遮罩；的激活函数为sigmoid，用于确保生成的注意力遮罩如果那么注意力遮罩遮罩变为一个一致映射，子任务采用全部融合特征。

6.如权利要求5所述的同步检测方法，其特征在于，所述S6中多层次融合特征表示为：

其中，Conv、fl均为带有卷积层、批正则化和非线性激活层的操作块；M表示注意力模块的总层数。

7.如权利要求3所述的同步检测方法，其特征在于，所述多任务网络架构包括3个子任务网络，分别对应于回归预测心率、血压和呼吸率3个子任务。