[发明专利]一种基于深度时空特征的非接触式心率计算方法

权利要求书

1.一种基于深度时空特征的非接触式心率计算方法，其特征在于，包括以下步骤：

步骤1：通过RGB-NIR摄像头采集人脸视频，得到RGB图像和近红外图像的视频各一段；

步骤2：通过多任务深度神经网络模型对步骤1得到的视频进行特征点识别，生成面部特征和纹理特征；

步骤3：将面部特征和纹理特征引入一个时间的维度，生成深度时空特征图像；

步骤4：通过LSTM网络提取时空特征隐藏在连续帧中的时间信息，并将时间信息融合至串联的回归网络；

步骤5：将时空特征图像输入到LSTM网络中进行回归训练，调整网络参数，最终得到最优心率预测模型以及对应的心率值。

2.如权利要求1所述的一种基于深度时空特征的非接触式心率计算方法，其特征在于：所述步骤1中，RGB-NIR摄像头是包括一个RGB摄像头和一个近红外摄像头；

其中，采用基于时间轴上滑动窗口的切片操作，将RGB-NIR摄像头拍摄的视频划分为12s的短视频。

3.如权利要求1所述的一种基于深度时空特征的非接触式心率计算方法，其特征在于：所述步骤1中，RGB-NIR摄像头使用时，包括以下步骤：

初始化设定摄像头帧率为f，当前帧计数fcount＝0，清空服务器队列queue，设定布尔值isBlocked＝false表示可进行信号传输；当打开摄像头开始采集，fcount将对每帧图像计数，并基于rtsp协议实时获取当前采集到的图像；以下步骤对图像的处理仅会涉及对当前queue内0至10*f的图像做处理。

4.如权利要求1所述的一种基于深度时空特征的非接触式心率计算方法，其特征在于：所述步骤2中，面部特征的识别包括以下步骤：

多任务深度神经网络模型对RGB版视频和红外版视频的每一帧图像分别进行人脸检测并获得人脸区域,

其中，整个模型分为以下三个阶段；

第一阶段通过浅层的CNN网络快速产生一系列的候选窗口；

第二阶段通过CNN网络过滤掉绝大部分非人脸候选窗口；

第三阶段通过网络找到人脸上面的五个标记点来实现人脸定位；

利用DLib库获取人脸特征点，并根据得到的人脸特征点将人脸区域划分成面部区域，面部区域包括RGB拍摄的图像和近红外拍摄的图像，生成面部特征。

5.如权利要求1所述的一种基于深度时空特征的非接触式心率计算方法，其特征在于：所述步骤2，纹理特征的识别包括以下步骤：

根据多任务深度神经网络模型的五个关键点在其周围剪裁出含有背景的区域，面部区域分为RGB版和近红外版，生成背景部分的纹理特征。

6.如权利要求1所述的一种基于深度时空特征的非接触式心率计算方法，其特征在于：所述步骤4中，LSTM网络有三个门，输入门，遗忘门，输出门，三个门公式如下：

输入门：I_t＝σ(X_tW_xi+H_t-1W_hi+b_i)；

遗忘门：F_t＝σ(X_tW_xf+H_t-1W_hf+b_f)；

输出门：O_t＝σ(X_tW_xo+H_t-1W_ho+b_o)；

其中，输入门负责将深度时空特征输入；而遗忘门负责将光照影响大的特征遗忘，留下在阈值范围内的特征，而这个阈值则是通过背景区域部分的深度时空特征来设定的，因为背景区域虽受光照的影响，但是它是静态的，不会像人脸面部运动而产生变化，设置一个阈值，把光照影响很大的部分“遗忘”；而输出门则是将结果输出。

7.如权利要求1所述的一种基于深度时空特征的非接触式心率计算方法，其特征在于：所述步骤4中，使用全连接层将时空特征数据进行融合输出到串联的回归网络。