[发明专利]一种基于深度时空特征的非接触式心率计算方法

说明书

本发明公开了一种基于深度时空特征的非接触式心率计算方法，涉及图像视频处理技术领域，通过RGB‑N I R摄像头采集人脸视频，得到RGB图像和近红外图像的视频各一段，生成面部特征和纹理特征；将面部特征和纹理特征引入一个时间的维度，生成深度时空特征图像；通过LSTM网络提取时空特征隐藏在连续帧中的时间信息，并将时间信息融合至串联的回归网络。本发明所述的一种基于深度时空特征的非接触式心率计算方法，一是通过互补使用RGB和近红外域并使用双神经网络结构，降低了误差；二是由于在面部检测得时候就用到了MTCNN网络，提取深度时空特征图像得时候就更加准确，减少噪声，此外LSTM网络中的遗忘门，能有效的过滤掉光线差别大的区域，提升了预测准确度。

技术领域

本发明涉及图像视频处理技术领域，特别涉及一种基于深度时空特征的非接触式心率计算方法。

背景技术

非接触式生命特征测量技术由于具有非接触式、无感等特点，受到人们的广泛关注，特别是在疫情流行期间，非接触式的生命特征测量技术的优势更加明显。

近年来，基于视频的非接触性心率测量技术成为计算机视觉领域的研究热点。这种方法主要采用远程光电容积脉搏波描记法(rPPG)，其基本原理是：自然光经过皮肤组织的吸收和反射后到达摄像头端的光敏传感器时，得到光信号的强度会随着毛细血管中血液容积的变化而变化。面部大部分组织对光的吸收是固定的，而在皮下组织中的毛细血管因血液流动的原因对光的吸收量呈现周期性变化，这种周期性变化导致皮肤的颜色发生细微的周期性改变，利用这一特性可以估算出相关的生命体征参数，比如心率。与传统接触式心率测定法相比较，这种方法具有非接触、低成本、方便等优点，特别适用于日常健康监测、医院ICU、新生儿看护等场景下应用；

但在上述技术方案实施的过程中，发现至少存在如下技术问题：

现有基于rPPG的生命体征参数测算方法主要分为：传统方法和深度学习方法。传统的方法主要是采用信号分离的方式来提取相关特征参数信号，而深度学习方法则是通过将一小段视视频输入到已训练好的深度神经网络模型中回归得到相应的生命特征参数。虽然目前大部分的方法在实验室环境下采集的数据集上都能够获得非常不错的效果，但是在实际应用环境中存在着更为复杂的干扰因素，例如环境光照变化的影响、头部运动和视频压缩方法等。为了提高在环境光照条件变化因素干扰下的心率生命特征参数计算的准确率和可靠性，为此，我们提出一种基于深度时空特征的非接触式心率计算方法。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种基于深度时空特征的非接触式心率计算方法，针对现有的远程光电容积脉搏波描记法受环境光照变化影响大的问题，提供了一种基于深度时空特征的非接触式心率计算方法，进一步提高不同光照条件下HR计算的鲁棒性，提升了计算结果的准确度。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

一种基于深度时空特征的非接触式心率计算方法，本发明提供了一种基于深度时空特征的非接触式心率计算方法，包括：一个RGB-NIR摄像头；人脸检测与定位；深度时空特征图像生成；提取时间信息；信息融合；融合后的信息输出到串联的回归网络；生成心率预测模型。

所述RGB-NIR摄像头是包括一个RGB摄像头和一个近红外摄像头，安装在固定位置以采集人脸图像，所得成像为同一段视频的RGB版本和近红外版本。

所述人脸检测和定位采用多任务深度神经网络模型(MTCNN)模型，对所拍摄的RGB版本视频和红外版本视频中的每一帧图像内的人脸分别进行检测定位与识别，并利用Dlib获取每帧图像中每张人脸的68个特征点，并依据检测出的人脸特征点将人脸皮肤区域划分成前额区域、左脸区域、右脸区域和下颚区域，生成面部特征T1、T2。与此同时，根据MTCNN的五个关键点提取出来背景部分的纹理特征定位T3、T4。