[发明专利]基于端到端网络的非接触式心率测量方法、系统和装置

说明书

本发明属于数据识别领域，具体涉及了一种基于端到端网络的非接触式心率测量方法、系统和装置，旨在解决如何无接触地进行无接触心率测量并提高测量方法的鲁棒性和泛化能力的问题。本发明包括：获取包含人脸信息的待测视频帧序列，基于所述待测视频帧序列，通过人脸检测模型获取人脸感兴趣区域图像序列，通过人脸关键点模型获取人脸关键点位置序列，基于所述人脸感兴趣区域图像序列，通过训练好的端到端双分支网络获取时间段内平均心率值。本发明提高了非接触式心率检测方法的鲁棒性和泛化能力、扩大了可精确测量的心率范围和提高了心率测量的精确度。

技术领域

本发明属于数据识别领域，具体涉及了基于端到端网络的非接触式心率测量方法、系统和装置。

背景技术

心率是在很多场合都需要被测量的一个重要的指标，特别是在健康领域。传统的设备中，监测心跳速率和心脏活动是由测量电生理讯号与心电图 (ECG) 或者是光体积变化描记图法（PPG）来完成的，ECG需要将电极连接到身体来量测心脏组织中所引发电活动的信号，PPG也需要通过设备与人体接触才能测量，接触式的设备让被测试的人感觉不舒服，特别是对于疫情期间无接触医疗需求的激增，为了解决这个问题，最近几年通过人脸测心率的技术被工业界和学术界广泛的研究。首先解释为什么可以通过摄像头来测量人的心率：皮肤的光吸收会随着血容量脉冲周期性变化，真皮和皮下层微血管中的诸如血红蛋白之类的染色体吸收了不成比例的光，因此当血液通过下面的静脉和动脉泵出时，颜色会发生微小变化。虽然人眼看不见，但嵌入可穿戴设备中的 RGB 传感器可以轻松捕获，这是通过人脸获取心率的理论依据。

在早期的远程心率测量研究中，许多传统的方法通过两个阶段完成这个任务，首先从检测或者跟踪到的人脸关键区域中获取rPPG的信号，然后从频域中分析得到心率值。一方面，一些传统方法分析脸部区域的微妙的颜色变化用以做心率测量：Verkrussysse首先发现rPPG信号可以使用从自然光下抽取的绿色通道得到心率信号；Poh 使用独立成分分析去除噪声；Li提出一种跟踪定义好的人脸关键区域的方法通过光线较正和非刚体的运动消除来做粗rPPG信号的恢复；Tulyakov 提出自适应矩阵分解的方法做心率估计。另一方面，CHROM 和POS使用颜色子空间变换的方法用来做皮肤像素的心率测量。

基于一些传统方法的先验知识，通过人脸测心率这个任务被设计成非端到端的方式。通过传统的CHROM 方法抽取了rPPG信号，对于获取到的rPPG信号，经过时域滤波、主成分分析、信号选择、心率估计然后得到心率值。

近年来，一些基于深度学习的非端到端的通过人脸测试心率的方法发展起来，Spetik 提出一个两阶段的方法，首先通过一个二维的卷积神经网络获取rPPG 信号，然后通过另外的一维的卷积神经网络回归得到心率值。也有一些端到端的通过人脸测心率的方法最近被提出来，Niu在RhythmNet提出一种端到端的方法。比如输入人脸视频帧序列，直接得到人脸的实时心率或者是一段时间内（比如10s）心率的平均值。

深度学习是近年来机器学习领域一个热门研究方向，已经在计算机视觉、自然语言处理等领域获得了巨大的成功。现有的通过人脸测试心率的方法尚有以下不足：首先，现有的数据集不足够大，这样我们只能采用浅层神经网络，学习的模型比较容易过拟合，而通常来说，在训练数据足够多的情况下，更深的神经网络的判别能力和泛化能力更强；其次，通过人脸测心率这个任务容易受到头部运动、光线变化和不同设备的影响；再次不同的损失函数对结果影响也比较大。

发明内容

为了解决现有技术中的上述问题，即如何无接触地进行无接触心率测量并提高测量方法的鲁棒性和泛化能力的问题，本发明提供了一种基于端到端网络的非接触式心率测量方法，所述方法包括：

步骤S10，获取包含人脸信息的待测视频帧序列；

步骤S20，基于所述待测视频帧序列，通过MTCNN人脸检测模型和人脸关键点模型获取人脸感兴趣区域图像序列；