[发明专利]一种基于RGB-NIR摄像头的非接触式实时心率检测方法

权利要求书

1.一种基于RGB-NIR摄像头的非接触式实时心率检测方法，其特征在于，包括如下步骤：

S1、使用RGB-NIR摄像头采集人脸图像；

S2、使用OpenCV定位、识别和获取每帧图像内每个人脸的特征点，并将其分为若干面部区域；而后建立基于高斯核密度估计的背景模型，根据面部区域得到若干背景区域；

S3、基于面部区域得到原始信号，将经过滤波处理后的原始信号作为原始心率信号；基于背景参考区域得到背景信号；

S4、经验模态分解得到本征模态分量；

S5、使用正交投影变换算法对本征模态分量作相似度分析，提取得到心率信号曲线；

S6、对心率信号曲线作峰值统计，估计出心率值；

S7、实时采集数据，重复上述步骤后得到实时心率。

2.如权利要求1所述的一种基于RGB-NIR摄像头的非接触式实时心率检测方法，其特征在于：在所述S1中，

打开RGB-NIR摄像头采集一段包含人脸的视频，得到RGB版和NIR版的视频各一段；采用基于时间轴上滑动窗口的切片操作将原视频划分为10s的短视频。

3.如权利要求1所述的一种基于RGB-NIR摄像头的非接触式实时心率检测方法，其特征在于：在所述S2中，

创建基于OpenCV中的DNN模型的人脸检测器，对RGB版视频的每一帧图像进行人脸检测并获得人脸区域，利用DLib库获取人脸特征点，并根据得到的人脸特征点将人脸区域划分成四个面部区域：前额区域、左脸区域、右脸区域和下颚区域，面部区域分为RGB版和NIR版；建立基于高斯核密度估计的背景模型，以人脸区域质点为中心，利用搜索算法选取人脸区域周围的四个背景区域作为参考区域；

利用检测到的人脸特征点，计算前后两帧人脸特征点之间的欧氏距离，若小于预先设定阈值Dist，则可认为同一张人脸，依此来实现对人脸的追踪；

否则，结束当前心率估计流程，重新以当前帧为第一帧开始重复S2；进一步根据人脸特征点提取面部的感兴趣区域：前额(a)，左边面颊(b)，右边面颊(c)和下嘴唇中心(d)。

4.如权利要求1所述的一种基于RGB-NIR摄像头的非接触式实时心率检测方法，其特征在于：在所述S2中，

背景提取方法具体为，令x₁,x₂,…,x_N为某像素的最近前N帧的灰度值，x_t为该像素在当前t时刻的像素值，则该像素的概率密度函数为：

其中，公式(1)实质是用高斯核函数在样值点x₁,x₂,…,x_N做内插形式的连续函数，那么可依据下式来获取背景点：

其中，T为阈值，M_t(x,y)中0表示背景点，1表示前景目标点；

然后从当前短视频中提取背景区域作为参考区域。

5.如权利要求1所述的一种基于RGB-NIR摄像头的非接触式实时心率检测方法，其特征在于：在所述S3中，

所述原始信号提取是基于面部区域，提取G和N通道值并做均值化操作，将得到的G通道和N通道序列与输入时间轴一一对应，得到一组原始信号；

所述背景信号提取是基于背景区域，提取R、G、B和N通道值并做均值化操作，将得到的R、G、B和N通道序列与输入时间轴一一对应，得到一组背景信号；

得到原始信号和背景信号的具体过程为：

首先，将同一时刻的RGB图像和NIR图像作时空融合处理，分别获得混合前和混合后的图像面部区域与参照区域G和N通道均值序列；

然后，根据设定值获取时间轴，对上述序列进行非线性最小二乘法拟合，得到时间轴上的一维信号曲线；

最后，采用带通滤波器对原始信号和背景信号曲线进行滤波，消除明显的噪声，然后将滤波后的原始信号作为原始心率信号，滤波后的参照区域信号作为背景信号。