[发明专利]一种面向新生儿的视觉心率估计方法、装置及系统

权利要求书

1.一种面向新生儿的视觉心率估计方法，其特征在于，所述方法包括：

获取新生儿脸部的视频信息；所述视频信息包括多帧图像；

获取各帧图像对应的生理信号；所述生理信号包括心率真实信号和PPG真实信号；

采用深度学习技术，基于所述视频信息和所述生理信号进行训练，获得深度学习模型；

获取新生儿脸部的待检测视频信息；

将所述待检测视频信息输入所述深度学习模型进行预测，获得新生儿视觉心率估计值；

所述采用深度学习技术，基于所述视频信息和所述生理信号进行训练，获得深度学习模型，具体包括：

对所述视频信息中各帧图像进行脸部区域标注，获得已标注视频信息；

将所述已标注视频信息和与所述视频信息对应的所述生理信号进行切片，获得多个视频片段、多个PPG真实序列片段和多个心率真实均值；

对多个所述视频片段分别进行空间特征提取，获得多组空间特征；

对多组空间特征分别进行PPG信号估计，获得多个PPG估计序列片段；

将多个PPG估计序列片段与多个PPG真实序列片段代入PPG损失函数，计算PPG差异度；

对多个PPG估计序列片段分别进行心率估计与计算，获得多个心率估计均值；

将多个心率估计均值与多个心率真实均值代入心率损失函数，计算心率差异度；

根据PPG差异度和心率差异度计算总差异度；

根据总差异度来优化深度学习模型参数，直到总差异度最小为止。

2.根据权利要求1所述的面向新生儿的视觉心率估计方法，其特征在于，所述对所述视频信息中各帧图像进行脸部区域标注，获得已标注视频信息，具体包括：

对所述视频信息中第一帧图像进行脸部区域标注；

基于第一帧图像标注的脸部区域，利用KCF算法跟踪所述视频信息中剩余帧图像对应的脸部区域；

将各帧已标注脸部区域的图像尺寸重新调整为128*128的图像，并构建已标注视频信息。

3.根据权利要求1所述的面向新生儿的视觉心率估计方法，其特征在于，所述PPG损失函数为：

其中，L_PPG为PPG差异度，α为常数，M为训练集中视频片段的总个数，r(j)为第j个视频片段对应的皮尔森系数，L_Smse为均方误差，S_g(i,j)第i个视频片段第j个帧生理信号对应的PPG真实信号，为第j个视频片段对应的PPG真实信号均值，为第i个视频片段第j个帧生理信号对应的PPG估计信号，为第j个视频片段对应的PPG估计信号均值，N为一个生理信号片段的总帧数。

4.根据权利要求1所述的面向新生儿的视觉心率估计方法，其特征在于，所述心率损失函数为：

其中，L_HR为心率差异度，M为训练集中视频片段的总个数，HR_g(j)为心率真实均值，HR_p(j)为心率估计均值。

5.一种面向新生儿的视觉心率估计装置，其特征在于，所述装置包括：

摄像机，与新生儿脸部对应设置，用于获取新生儿脸部的待检测视频信息；

控制终端，与所述摄像机连接，内部存储所述深度学习模型，用于根据权利要求1-4任一项所述的方法将所述待检测视频信息输入所述深度学习模型进行预测，获得新生儿视觉心率估计值。

6.根据权利要求5所述的面向新生儿的视觉心率估计装置，其特征在于，所述装置还包括：

生理信号采集模块，与所述控制终端连接，用于采集生理信号，并将生理信号与多帧图像一一对应。