[发明专利]一种生理信号预测方法

权利要求书

1.一种生理信号预测方法，其特征在于，包括：

S1：采集视频文件，所述视频文件中包含有长时视频，所述视频文件内容含有单个人的面部，所述面部有一定幅度、速度的旋转和真实生理信号数据；

S2：将单个长时视频分割成多段短时视频片段，每段短时视频片段具有固定帧数，并且所述每段短时视频片段对应一个真实生理信号标签；

S3：利用所述短时视频片段的每一帧，提取生理信号识别的感兴趣区域特征，形成单帧感兴趣区域特征；

S4：对所述每段短时视频片段对应的所有固定帧的单帧感兴趣区域特征进行拼接，形成多帧视频感兴趣区域特征，将多帧视频感兴趣区域特征由RGB色彩空间转化为YUV色彩空间，形成包含时间和空间的时空图；

所述对所述每段短时视频片段对应的所有固定帧的单帧感兴趣区域特征进行拼接的具体方法包括：

S41：将单侧单帧感兴趣区域特征均匀划分为多个矩形区域，构成像素值矩阵；

S42：以RGB为标准对像素值矩阵进行重组，构成像素值重组矩阵；

S43：对两侧脸颊像素值矩阵按列拼接，构成单帧感兴趣区域特征矩阵；

S44：对多个单帧感兴趣区域特征矩阵按列拼接，形成多帧视频感兴趣区域特征；

所述将单侧单帧感兴趣区域特征均匀划分为多个矩形区域，构成像素值矩阵的具体方法为：

将单侧单帧感兴趣区域特征均匀划分为m×n个矩形区域，构成像素值矩阵的具体形式为：

其中，代表单个矩形区像素矩阵，矩阵维度为[p，q，3]；

重新调整块像素矩阵维度为[p×q，3]，其中3列对应RGB通道；

S5：将所述时空图输入到深度学习模型中进行训练，利用训练好的深度学习模型预测生理信号参数。

2.根据权利要求1所述的生理信号预测方法，其特征在于，所述将单个长时视频分割成多段短时视频片段的具体方法为：

以生理信号标签时间间隔为短时视频片段截取窗口长度，以生理信号标签时间点为窗口中间时间点进行长视频切分。

3.根据权利要求1所述的生理信号预测方法，其特征在于，所述利用所述短时视频片段的每一帧，提取生理信号识别的感兴趣区域特征的具体方法为：

使用dlib库中68标记点方法确定脸颊两侧矩形框四点坐标，选择这两侧矩形框作为生理信号识别的感兴趣区域。

4.根据权利要求3所述的生理信号预测方法，其特征在于，对于识别不出感兴趣区域特征的帧进行处理方法为：采用上一个可识别出感兴趣区域特征的帧的数值代替识别不出感兴趣区域特征的帧的数值。

5.根据权利要求3所述的生理信号预测方法，其特征在于，所述利用所述短时视频片段的每一帧，提取生理信号识别的感兴趣区域特征的具体方法还包括：对所述短时视频片段的每一帧使用dlib库中的函数进行人脸识别、对齐、提取掩码人脸。

6.根据权利要求1所述的生理信号预测方法，其特征在于，所述以RGB为标准对像素值矩阵进行重组的方法为：

把内像素值分别对R、G、B三通道按列取平均值，矩阵维度[1，3]，记为；

把按列拼接成[mn，3]维矩阵，矩阵记为：

。

7.根据权利要求6所述的生理信号预测方法，其特征在于，所述对两侧脸颊像素值矩阵按列拼接，构成单帧感兴趣区域特征矩阵的具体形式为：

把两侧脸颊像素值矩阵按列拼接成[2mn，3]维矩阵，记为第t帧的特征矩阵Bd[t]；

对多个单帧感兴趣区域特征矩阵按列拼接，形成多帧视频感兴趣区域特征的具体形式为：

把T帧感兴趣区域特征矩阵按列拼接，矩阵记为，

。

8.根据权利要求7所述的生理信号预测方法，其特征在于，所述深度学习模型是以残差网络为核心的三维卷积神经网络模型或者二维卷积神经网络模型；将所述时空图输入到三维卷积神经网络模型或者二维卷积神经网络模型中进行训练，利用训练好的三维卷积神经网络模型或者二维卷积神经网络模型预测生理信号参数。