[发明专利]一种基于神经网络的视频人脸捕捉方法

权利要求书

1.一种基于神经网络的视频人脸捕捉方法，其特征在于，包括如下步骤：

S1：采用基于深度学习的MT-CNN的方案从原始图像中检测并定位所有的人脸位置；

S2：对定位后的人脸图像进行预处理并提取人脸的特征信息；

S3：根据人脸的特征信息进行分组归类。

2.如权利要求1所述的基于神经网络的视频人脸捕捉方法，其特征在于，所述步骤S1中的MT-CNN采用三层网络结构对人脸区域进行检测定位，包括如下步骤：

S11：首先采用P-Net网络结构获取人脸区域的候选窗口和边界框的回归向量，并用该边界框做回归，对候选窗口进行校准，然后通过非极大值抑制来合并高度重叠的候选框；

S12：接着采用R-Net网络结构继续通过边界框回归和非极大值抑制去除false-positive区域；

S13：最后采用O-Net网络结构对人脸区域进行更多的监督，同时输出地标定位。

3.如权利要求1所述的基于神经网络的视频人脸捕捉方法，其特征在于，所述步骤S2包括：

将检测到的人脸通过SDM算法得到人脸的姿态信息P和关键点信息L；

根据关键点信息L对人脸姿态信息P中的Roll方向进行校正，实现人脸图像对齐处理；

根据关键点信息L对定位后的所有人脸图像的亮度和对比度进行归一化处理；

再通过Resnet34的CNN卷积神经网络提取人脸特征值F。

4.如权利要求3所述的基于神经网络的视频人脸捕捉方法，其特征在于，所述步骤S3中分组归类过程如下：

假设新的一帧图像对应检测到的n张人脸的特征值为F1,F2,…,Fn，之前视频流中提取的归类人脸中m个人脸归类的特征值为FG1,FG2,…,FGm；

将F1,…,Fn与FG1,…,FGm两两通过计算欧氏距离进行相似度比对，并进行归类分组；

如果F1,…,Fn中有未被归类到FG1,…,FGm中的情况，则在FG中添加一个新的分组FGm+1，并将新检测到的人脸加入到该分组中。

5.如权利要求4所述的基于神经网络的视频人脸捕捉方法，其特征在于，所述步骤S3在所有有更新的归类分组中，通过比较分组中所有人脸的姿态和关键点信息L，找出最适合用于比对或者检索的人脸图片，并把它的特征值更新到对应归类分组FG中，作为该归类分组的特征值；所述最适合用于比对或者检索的人脸图片的获取过程如下：

根据关键点信息L，计算出人脸姿态的Pitch，Yaw的弧度信息；

计算人脸的得分值Score＝Pitch*Pitch*0.8+Yaw*Yaw*0.2；

选择该分组中得分值Score最低的人脸，通过Resnet34网络计算得到的特征值，作为该分组的特征值FG。

6.如权利要求5所述的基于神经网络的视频人脸捕捉方法，其特征在于，所述步骤S3还包括检查各归类分组最后更新的帧数或者时间，当未更新的帧数或者时间达到预设阈值时，将该分组中的最佳人脸信息通知应用程序做后续处理，并从FG队列中删除。