[发明专利]一种基于视频光流信息的人脸检测、计数方法及系统

说明书

本发明涉及一种基于视频光流信息的人脸检测、计数方法及系统。该方法包括在多学生课堂教学场景下，获取课堂视频；并利用训练好的FlowNet模型，确定课堂视频的光流信息；所述训练好的FlowNet模型以课堂视频为输入，以课堂视频的光流信息为输出；根据所述光流信息和对应帧的课堂视频，得到通道数为5的图像‑光流信息数据集；进而基于FasterRCNN目标检测算法，利用训练好的人脸检测网络模型，确定课堂视频中人脸位置；根据所述课堂视频中人脸位置，采用Sort追踪算法，进行学生人脸计数。本发明能够实时、准确的对目标进行检测以及计数。

技术领域

本发明涉及计算机视觉领域，特别是涉及一种基于视频光流信息的人脸检测、计数方法及系统。

背景技术

随着教育信息化的发展，深度学习等技术在教育上的应用也逐渐增加，例如教学质量评价中出勤率、迟到率、早退率等指标的评判，都可以利用目标检测算法。在课堂视频数据的处理上，通常是利用提取关键帧后利用图像目标检测网络进行检测，后续的跟踪、运动预测等任务也是建立在目标检测网络预测出检测框的基础上，这种方法忽略了一些隐含在帧间的语义信息。另外对于目前的目标检测算法来说，处理遮挡问题是一件困难的事情。

现有技术的人脸检测方法，例如专利名称一种基于深度卷积级联网络的人脸检测优化方法，申请号：CN201810146901.X的发明申请，其解决方案：利用深度卷积级联网络检测出人脸可能出现的区域，也就是热区；采用深度卷积级联网络，利用第一层深度卷积网络快速确定目标的疑似区域；金字塔类脸区域进行填充，干扰区域清零，并对填充图进行扩张；将填充后的人脸热区和原图相与，得出最终送入后续网络的人脸热区map；对热区进行更新，对奇数帧进行全图检测同时生成热区map，并将生成的热区map传给偶数帧处理分支，偶数帧处理分支对热区map进行数据稀疏处理，送入CNN网络进行运算；把得到的整图进行数据稀疏压缩；将金字塔图像和对应的热区map按像素相与，将非人脸区域全部归0；将生成的图转化为稀疏矩阵。

又如，专利名称：一种人脸检测方法、装置及终端，申请号：CN202111211767.5的发明申请，其解决方案：获取待识别图像，将所述待识别图像输入头肩检测模型以获取头肩特征，并基于所述头肩特征确定头肩检测框的位置；根据所述头肩检测框的位置确定所述待识别图像对应的检测框图像；将所述检测框图像输入预设人脸检测模型，通过所述人脸检测模型对所述检测框图像进行人脸检测。

但上述方法在目标重叠度较高的复杂场景中，不能实时、准确的对目标进行检测以及计数。

发明内容

本发明的目的是提供一种基于视频光流信息的人脸检测、计数方法及系统，能够实时、准确的对目标进行检测以及计数。

为实现上述目的，本发明提供了如下方案：

一种基于视频光流信息的人脸检测、计数方法，包括：

在多学生课堂教学场景下，获取课堂视频；并利用训练好的FlowNet模型，确定课堂视频的光流信息；所述训练好的FlowNet模型以课堂视频为输入，以课堂视频的光流信息为输出；

根据所述光流信息和对应帧的课堂视频，得到通道数为5的图像-光流信息数据集；进而基于Faster RCNN目标检测算法，利用训练好的人脸检测网络模型，确定课堂视频中人脸位置；

根据所述课堂视频中人脸位置，采用Sort追踪算法，进行学生人脸计数。

可选地，所述在多学生课堂教学场景下，获取课堂视频；并利用训练好的FlowNet模型，确定课堂视频的光流信息，具体包括：

根据Fly-Chair光流数据集，采用FlowNet光流估计算法，训练FlowNet模型，确定训练好的FlowNet模型。