[发明专利]一种基于视频光流信息的人脸检测、计数方法及系统

权利要求书

1.一种基于视频光流信息的人脸检测、计数方法，其特征在于，包括：

在多学生课堂教学场景下，获取课堂视频；并利用训练好的FlowNet模型，确定课堂视频的光流信息；所述训练好的FlowNet模型以课堂视频为输入，以课堂视频的光流信息为输出；

根据所述光流信息和对应帧的课堂视频，得到通道数为5的图像-光流信息数据集；进而基于FasterRCNN目标检测算法，利用训练好的人脸检测网络模型，确定课堂视频中人脸位置；

根据所述课堂视频中人脸位置，采用Sort追踪算法，进行学生人脸计数。

2.根据权利要求1所述的一种基于视频光流信息的人脸检测、计数方法，其特征在于，所述在多学生课堂教学场景下，获取课堂视频；并利用训练好的FlowNet模型，确定课堂视频的光流信息，具体包括：

根据Fly-Chair光流数据集，采用FlowNet光流估计算法，训练FlowNet模型，确定训练好的FlowNet模型。

3.根据权利要求1所述的一种基于视频光流信息的人脸检测、计数方法，其特征在于，所述根据所述光流信息和对应帧的课堂视频，得到通道数为5的图像-光流信息数据集；进而基于FasterRCNN目标检测算法，利用训练好的人脸检测网络模型，确定课堂视频中人脸位置，具体包括：

利用训练好的人脸检测网络模型中的一组卷积层和池化层配合ReLU激活函数提取图像-光流信息数据集中图片的特征；

将提取的特征输入至训练好的人脸检测网络模型中的RPN网络中生成待确定的候选区域；

利用训练好的人脸检测网络模型中的softmax判断待确定的候选区域属于前景还是背景，再利用边界框回归算法确定候选框；

将候选框输入训练好的人脸检测网络模型中的Roi Pooling层，综合提取的特征和候选框，提取候选框特征图，并输入训练好的人脸检测网络模型中的全连接层；

所述全连接层进行分类，同时再次进行边界框回归，确定课堂视频中人脸位置。

4.根据权利要求1所述的一种基于视频光流信息的人脸检测、计数方法，其特征在于，所述根据所述课堂视频中人脸位置，采用Sort追踪算法，进行学生人脸计数，之前还包括：

获取当前帧的检测框，并利用改进的seq-nms的重打分算法对当前帧的检测框的置信度进行打分；所述改进的seq-nms的重打分算法为soft-nms算法和seq-nms算法相结合。

5.一种基于视频光流信息的人脸检测、计数系统，其特征在于，包括：

光流信息确定单元，用于在多学生课堂教学场景下，获取课堂视频；并利用训练好的FlowNet模型，确定课堂视频的光流信息；所述训练好的FlowNet模型以课堂视频为输入，以课堂视频的光流信息为输出；

人脸位置确定单元，用于根据所述光流信息和对应帧的课堂视频，得到通道数为5的图像-光流信息数据集；进而基于FasterRCNN目标检测算法，利用训练好的人脸检测网络模型，确定课堂视频中人脸位置；

人脸计数单元，用于根据所述课堂视频中人脸位置，采用Sort追踪算法，进行学生人脸计数。

6.根据权利要求5所述的一种基于视频光流信息的人脸检测、计数系统，其特征在于，所述光流信息确定单元具体包括：

训练好的FlowNet模型确定子单元，用于根据Fly-Chair光流数据集，采用FlowNet光流估计算法，训练FlowNet模型，确定训练好的FlowNet模型。