[发明专利]基于神经网络的车辆和行人视频计数方法和装置

说明书

本申请公开了一种基于神经网络的车辆和行人视频计数方法和装置，属于视频计数领域。该方法包括：从视频中获取当前帧；采用YOLO算法将当前帧分割成多个矩形网格；在每个网格中检测中心点落在该网格中的目标物体；判断检测到的目标物体是否为已检测到的类别，若否则确认其为一个新类别；对检测到的目标物体进行特征提取和预测；若预测出有目标物体为车辆或行人，则对上一帧和当前帧中提取的该目标物体的特征进行匹配和跟踪；通过检测当前帧中的该目标物体是否通过指定计数线，对车辆或行人进行计数。该装置包括：获取模块、分割模块、检测模块、分类模块、预测模块、跟踪模块和计数模块。本申请经过训练后大型目标计数与真实数据误差较小。

技术领域

本申请涉及视频计数领域，特别是涉及一种基于神经网络的车辆和行人视频计数方法和装置。

背景技术

通过数字视频计算行人的数量已经有一定的研究基础。传统的方法中有一些已经被认为是经典的，具有许多商业和学术应用。行人计数的算法大多来自工作场景中前景和背景的分割，通过进行轮廓分析或者blob检测阈值来确定前景物体。

近年来随着深度学习的发展，深度学习由于其高性能的图像分类和目标检测以及庞大的计算能力，使得计算机视觉领域取得很多突破。特别地在2016年Joseph Redmon等人提出YOLO算法，它展示了一种可以将分类和定位整合到一起的新思路，达到端到端的检测，并且将检测速度提升到每秒45帧，真正达到视频检测的要求，并于2017年和2018年提出了YOLOv2和YOLOv3。

但是，经典的基于分离前景的方法存在一些问题，首先物体的阴影很难与物体本身分离，难以分辨，且该方法没有提供一种直接的分类方法检测对象，同时受场景光照和图像噪声的影响较大。大部分深度学习方法提高了在视频检测的过程中的准确性问题，但检测速度较慢，且部分不具备分类能力。

发明内容

本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。

根据本申请的一个方面，提供了一种基于神经网络的车辆或行人视频计数方法，包括：

从视频中获取当前帧；

采用YOLO算法将所述当前帧分割成多个矩形网格；

在每个网格中检测中心点落在该网格中的目标物体；

判断检测到的目标物体是否为已检测到的类别，如果否，则确认所述检测到的目标物体为一个新的类别；

对所述检测到的目标物体进行特征提取和预测；

如果预测出有目标物体为车辆或行人，则对上一帧和所述当前帧中提取的该目标物体的特征进行匹配和跟踪；

通过检测所述当前帧中的该目标物体是否通过指定计数线，对车辆或行人进行计数。

可选地，在每个网格中检测中心点落在该网格中的目标物体，包括：

在每个网格中获取目标边框所围的区域，确定所述区域的中心点，检测所述中心点是否落在该网格中，如果是，则确定有目标物体落在该网格中。

可选地，判断检测到的目标物体是否为已检测到的类别，包括：

如果当前的目标物体在多个网格中均检测到，则将所述目标物体所在的多个网格进行组合，再判断组合后的形状内的目标物体是否为检测到的类别。

可选地，对所述检测到的目标物体进行特征提取和预测，包括：

使用有限元法，对所述检测到的目标物体提取特征，包括ROI-centroid的像素坐标、矩形的大小和YOLO预测的标签，根据所述提取的特征预测所述目标物体是否为车辆或行人。

可选地，通过检测所述当前帧中的该目标物体是否通过指定计数线，对车辆或行人进行计数，包括：