[发明专利]基于关键对象拼合的实时视频识别加速器

说明书

本发明公开了一种基于关键对象拼合的实时视频识别加速器，包括对象追踪模块、对象聚合模块、对象拆分模块、预设神经网络加速器、更新对象队列模块和主存模块。其中对象追踪模块用于获取P帧图像数据中关键对象矩形框的原始位置信息或B帧图像数据中关键对象矩形框的原始位置信息；对象聚合模块用于基于对P帧图像数据中的关键对象矩形框和/或B帧图像数据中的关键对象矩形框进行合并，得到合成帧；预设神经网络加速器用于对合成帧进行处理，得到合成帧识别结果；对象拆分模块用于对合成帧进行拆分，并将拆分结果返回到原始图像数据中。本发明大大节省了目标视频识别任务中的计算工作量，提高了识别任务处理速度和识别准确率。

技术领域

本发明涉及神经网络技术领域，尤其涉及一种基于关键对象拼合的实时视频识别加速器。

背景技术

深度卷积神经网络已经在图像识别中得到广泛的应用，例如在图像的分类、检测及分割中。随着其发展，人们逐渐将深度卷积神经网络的应用范围扩展到了视频领域。

通常基于深度神经网络的视频识别任务可以将每个视频帧当成一张张独立的图片，输入到深度神经网络中进行识别，即将视频识别当成图像识别任务分别对每帧进行识别。然而，直接将适用于图像识别任务的网络模型应用在所有视频帧上，需要承受极大的计算开销和能量开销；从另一方面来说，应用于图像识别任务的神经网络擅长于处理静态物体，无法捕捉视频帧与帧之间的物体的移动特点，从而导致视频识别的准确率较低。

因此，研究者们提出了针对视频识别任务的深度神经网络模型，利用视频帧间的时间局部性来进一步增强识别准确率。Caelles等人提出了双流FCN网络模型分别对每帧的前景和轮廓进行分割，但是依然需要将该双流FCN神经网络应用于每帧上，因此该方法所消耗的时间、能耗都很大，且该方法没有利用视频帧间的时间局部性，因此识别的准确率也很难得到保证。为了更高的准确率，Cheng等人提出了Segflow方法，利用一个神经网络抽取帧间的时间局部性---光流信息，再利用光流信息辅助每帧的识别神经网络，得到最终的识别结果。但该方法耗费了过多的精力来抽取光流，因此在TiTAN X GPU上所提高的识别速度也有限。

发明内容

本发明所要解决的技术问题是现有神经网络处理视频识别任务中往往需要对每帧视频图像进行处理，存在耗时长、耗能大、识别准确率难得到保证以及识别速度很难提上去。

为了解决上述技术问题，本发明提供了一种基于关键对象拼合的实时视频识别加速器，其特征在于，包括：对象追踪模块、对象聚合模块、对象拆分模块、预设神经网络加速器以及分别与所述对象追踪模块、所述对象聚合模块和所述对象拆分模块连接的更新对象队列模块和主存模块，所述主存模块还与所述预设神经网络加速器连接；

所述主存模块，用于存储合成帧、合成帧的识别结果、I类帧图像识别结果、P类帧图像识别结果和B类帧图像识别结果以及目标视频解码后得到的P类帧图像数据、B类帧图像数据、I类帧图像数据、运动矢量表和帧内预测模式表；

所述对象追踪模块，用于基于所述运动矢量表、帧内预设模式表以及已获取的图像识别结果，获取P帧图像数据中关键对象矩形框的原始位置信息或B帧图像数据中关键对象矩形框的原始位置信息；

所述对象聚合模块，用于基于所述P帧图像数据中关键对象矩形框的原始位置信息以及对应的P帧图像数据和/或所述B帧图像数据中关键对象矩形框的原始位置信息以及对应的B帧图像数据，对P帧图像数据中的关键对象矩形框和/或B帧图像数据中的关键对象矩形框进行合并，得到合成帧以及P帧图像数据中关键对象矩形框在合成帧中的放置位置信息和/或B帧图像数据中关键对象矩形框在合成帧中的放置位置信息；

所述预设神经网络加速器，用于对I类帧图像数据和合成帧进行处理，得到I类帧图像识别结果和合成帧识别结果；