[发明专利]一种基于高性能并发视频实时处理框架的处理方法

说明书

本发明涉及一种基于高性能并发视频实时处理框架的处理方法，属于视频分析技术领域。包括如下步骤：A：对高性能并发视频流进行硬件加速解码；B：对解码后的视频帧进行CPU前处理；C：对前处理结果累积，达到一定数量后进行GPU模型批推理；D：对进行模型推理后的结果进行CPU后处理；E：结果分析：根据业务逻辑与规则，对一连串的模型推理结果进行最终的分析处理。若某路视频分析任务完成，则通知视频解码模块中的视频管理子模块，变更或终止该路视频源，并释放其占用的共享内存，否则持续硬解码。本发明的视频解码、前处理、模型推理和后处理模块全部分离，便于动态增加/删除/修改，且模块功能可根据业务需要灵活修改，使用简单。

技术领域

本发明涉及一种基于高性能并发视频实时处理框架的处理方法，属于视频分析技术领域。

背景技术

视频分析技术是指通过对视频信号进行处理、分析及内容理解，提取视频场景中发生的一些特定事件或监控目标的特定行为，在智能安防、娱乐直播等众多场景中广泛使用。从应用角度看，需重点解决两个问题：一是处理分析的实时性，二是同时处理的视频路数。NVIDIA公司提供了一套数据流分析工具DeepStream，透过多传感器的数据处理和智能视频分析来感知情景。开发者无需从头开始设计端到端解决方案，只需专注于构建核心深度学习网络，且框架提供了硬件加速模块。但DeepStream工具也存在一些不足，若标准插件功能无法满足需求自己编写则异常繁琐，动态删除/添加/替换Pipeline中的插件也比较麻烦。

发明内容

本发明的目的在于，克服现有技术中存在的问题，提供一种基于高性能并发视频实时处理框架的处理方法，视频解码、前处理、模型推理和后处理模块全部分离，便于动态增加/删除/修改，且模块功能可根据业务需要灵活修改，使用简单。

为了解决上述问题，本发明的基于高性能并发视频实时处理框架的处理方法包括如下步骤：

A：对高性能并发视频流进行硬件加速解码；

B：对解码后的视频帧进行CPU前处理；

C：对前处理结果累积，达到一定数量后进行GPU模型批推理；

D：对进行模型批推理后的结果进行CPU后处理；

E：结果分析：根据业务逻辑与规则，对一连串的模型推理结果进行最终的分析处理。

进一步的，步骤A具体包括如下步骤：

A1：对视频进行视频管理，视频管理包括视频源数据的接入、变更、终止和调度分发，并按照设定的规则将视频源分发给相应的GPU解码进程/线程；

A2：对视频进行GPU解码，所述GPU解码的工具包括FFmpeg、Video ProcessingFramework；

A3：将视频帧调度分发给CPU前处理模块：调度分发子模块对解码进程/线程产生的数据进行质量保证、帧乱序处理，并按照按模取余规则将数据分发至后续GPU推理模块。

进一步的，所述CPU前处理包括如下步骤：

B1：将经过步骤A解码的视频调度分发至若干个CPU前处理的输入队列子模块中；

B2：通过前处理输入队列子模块传送至相应CPU前处理进程/线程，进行包括图像缩放、图像灰度化、像素值标准化的前处理后进入CPU调度分发子模块；

B3：CPU的调度分发子模块将前处理进程产生的结果按照按模取余规则分发至后续GPU推理子模块。

进一步的，所述GPU模型批推理具体包括如下步骤：

C1：建立临时列表，设置批推理数据大小batch_size；