[发明专利]一种多路视频进行多AI模型并行处理的方法

说明书

本发明提供了一种多路视频进行多AI模型并行处理的方法，通过POE路由器与多个摄像头相连，POE路由器与视频服务器相连，视频服务器包括AI管理模块，通过POE路由器接入多路视频数据，每一路视频数据与多模型进行绑定，通过AI管理模块进行AI模型的管理调用，从而达到每一路视频都能进行多模型检测的目的。本发明的有益效果是：本发明能够自动添加摄像头，自动化程度高；通过GPU直接参于数据拉流，提高任务处理效率；通过AI管理模块让AI模型可灵活增加、灵活配置，提高开发效率、便于维护；利用并发的机制把所有资源利用起来，达到硬件资源利用的最大化。

技术领域

本发明涉及视频处理技术领域，尤其涉及一种多路视频进行多AI模型并行处理的方法。

背景技术

现有的视频处理技术，自动化程度低，开发效率低，硬件资源利用无法最大化，并且后期的维护也不方便，给用户带来了极大的烦恼。

发明内容

本发明提供了一种多路视频进行多AI模型并行处理的方法，通过POE路由器与多个摄像头相连，POE路由器与视频服务器相连，视频服务器包括AI管理模块，通过POE路由器接入多路视频数据，每一路视频数据与多模型进行绑定，通过AI管理模块进行AI模型的管理调用，从而达到每一路视频都能进行多模型检测的目的。

作为本发明的进一步改进，采用onvif协议定时检测所有接入到POE路由器的摄像头的信息，采用GetStreamUri命令获取视频信息，获取的视频信息包含onvif协议提供的RTSP地址，根据获取到的视频信息后台自动添加摄像头。

作为本发明的进一步改进，对于不支持或者默认关闭ONVIF协议的摄像头，采取主动扫描内网相同网段的所有IP，按照指定格式尝试通讯，如得到应答则寻找摄像头成功，保存此摄像头信息到视频服务器数据库。

作为本发明的进一步改进，视频服务器还包括GPU，在CPU中申请2块属于DMA的内存池，通过内存映射存储视频数据；CPU触发DMA控制器进行传输，通过PCIE传输到GPU中，GPU收到之后接着进行编码、AI识别处理。

作为本发明的进一步改进，AI管理模块包括外部调用API模块、图像编码模块、图像提取模块、AI通用管理模块、AI识别模块，

外部调用API模块：用于提供给到外部模块使用的API，识别图像的传入、运算结果的输出；

图像编码模块：用于把图像转换为AI通用模型需要的图像格式；

图像提取模块：用于根据AI识别结果，提取对应的图像数据；

AI通用管理模块：用于管理各个AI模型的优先级、运行频率、开关；

AI识别模块：用于实现对接自身模型的调用、后处理，把结果反馈到管理模块中。

作为本发明的进一步改进，AI加速框架采用CUDA的软件设计框架，并且根据warp大小按整数倍速分配block所包含的线程数。

作为本发明的进一步改进，按照warp大小特性整数倍生成子任务,然后把相同计算路径的thread放到同一个warp中。

作为本发明的进一步改进，根据warp的运算内容给SM分配不同数量的warp数量，以达到高效率利用。

作为本发明的进一步改进，计算显卡设备型号对应的性能，匹配好每个SM需要的warp个数，以达到可以满足SM不间断运行的条件。

本发明的有益效果是：本发明能够自动添加摄像头，自动化程度高；通过GPU直接参于数据拉流，提高任务处理效率；通过AI管理模块让AI模型可灵活增加、灵活配置，提高开发效率、便于维护；利用并发的机制把所有资源利用起来，达到硬件资源利用的最大化。

附图说明

图1是本发明的原理框图；