[发明专利]一种用于实现多路视频解码及AI智能分析的系统及方法

权利要求书

1.一种用于实现多路视频解码及AI智能分析的系统，其特征在于，所述系统包括AI软件平台、视频接入分析模块、若干预处理模块、任务调度模块、若干AI分析模块、数据传输模块；

所述AI软件平台包括AI高性能编解码库、AI自定义高性能算子库、自定义视觉库、高性能通信库、模型轻量化引擎；其中，AI高性能编解码库采用硬解码或者编码技术，调用视频解码处理接口对多路h264或h265视频流进行实时编解码，输出YUV或者JPEG格式图片；其中，AI自定义高性能算子库集成了一套适配AI芯片的高性能推理算子，用于支持轻量化模型网络的基础算子，保障目标检测算法和目标识别算法的高效推理；其中，自定义视觉库内包含ffmpeg视觉处理库、opencv视觉处理库的基础功能，用于支撑视频拉流、图像标注；其中，高性能通信库，用于完成CPU和AI芯片间的数据传输和协同计算；其中，模型轻量化引擎，提供模型转换和量化处理，支持基于通用框架训练的模型转换为所述AI软件平台支持的格式，支持通过调用AI自定义高性能算子库快速完成推理分析任务；

所述视频接入分析模块，用于根据请求接入的多路视频流的分辨率、视频路数及AI分析任务对平台内的AI资源进行自动分配；

所述若干预处理模块，用于对请求接入的多路视频流完成视频解码、图像缩放、连续图像帧数据格式转换、像素标准化和图像编码处理；

所述任务调度模块，用于接收所有预处理模块输出的数据，根据请求接入的每一路视频流的AI分析任务，将所述每一路视频流分配到对应的AI分析模块中进行实时处理；

所述若干AI分析模块，分别对若干种目标检测识别推理应用模型进行优化；其中，各目标检测识别推理应用模型的输入为RGB格式、大小为1*416*416*3以及每个通道完成标准化处理后的连续图像帧数据；各目标检测识别推理应用模型的输出为检测到的目标在图中的坐标位置和类别置信度；

所述数据传输模块，用于接收所有预处理模块和所有AI分析模块中的数据，将AI分析模块的推理结果在对应的连续图像帧中进行结果标注，再将所有结果汇总后转换为二进制流形式传输到客户端。

2.根据权利要求1所述的一种用于实现多路视频解码及AI智能分析的系统，其特征在于，所述预处理模块包括视频解码单元、图像缩放处理单元、格式转换单元、像素标准化处理单元、图像编码单元；

所述视频解码单元，用于对各路视频流进行解码，得到各路视频流的YUV格式的第一连续图像帧；

所述图像缩放处理单元，用于将各路视频流的第一连续图像帧缩放至预设大小，得到对应的第二连续图像帧；

所述格式转换单元，用于将各路视频流的第二连续图像帧转换为RGB格式，得到对应的第三连续图像帧；

所述像素标准化处理单元，用于对各路视频流的第三连续图像帧进行各通道的像素标准化处理，得到对应的第四连续图像帧

所述图像编码单元，用于将各路视频流的第四连续图像帧编码为jpeg格式，得到对应的第五连续图像帧。

3.根据权利要求1所述的一种用于实现多路视频解码及AI智能分析的方法，其特征在于，AI分析模块中对目标检测识别推理应用模型进行优化的过程包括：

通过调用模型量化接口对各目标检测识别推理应用模型内的参数进行量化处理，从float32或float16高精度格式转换为int8低比特格式，实现低比特存储；

通过调用模型转换接口对各目标检测识别推理应用模型进行格式转换，对算子调度和内存使用进行优化；其中，优化流程通过采用算子融合方法将模型中能够合并的多个算子融合成一个算子；

所述对算子调度和内存使用进行优化包括：

针对CPU平台和AI芯片架构特点设计并构建优化的智能计算基础算子库；

将优化后的基础算子作为基元算子，利用基元算子组合成复合算子，通过动态计算图和静态计算图转换模式，提供统一的API编程和自动微分底层机制，设置基础算子核心库空间阈值1MB，在基础算子核心库大小不超过1MB时，完成优化。