[发明专利]一种车端多路视频流推理分析方法及系统

说明书

本发明提供一种车端多路视频流推理分析方法及系统，方法包括：基于车端感知的图像数据，对构建的目标检测网络进行训练生成目标检测模型，将目标检测模型嵌入到DeepStream框架中，并部署到AGX设备中；将车端多路视频流输入嵌入有目标检测模型的DeepStream框架中，获取输出的多路视频流中的检测目标结果。本发明通过搭建基于DeepStream框架的目标检测模型，能够对车端多路摄像头采集的视频流进行实时推理分析，可以使得开发团队减少前后处理的开发时间，并减少了整个从捕捉图像数据到获得信息与反馈过程的时间。

技术领域

本发明涉及数据推理及图像识别领域，更具体地，涉及一种车端多路视频流推理分析方法及系统。

背景技术

在图像识别领域，多路视频流的推理分析处理时间作为车端感知处理中非常重要的要素，整个端到端的处理时间十分重要。目前，一般的视觉AI应用程序的两端(前处理和后处理)加上模型优化都是开发团队亲自部署，会让开发团队耗大量时间在程序部署上且从输入到输出的处理时间不能达到最佳。

发明内容

本发明针对现有技术中存在的技术问题，提供一种车端多路视频流推理分析方法及系统，用以解决现有开发团队的开发时间及多路视频流同时进行实时推理分析的时间问题。

根据本发明的第一方面，提供了一种车端多路视频流推理分析方法，包括：基于车端感知的图像数据，对构建的目标检测网络进行训练生成目标检测模型；将目标检测模型嵌入到DeepStream框架中，并部署到AGX设备中；将车端多路视频流输入嵌入有目标检测模型的DeepStream框架中，获取输出的多路视频流中的检测目标结果。

在上述技术方案的基础上，本发明还可以作出如下改进。

可选的，所述基于车端感知的图像数据，对构建的目标检测网络进行训练生成目标检测模型，包括：在车端对不同类型的各个车道进行图像采集，得到对应的图像数据，并对每一张图像数据中的目标信息进行标记，构成训练数据集；基于所述训练数据集对构建的目标检测网络进行训练，生成目标检测模型，其中，所述目标检测网络为轻量型的yolov5s网络。

可选的，所述训练数据集中的每一张图像数据的大小均为1280*1280px。

可选的，所述将目标检测模型嵌入到DeepStream框架中，并部署到AGX设备中，包括：在对构建的目标检测网络进行训练后，获取训练相应的格式模型文件；在AGX设备上将格式模型文件转换为DeepStream框架所需的格式；将转换后的格式模型文件部署到AGX设备的DeepStream框架上，以将所述目标检测模型嵌入DeepStream框架中。

可选的，所述相应的格式模型文件为FP32 best.pt的格式模型文件，所述在AGX设备上将格式模型文件转换为DeepStream框架所需的格式，包括：利用DeepStream框架自带的TensorRT转换模型插件将FP32best.pt的格式模型文件转换为FP16best.engine的格式模型文件。

可选的，所述AGX设备上部署有多个线程，相应的，将车端多路视频流输入嵌入有目标检测模型的DeepStream框架中，获取输出的多路视频流中的检测目标结果，包括：基于AGX设备上的多个线程对输入的多路视频流并行处理，获取每一路视频流中的目标检测结果；将多路视频流的目标检测结果整合进行输出。

根据本发明的第二方面，提供一种车端多路视频流推理分析系统，包括：训练模块，用于基于车端感知的图像数据，对构建的目标检测网络进行训练生成目标检测模型；部署模块，用于将目标检测模型嵌入到DeepStream框架中，并部署到AGX设备中；获取模块，用于将车端多路视频流输入嵌入有目标检测模型的DeepStream框架中，获取输出的多路视频流中的检测目标结果。