[发明专利]多个视频流处理方法、系统、计算机设备和存储介质

说明书

本申请涉及一种多个视频流处理方法、系统、计算机设备和存储介质，其中该方法包括：获取待处理视频流；将待处理视频流转换为待处理视频帧；将预设时间段内的待处理视频帧转换为视频帧Tensor并推入预处理队列，其中，视频帧Tensor包括待处理视频流的数量，待处理视频帧的长度、宽度和RGB；监听预处理队列，获取预处理队列中的视频帧Tensor放入机器学习引擎中进行推理；获取预处理队列中的视频帧Tensor的推理结果，其中，推理结果包括预处理队列中的视频帧Tensor的坐标Tensor、分类Tensor、置信度Tensor和数量Tensor。本发明与现有技术的区别之处在于：能够处理动态批大小的视频流，并且使用线程池与多GPU计数法稳定高效处理多路视频流地址，提高了检测并发量。

技术领域

本申请涉及目标检测技术领域，特别是涉及一种多个视频流处理方法、系统、计算机设备和存储介质。

背景技术

随着人工智能领域深度学习的快速发展，计算机视觉越来越多的领域受到了巨大的机遇和挑战。目标检测是计算机视觉和数字图像处理的一项热门技术，也是泛身份识别领域的一个基础性的算法，对后续的人脸识别、步态识别、人群计数、实例分割等任务起着至关重要的作用，因此广泛应用于智能视频监控领域。

相关技术中目标检测算法以固定批检测为主，且一般采用单视频流推理，即将单视频流中的每个视频帧作为一个基本单位进行检测，例如设置固定批大小为1，每次将1视频帧送入推理引擎推理。上述方法存在检测速度慢、并发性能差的问题。在相关技术的基础上若设置批大小为16，则遇到不足16个样本时，需要扩充样本，会造成检测资源的浪费。

目前针对相关技术中目标检测算法存在的处理速度慢、并发性能差的问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种多个视频流处理方法、系统、计算机设备和存储介质，以至少解决相关技术中目标检测算法通过将单视频流中的每个视频帧作为一个基本单位进行处理的方法存在的检测速度慢、并发性能差的问题。

第一方面，本申请实施例提供了一种多个视频流处理方法，所述方法包括：获取待处理视频流；将待处理视频流转换为待处理视频帧；将预设时间段内的待处理视频帧转换为视频帧Tensor并推入预处理队列，其中，视频帧Tensor包括待处理视频流的数量，待处理视频帧的长度、宽度和RGB；监听预处理队列，获取预处理队列中的视频帧Tensor放入机器学习引擎中进行推理；获取预处理队列中的视频帧Tensor的推理结果，其中，推理结果包括预处理队列中的视频帧Tensor的坐标Tensor、分类Tensor、置信度Tensor和数量Tensor。

在其中一些实施例中，获取待处理视频流包括：接收视频流请求，其中，视频流请求包括视频流地址、视频流持续时间、视频流ID、请求时间和异步回调地址；将视频流请求的格式转换成视频流处理单元的数据结构，在流执行器上注册视频流处理单元；通过视频流注册列表获取已注册的视频流信息作为待处理视频流。

在其中一些实施例中，所述方法还包括：将推理结果送入后处理队列中；监听后处理队列，获取后处理队列中的推理结果进行后处理获得目标结果。

在其中一些实施例中，机器学习引擎包括：模型预处理模块，对视频帧Tensor进行预处理，得到预处理后的Tensor；已训练的模型网络模块，对预处理后的Tensor进行推理，得到特征结果Tensor；模型后处理模块，对特征结果Tensor进行解码，得到推理结果。

在其中一些实施例中，对视频帧Tensor进行预处理包括：对视频帧Tensor进行大小调整和标准化处理。

在其中一些实施例中，已训练的模型网络模块包括：获取现有的视频帧Tensor；获取现有的视频帧Tensor的特征信息；将现有的视频帧Tensor输入机器学习模型，以现有的视频帧Tensor的特征信息作为监督，对机器学习模型进行训练，得到训练完备的机器学习模型。