[发明专利]一种多任务多目标关联追踪的方法及装置

说明书

本发明公开一种多任务多目标关联追踪的方法及装置，该方法包括：步骤一，通过系统后台加载视频流地址或采用摄像头实时采集场景的视频流数据，并对视频进行编解码、抽帧、预处理操作；步骤二，利用目标检测模型对视频的图像数据进行实时推理，获取场景中人员和目标物体的检测结果数据；步骤三，通过人员目标追踪方法，对人员检测结果进行跟踪，获取人员进入场景和离开场景的时间，确定检测单位时间段；步骤四，判断人员停留在场景的时间段内，是否检测到目标物体，如果未检测到目标物体，将返回报警信息给平台端。本发明实现了在多人员和多目标的复杂场景，使用人工智能的方式进行智能检测，减少了人为因素的干扰，并且节约了人工成本。

技术领域

本发明涉及人工智能领域，尤其涉及一种多任务多目标关联追踪的方法及装置。

背景技术

近几年随着人工智能技术的快速发展，计算机视觉作为人工智能领域一个重要的方向，在很多领域，如安防领域、智慧交通领域等已经达到了可实际使用的水平。

随着物流的快速发展，包裹的安全性越来越受到大家的关注，如何判断寄件人的包裹是否被检查和寄快递时是否出示身份证，已经成为寄件过程中必须要检测的事情。

目前市场上还没有针对此场景有效的检测方法，并且人工判断的成本太高，目前的方案大多是，只检测包裹或者身份证，这样并不能保证寄件人在寄件时间段内的包裹是否被检查和是否出示身份证，没有有效的解决人员和包裹以及身份证的匹配问题和预警时间段问题。

发明内容

为了解决现有技术中存在的上述技术问题，本发明提出了一种多任务多目标关联追踪的方法及装置，其具体技术方案如下：

一种多任务多目标关联追踪的方法，包括以下步骤：

步骤一，通过系统后台加载视频流地址或采用摄像头实时采集场景的视频流数据，并对视频进行编解码、抽帧、预处理操作；

步骤二，利用目标检测模型对视频的图像数据进行实时推理，获取场景中人员和目标物体的检测结果数据；

步骤三，通过人员目标追踪方法，对人员检测结果进行跟踪，获取人员进入场景和离开场景的时间，确定检测单位时间段；

步骤四，判断人员停留在场景的时间段内，是否检测到目标物体，如果未检测到目标物体，将返回报警信息给平台端。

进一步的，所述步骤一具体为：采用摄像头实时采集场景的视频流或通过deepstream架构进行视频流的加载，通过以GStreamer插件的形式构建视频流分析管道，并使用NVDEC加速器进行解码，通过Gst-nvdewarper插件和Gst-nvvideoconvert插件进行图像预处理，使用Gst-nvstreammux插件完成图像的批处理。

进一步的，所述步骤二具体为：采用两个基于yolov5的目标检测模型：人员检测模型和物体检测模型，对视频流的每一帧图像进行检测，获得当前帧场景中N个人员目标框和当前帧场景中M个物体目标框。

进一步的，所述步骤三具体为：采用NvDCF、Deepsort或IOU目标追踪方法，给场景中每人一个身份标识id，并获得每人的跟踪结果：

，其中，分别为目标框横坐标方向上的两个点，分别为目标框纵坐标方向上的两个点，N是≥1的整数；

将目标人员的id第一次出现的时间作为该目标人员进入场景的时间，将目标人员id消失的时间作为该目标人员离开场景的时间，以此得到检测单位时间段。

进一步的，所述步骤四具体为：在检测单位时间段内，对目标人员进入场景后的每一帧图像进行检测，记录人员的身份标识id并将判断目标物体后的标签存入对应目标人员的标签队列，保存入场时间，当对应目标人员离开场景时，记录该离开时间，并根据对应目标人员的物体检测信息，返回相应的报警信息至平台端。