[发明专利]一种基于多移动端-边缘端协同推理的视频目标检测方法

说明书

本发明公开了一种基于多移动端‑边缘端协同推理的视频目标检测方法，包括：通过移动端设备采集视频，以视频中上一帧中检测目标边界框的尺寸，作为原始边界框尺寸；对原始边界框尺寸进行拓展，从视频帧中裁剪得到当前帧的第一目标边界拓展框；确定当前帧中出现的新目标区域，并对新目标区域的边界框尺寸进行拓展，通过裁剪得到当前帧的第二目标边界拓展框；以第一目标边界拓展框和第二目标边界拓展框的并集作为当前帧的任务集合；边缘服务器同时接收多个移动端设备发送的任务集合，将多个任务集合中包含的边界拓展框进行拼接，得到拼接图像；边缘服务器对拼接图像进行目标检测，将得到的检测结果映射回移动端视频当前帧的相应位置，发送给移动端。

技术领域

本发明属于边缘计算、视频目标检测技术领域，特别涉及一种基于多移动端-边缘端协同推理的视频目标检测方法。

背景技术

视频目标检测的主要任务是识别和定位每个视频帧中的目标，并使用边界框对目标物体的位置进行标注。视频目标检测技术在无人驾驶、智能安防等领域应用十分广泛，也一直是人工智能以及相关学科的研究热点。随着深度学习技术的发展，各种深度神经网络，比如Faster-R-CNN、SSD、YOLO等模型，正被广泛应用于目标检测中。

现有的视频目标检测技术主要有逐帧的静态图像目标检测、基于“检测+追踪”的方法等。对于逐帧的检测方法，它是在视频的每一帧中执行静态的目标检测器，进而得出所有视频帧的检测结果；而基于“检测+追踪”的方法则是在每帧中执行目标检测器的同时，利用帧与帧之间的上下文信息，对检测结果进行追踪和修正，可进一步提高目标的检测准确率。

视频目标检测应用除了需要满足检测结果的准确性，还要考虑时间成本。随着人工智能的落地应用，各种移动设备被用来部署目标检测程序。然而，由于移动设备中的计算资源高度受限，加之网络模型计算的复杂性，仅在移动端很难实现速度与准确度的权衡。边缘计算是一种可行的解决方案，如果将计算任务卸载到接近终端设备的边缘端，利用边缘服务器强大的计算能力，就可以缓解视频目标检测带来的高延迟问题，更易于实现高性能的模型计算和实时服务。

虽然当前视频目标检测和边缘计算技术进行了多轮的迭代和更新，已经取得了良好的效果，但是仍有一些关键问题有待讨论。首先，在每一帧视频中，一般只需要定位和识别一小部分前景区域，而大部分背景区域是不需要计算的，因此针对视频中的空间冗余，我们可以改进和优化现有的视频目标检测算法。其次，现有的方法都是假设在单一移动端设备下产生数据并执行模型推理，而在现实情况中，终端设备的数量是相当大的，多个用户可能会同时请求类似的计算服务。在这种情况下，确保合理的任务调度和计算资源分配就显得尤为重要。

发明内容

本发明的目的是提供一种基于多移动端-边缘端协同推理的视频目标检测方法，其使用基于内容的裁剪和拼接方法，能够提高多移动端环境下视频目标检测应用的执行效率。

本发明提供的技术方案为：

一种基于多移动端-边缘端协同推理的视频目标检测方法，包括：

通过移动端设备采集视频，以所述视频中上一帧中检测目标边界框的尺寸，作为原始边界框尺寸；对所述原始边界框尺寸进行拓展，按照拓展后的原始边框尺寸对当前帧的前景区域进行裁剪，得到当前帧的第一目标边界拓展框；

确定当前帧中出现的新目标区域，并对所述新目标区域的边界框尺寸进行拓展，得到当前帧的第二目标边界拓展框；

以所述第一目标边界拓展框和所述第二目标边界拓展框的并集，作为当前帧的任务集合；

边缘服务器同时接收多个移动端设备发送的任务集合后，将多个任务集合中包含所述第一目标边界拓展框和所述第二目标边界拓展框进行拼接，得到拼接图像；

边缘服务器对所述拼接图像进行目标检测，将得到的检测结果映射回移动端视频当前帧的相应位置，发送给移动端。