[发明专利]一种基于多移动端-边缘端协同推理的视频目标检测方法

权利要求书

1.一种基于多移动端-边缘端协同推理的视频目标检测方法，其特征在于，包括：

通过移动端设备采集视频，以所述视频中上一帧中检测目标边界框的尺寸，作为原始边界框尺寸；对所述原始边界框尺寸进行拓展，按照拓展后的原始边框尺寸对当前帧的前景区域进行裁剪，得到当前帧的第一目标边界拓展框；

确定当前帧中出现的新目标区域，并对所述新目标区域的边界框尺寸进行拓展，得到当前帧的第二目标边界拓展框；

以所述第一目标边界拓展框和所述第二目标边界拓展框的并集，作为当前帧的任务集合；

边缘服务器同时接收多个移动端设备发送的任务集合后，将多个任务集合中包含所述第一目标边界拓展框和所述第二目标边界拓展框进行拼接，得到拼接图像；

边缘服务器对所述拼接图像进行目标检测，将得到的检测结果映射回移动端视频当前帧的相应位置，发送给移动端。

2.根据权利要求1所述的基于多移动端-边缘端协同推理的视频目标检测方法，其特征在于，还包括：

边缘服务器接收到多个移动端设备发送的任务集合后，按照剩余空闲时间从小到大的顺序将各任务集合依次放入本轮计算队列中，直至达到边缘服务器执行单次图像推理的最大容量为止；

其中，所述剩余空闲时间表示当前时刻距移动端用户期望的任务完成期限的剩余时间。

3.根据权利要求2所述的基于多移动端-边缘端协同推理的视频目标检测方法，其特征在于，如果存在检测目标在多个连续历史帧中的偏移量为零，则将这些检测目标视为静态目标，每间隔若干帧对所述静态目标向边缘服务器进行卸载。

4.根据权利要求3所述的基于多移动端-边缘端协同推理的视频目标检测方法，其特征在于，对所述原始边框尺寸进行拓展时，原始边框宽度和高度方向的拓展率分别为：

其中，w和h分别为原始边框的宽度和高度，K是参考的历史帧的数量，Δw_i、Δh_i表示该目标在历史帧的第i帧相较于第i-1帧的边界框宽度和高度方向的偏移量，和表示该目标在先前K帧宽度和高度方向偏移量的最大值，C_w和C_h分别为宽度和高度方向的基础拓展率。

5.根据权利要求2、3或4所述的基于多移动端-边缘端协同推理的视频目标检测方法，其特征在于，C_w和C_h的取值范围均为0.1～0.3。

6.根据权利要求5所述的基于多移动端-边缘端协同推理的视频目标检测方法，其特征在于，确定当前帧中出现的新目标区域的方法为：

将当前帧的像素值与上一帧的像素值相减，并将得到的差值图转换为灰度图；

对灰度图中的像素值进行基于密度的聚类，得到多个像素点类；

基于每个所述像素点类构造出最小的外接矩形框；

将多个所述外接矩形框分别与所述第一目标边界拓展框进行匹配；如果外接矩形框与所述第一目标边界拓展框的交并比小于阈值，则保留该外接矩形框，并将所述外接矩形框作为新目标区域。

7.根据权利要求6所述的基于多移动端-边缘端协同推理的视频目标检测方法，其特征在于，对所述新目标区域的边框尺寸进行拓展时，拓展率设置为0.1～0.5。

8.根据权利要求7所述的基于多移动端-边缘端协同推理的视频目标检测方法，其特征在于，将多个任务集合中包含所述第一目标边界拓展框和所述第二目标边界拓展框进行拼接的方法为：

创建空白图像，将拓展框按图像的高度降序排列，从空白图像的左上角开始依次放置拓展框；

其中，放置规则为：后一个拓展框的左上角与前一个拓展框的右上角紧密贴合，从左到右依次排列；如当前行没有足够的空闲区域时，转到下一行，并从上一行第一张图片的左下坐标开始继续放置剩余的拓展框，直到所有的拓展放置完毕。