[发明专利]基于深浅模型集成的视频中任意四边形平面目标跟踪方法及其系统

说明书

本发明公开了一种基于深浅模型集成的视频中任意四边形平面目标跟踪方法，包括：首先将两种浅层目标跟踪方法和一个深层通用目标跟踪器集成到一个统一的平面目标跟踪框架中，所述浅层目标跟踪方法包括一个平面目标跟踪器和一个通用目标跟踪器；最后利用基于网格运动统计的镜头边界检测方法对融合后的跟踪结果进行精化。还公开了一种基于深浅模型集成的视频中任意四边形平面目标跟踪系统、装置及其存储介质。本发明提出了一种无需人工干预，通过比较不同跟踪器之间的差异来融合不同跟踪器结果的集成方法，不同的跟踪算法能够同时发挥各自的优势，克服其它算法的缺点，大大提高平面目标跟踪的性能。

技术领域

本发明涉及计算机视觉目标跟踪技术领域，特别是涉及一种基于深浅模型集成的视频中任意四边形平面目标跟踪方法及其系统。

背景技术

视频中任意四边形平面目标跟踪的目的是除了知道第一帧的四个角坐标之外，没有其他先验知识的情况下准确、鲁棒地跟踪平面目标，这对于虚拟广告或其他现实应用具有重要意义。

视觉目标跟踪是计算机视觉领域的一个研究热点。根据跟踪目标，现有的视觉跟踪方法可分为一般的目标跟踪和平面目标跟踪。对于一般的目标跟踪，跟踪目标是物体最小边界框所包含的矩形区域，相邻帧中物体本身的视觉内容变化不大。然而，对于平面目标跟踪，目标通常是由四个任意点包围的不规则四边形区域。有时，跟踪目标可以是内容不断变化的计算机屏幕，甚至不是“真实物体”，包括以下几种情形：(1)任何物体，甚至随机指定区域都可能是跟踪目标；(2)目标的大小逐渐变小；(3)目标窗口外的视图是不断变化的。因此，虽然基于深度学习的视觉目标跟踪技术已经取得了很大的进展，但是大多数的研究集中在一般的目标跟踪上，不适合于平面目标跟踪。

因此亟需提供一种新型的视频中任意四边形平面目标跟踪方法来解决上述问题。

发明内容

本发明所要解决的技术问题是提供一种基于深浅模型集成的视频中任意四边形平面目标跟踪方法、系统、装置及其存储介质，能够大大提高平面目标跟踪的性能。

为解决上述技术问题，本发明采用的第一个技术方案是：提供一种基于深浅模型集成的视频中任意四边形平面目标跟踪方法，包括：

首先将两种浅层目标跟踪方法和一个深层通用目标跟踪器集成到一个统一的平面目标跟踪框架中，所述浅层目标跟踪方法包括一个平面目标跟踪器和一个通用目标跟踪器；

最后利用基于网格运动统计的镜头边界检测方法对融合后的跟踪结果进行精化。

在本发明一个较佳实施例中，基于深浅模型集成的视频中任意四边形平面目标跟踪方法，具体包括以下步骤：

假设视频某帧中任意平面四边形目标R在坐标系t中的四角坐标为坐标系t+1中R的四角坐标即

S1：利用平面目标跟踪器Gracker对R进行跟踪，结果表示为其中i∈[1,4]；

S2：以R的每个角为中心，建立一个长度为r的矩形，利用fDSST对这四个小矩形区域进行跟踪，同理，在框架t+1中被跟踪矩形的中心也是被跟踪平面物体的角，记为其中i∈[1,4]；

S3：利用UDT追踪所述建立矩形的边界框，使用框架t和t+1的边界框计算单应矩阵P_u，UDT跟踪结果为

S4：计算所有不同跟踪结果对之间的欧氏距离：d_GF、d_FU、d_GU：