[发明专利]用包括跟踪网的卷积神经网络获取与图像中的对象对应的边界框的方法和使用其的计算装置

权利要求书

1.一种通过使用包括跟踪网的CNN获取与测试图像中的至少一个对象相对应的至少一个边界框的方法，包括以下步骤：

(a)如果通过对作为当前帧的所述测试图像应用卷积运算而生成特征图，然后输出通过由区域建议网络(RPN)对所述特征图应用特定操作而得到的关于多个建议框的信息，则测试装置获取或支持另一装置获取所述多个建议框；

(b)所述测试装置通过参考以下至少一项在所述多个建议框中选择或支持另一装置在所述多个建议框中选择至少一个特定建议框：(i)将前一帧中的所述对象的参考边界框与所述多个建议框的每一个之间的每个距离进行比较的结果以及(ii)将作为指示所述建议框的每一个是否包括所述对象的概率值的每个分数进行比较的结果，然后设置或支持另一装置设置所述特定建议框作为跟踪框的起始区域，其中，所述起始区域用于均值漂移跟踪算法；

(c)通过使用所述均值漂移跟踪算法，所述测试装置确定或支持另一装置确定所述当前帧的特定区域作为所述跟踪框的目标区域，所述特定区域具有关于和与所述前一帧中的所述对象的像素数据对应的概率类似的概率的信息；以及

(d)所述测试装置允许池化层通过对所述特征图中对应于所述特定区域的区域应用池化运算生成池化特征图，然后允许FC层通过对所述池化特征图应用回归运算来获取边界框。

2.根据权利要求1所述的方法，其中，在所述步骤(c)中，关于与所述前一帧中的所述对象的像素数据对应的概率的所述信息是与所述前一帧中的所述边界框的像素数据相对应的直方图。

3.根据权利要求1所述的方法，还包括步骤：

(e)所述测试装置将所述边界框确定为参考边界框，以用于位于下一帧中的所述对象的跟踪框。

4.根据权利要求1所述的方法，其中，在所述步骤(b)中，如果所述对象的数量是多个，则所述测试装置通过参考以下至少一项在所述多个建议框中选择或支持另一装置在所述多个建议框中选择所述特定建议框：(i)将所述前一帧中的所述对象的所述参考边界框与所述多个建议框的每一个之间的距离的每一个进行比较的结果以及(ii)将作为指示所述建议框的每一个是否包括所述对象的概率值的每个分数进行比较的结果，然后设置或支持另一装置设置所述特定建议框的每一个作为所述跟踪框的每一个的每个起始区域。

5.根据权利要求1所述的方法，其中，在所述步骤(b)中，位于所述前一帧中的所述对象的所述参考边界框与所述多个建议框中的每一个之间的距离是所述参考边界框的中心坐标与所述多个建议框中的每一个的中心坐标之间的L2距离。

6.根据权利要求1所述的方法，其中，在学习装置已经完成以下处理的条件下所述测试装置执行所述步骤(a)至所述(d)：(i)允许卷积层从包括用于训练的对象的训练图像获取用于训练的特征图，(ii)允许所述RPN获取与所述训练图像中与用于训练的所述对象相对应的用于训练的一个或多个建议框，(iii)允许所述池化层通过应用池化运算生成与用于训练的建议框对应的用于训练的池化特征图，(iv)允许所述FC层通过将回归运算应用于用于训练的所述池化特征图获取关于用于训练的边界框的像素数据的信息，以及(v)允许损失层通过比较所述训练图像中的所述边界框的像素数据的信息与GT图像中的所述边界框的像素数据的信息来获取比较数据，从而在反向传播过程中通过使用所述比较数据调整所述CNN的至少一个参数。

7.根据权利要求1所述的方法，其中，在所述步骤(d)中，通过生成所述池化特征图然后通过所述FC层应用所述回归运算的处理，所述测试装置获取或支持另一装置获取所述边界框，所述边界框的大小被调整为对应于所述测试图像中的所述对象。