[发明专利]用包括跟踪网的卷积神经网络获取与图像中的对象对应的边界框的方法和使用其的计算装置

说明书

提供了一种获取与对象相对应的边界框的方法。该方法包括以下步骤：(a)获取建议框；(b)通过参考(i)将参考边界框与建议框之间的距离进行比较的结果和/或(ii)将表示建议框是否包括对象的分数进行比较的结果，在建议框中选择特定建议框，然后设置特定建议框作为跟踪框的起始区域；(c)通过使用均值漂移跟踪算法确定当前帧的特定区域作为跟踪框的目标区域；以及(d)允许池化层通过将池化运算应用于对应于特定区域的区域生成池化特征图，然后允许FC层通过对池化特征图应用回归运算来获取边界框。

技术领域

本发明涉及一种利用包括跟踪网的卷积神经网络(CNN)获取与测试图像中的对象相对应的边界框的方法和使用该方法的测试装置；更具体地，涉及通过使用包括跟踪网的CNN获取与测试图像中的至少一个对象相对应的至少一个边界框的方法，以及执行该方法的测试装置，所述方法包括以下步骤：(a)如果通过对作为当前帧的测试图像应用卷积运算而生成特征图，然后输出通过由区域建议网络(RPN)对特征图应用特定操作而得到的关于多个建议框的信息，则测试装置获取或支持另一装置获取多个建议框；(b)测试装置通过参考以下至少一项在多个建议框中选择或支持另一装置在多个建议框中选择至少一个特定建议框：(i)将前一帧中的对象的参考边界框与多个建议框的每一个之间的每个距离进行比较的结果以及(ii)将作为指示建议框的每一个是否包括对象的概率值的每个分数进行比较的结果，然后设置或支持另一装置设置特定建议框作为跟踪框的起始区域，其中，起始区域用于均值漂移跟踪算法；(c)通过使用均值漂移跟踪算法，测试装置确定或支持另一装置确定当前帧的特定区域作为跟踪框的目标区域，该特定区域具有关于和与前一帧中的对象的像素数据对应的概率类似的概率的信息；以及(d)测试装置允许池化层通过对特征图中对应于特定区域的区域应用池化运算生成池化特征图，然后允许FC层通过对池化特征图应用回归运算来获取边界框。

背景技术

在机器学习中，卷积神经网络(CNN或ConvNet)是一类深度前馈人工神经网络，已成功应用于分析视觉意象。

图1是示意性地示出根据现有技术的传统CNN的学习过程的图。

具体地，图1示出了通过将预测边界框与地面真值(GT)边界框进行比较来获取损失的过程。这里，损失代表预测边界框和GT边界框之间的差异，并表示为dx_c、dy_c、dw、dh，如图1所示。

首先，如图1所示，学习装置可以获取RGB图像作为输入以被馈送到包括在卷积块中的多个卷积层(即卷积滤波器)。当RGB图像通过多个卷积层时，RGB图像的大小(例如，宽度和高度)变小，而通道数增加。

如图1所示，学习装置允许区域建议网络(RPN)从由卷积块输出的最终特征图生成建议框，并允许池化层(例如ROI池化层)通过对特征图上与建议框对应的区域的像素数据应用最大池化运算(或平均池化运算)将特征图上与建议框对应的区域的大小调整到预定大小(例如，大小为2×2)。因此，获取了池化特征图。作为参考，池化特征图也可以称为特征向量。这里，最大池化运算是这样的运算：通过该运算，从特征图上的主题区域划分的子区域的每一个中的每个最大值被选择作为主题区域的代表值的每一个，如图1的右下方所示。

接下来，可以允许池化特征图被馈送到完全连接(FC)层。

然后，学习装置可以允许FC层识别RGB图像中的对象的类别。另外，可以通过FC层获取RGB图像中的预测边界框，并且还可以通过在预测边界框和地面真值(GT)边界框之间进行比较来获取损失。这里，GT边界框表示精确地围绕RGB图像中的对象的边界框，其通常可以由人为准备。

最后，图1中的学习装置可以通过在反向传播过程期间使用损失来调整包括在FC层、RPN或多个卷积层中的参数中的至少一个。

此后，具有包括调整后的参数的CNN的测试装置(未示出)可以稍后获取围绕测试图像中的对象的边界框。然而，即使测试装置具有包括调整后的参数的CNN，也很难获得精确地围绕测试图像中的对象的边界框。