[发明专利]基于多层次特征提取和上下文模型的目标检测

权利要求书

1.基于多层次特征提取和上下文模型的目标检测方法，其特征在于：

本方法所构造的模型主要是统计了真实图片中图像之间的空间位置关系，从而可以提高目标检测的正确率；无论图像是同类别还是不同类，都会有一些特定的空间位置关系；人和自行车这两类图像，它俩之间的空间位置关系就只可能是人在自行车上(above)，或者人在自行车的旁边(next-to)，很少会出现自行车在人上(above)这种空间位置关系；人和人的空间位置关系一般都是人在人的旁边(next-to)，很少有人在人上(above)的空间位置关系；该方法的主要步骤如下，

S1构造上下文模型

首先构造一个上下文模型，用于捕获目标检测器之间的关系；用一系列有重合的窗口明确表示一副图片，第i个窗口的位置用其中心和长宽表示，写作I_i＝(x，y，s)，N表示一副图片有N个窗口，x_i表示从第i个窗口提取的图片特征，整幅图片用X＝{x_i：i＝1，……N}表示，K代表图像类别个数，本方法所用的是PASCALLVOC数据集，所以K为20，y_i∈{0，……，K}代表了第i个窗口的标签，0表示背景，Y＝{y_i:i＝1,……N}；定义X,Y之间的分数为：

其中w_yi,yj表示y_i类和y_j类之间的权重，w_yi表示类i的局部模板，d_ij表示窗口i和窗口j之间的空间位置关系，把位置关系分为，上面(above)，下面(below)，重叠(overlapping)，旁边(next-to)，近(near)和远(far)，因此，d_ij是一个稀疏的一维向量，只有满足相互之间的空间位置关系的对应项会赋值为1；人与人之间的空间位置关系总是next-to，而不会是above，所以，above及其他位置的对应项赋值为0，而next-to赋值为1；

因为计算max S(X,Y)是非确定性多项式NP(non-deterministic polynomial)hard，所以本方法采用类似贪心算法(greedy algorithms)来解决NPhard问题；

I代表一系列实例化的窗口-类(window-class)I＝{pairs(i,c)}，记Y(I)代表相关的标签向量，当所有的pairs在集合I中时，y_i＝c，否则y_i＝0；通过加窗口-类(window-class)pair(i,c)到集合I里来改变S(X,Y)的值，具体如下表示：

(i,c)＝S(X，Y(I{(i,C)}))-S(X，Y(I))

初始化I＝{}，S＝0，(i，c)＝w^T_cx_i，迭代

1)(i*，c*)＝argmax_(i,j)I(i，c)

2)I＝I{(i*，c*)}

3)S＝S+(i*,c*)

4)

结束条件是(i*，c*)＝0或者所有的窗口都实例化了；

S2用切平面最优化进行凸训练

为了描述本方法的学习算法，需要把公式(1)写成如下形式：

等价于S(X,Y)＝W^TΨ(X,Y)

其中，

即：

凸训练的目的是假设给定一系列训练图片X_i和标签Y_i，希望得到一个W的最优模型，使得给定一副新的图片X_i，可以产生一个标签向量Y*＝Y_i；因此，凸训练的结果是得到W的最优模型，使得Y*和Y_i的差值尽可能的小，凸训练得到W最优模型的这一过程既是求下列数学公式极值的过程，

其中，ΔΨ(X_i,Y_i,H_i)＝Ψ(X_i,Y_i)-Ψ(Y_i,H_i)，

H_i是自己算出的标签，

为了方便最优化，把公式(3)的约束问题等价于公式(4)的无约束问题：

其中

对上述公式(4)进行切平面最优化，即可得到W的最优模型；S3整体实施流程

首先通过搜索算法得到图片的候选区域，其次采用Ross Girshick的已经训练好的7层卷积神经网络CNNS进行图像的特征提取，因为本方法的训练集和测试集都采用的PASCALLVOC数据集有20个类别，所以把Ross Girshick的7层CNNS网络结构的最后输出改成21即20个VOC类和1个背景类，最后用线性的支持向量机SVM进行图片分类，分类的过程中为了找到最佳物体检测的位置，用已经训练好的上下文模型进行更准确的定位，最终得到更好的目标检测正确率。

2.根据权利要求1所述的基于多层次特征提取和上下文模型的目标检测方法，其特征在于：

算法步骤如下，

(1)对每一个窗口的向量Y初始化为背景类；

(2)贪心的选择不是背景类的单一窗口，最大限度的增加S(X,Y)的值；

(3)当选择任意一个窗口，S(X,Y)的值不增加反而减少时，停止。