[发明专利]一种基于先验条件约束的图像场景多对象标记方法

权利要求书

1.一种基于先验条件约束的图像场景多对象标记方法，其特征在于，包括以下步骤：

步骤1、针对待标记的语义类别对象，在训练数据集上利用分类算法训练得到场景各语义类别的识别器和待标记语义类别的对象检测器，利用该检测器得到测试图像的对象识别包围盒，确定待标记对象的数量；

步骤2、在超像素尺度的测试图像上，根据初始粗略语义概率和对象显著性分布图确定语义对象群的感兴趣区域；

步骤3、计算测试图像的多维度特征，作为先验外观约束，包括HOG特征、纹理特征、颜色特征、梯度特征，将像素级多维度特征转化为超像素级多维度特征；

步骤4、构建测试图像感兴趣区域的图模型结构，以感兴趣区域中超像素作为图结构节点，以超像素的邻接关系作为图结构的边，将先验外观约束的对应特征转化为边权重值；根据初始粗略语义概率和对象显著性分布值计算初始测地线距离，作为节点权重值；其中，

所述步骤4中，将图模型标记问题通过流行空间中的测地线传播算法来解决，其中图模型结构的节点权重值为初始测地线距离，图模型结构的边权重值为先验约束下的多维度特征值；首先在计算初始测地线距离时，计算方式如下：计算每个节点属于每个对象的概率，对于显著性概率大于Ts同时语义概率大于Tp的节点，它的节点值为三部分之和，即显著性值、语义概率值以及所属对象包围盒的分值；对于其他情况的节点，它的节点值为非该语义类别概率值与非显著性值的和；然后将节点值归一化并转化为初始测地线距离，使之与节点值成反比，即节点值越大测地线距离越小，通过以下公式计算：

geoDis(s,o)＝exp(1-spOP(s,o))

其中，spOP(s,o)表示每个节点即超像素s属于每个对象o的概率，sP(s,l)和sMp(s)分别表示语义概率和显著性，inB(s,o)表示该节点是否在该对象的包围盒内，取值为1或0，Bbox(o)表示该包围盒的分值，geoDis(s,o)表示s到o的初始测地线距离；

步骤5、进行测地线传播，每一步传播中，确定当前种子点的对象标记，更新它周围相邻点的测地线距离，为下一步传播做准备，直至传播过程结束，得到每个超像素的对象标记。

2.如权利要求1所述的基于先验条件约束的图像场景多对象标记方法，其特征在于，所述步骤1中，利用该检测器确定待标记对象数量的方式如下：根据检测器得到的所有对象包围盒的检测分值，选择分值大于设定阈值Tb的包围盒，包围盒的个数即为待标记对象的个数，其中，阈值Tb由训练数据集确定，在训练数据集上检测对象包围盒，统计包围盒分值分布的直方图，以满足直方图80％的包围盒时所对应的分值，作为阈值Tb。

3.如权利要求1所述的基于先验条件约束的图像场景多对象标记方法，其特征在于，所述步骤2中，感兴趣区域由初始粗略语义概率和对象显著性确定，具体方式如下：根据分类算法得到的初始粗略语义概率，统计训练集数据中待标记对象语义的直方图分布，以满足直方图85％的语义概率时所对应的分值，作为语义阈值Tp，对于测试图像中大于该语义阈值Tp的超像素，认为它在感兴趣区域中；对于一个超像素，如果它所有类别的粗略语义概率中，最大值为待标记语义类别，即认为它最可能属于该类别，即认为它在感兴趣区域中；以同样统计方式确定对象显著性阈值Ts，大于该显著性阈值Ts的超像素认为它在感兴趣区域中。