[发明专利]一种基于弱监督与明确闭塞建模的3D汽车对象类表示算法

权利要求书

1.一种基于弱监督与明确闭塞建模的3D汽车对象类表示方法，其特征在于：该方法包括以下步骤：

S1：在训练图片集上标注有对象存在/不存在的标签；

S2：搭建区域卷积神经网络R-CNN神经网络，将标注完成的图片集统一尺寸后输入R-CNN神经网络中进行2D汽车检测神经网络的训练，得到训练好的弱标签2D汽车检测器；

S3：通过步骤S2的训练，将弱标签训练图片集输入训练好的弱标签2D汽车检测器中，得到粗糙的2D特征信息；

S4：搭建3D汽车闭塞模型，将步骤S3中得到的2D特征信息输入该模型中进行训练，得到汽车的3D信息表示；

所述步骤S4具体为：

S401：将3D对象检测和建模分为两层，第一层是基于小图框架的2D汽车信息表现，通过松散的几何约束将视点依赖的部分配置集合在一起，在大图像中找到具有对象姿态的粗略初始估计；第二层是基于局部部分的3D活动形状模型，增加显式遮挡掩模的集合；将物体几何形状紧密地约束到合理的形状，预测当零件被遮挡时的物体形状及遮挡部件的位置；

S402：在第一层中，通过检测图像中部分配置的实例与相应检测器，每个检测到的配置，对于完整对象2D位置和尺度q＝(q_x,q_y,q_s)以及对于姿态θ＝(θ_az,θ_el)投射相关联的投票；投票以贪婪聚集方法聚类，获得检测假设H，每个具有投票配对的列表{l₁...l_p}表示对象的存在；

在第一层之后，留下一组稀疏推定的检测，负担昂贵的目标函数；h＝(s,f,θ,q,a)表示对象实例，包括形状参数s，摄像机焦距f，方位角、仰角的视点参数θ和汽车掩膜a，以及在图像空间中的平移和缩放参数q；设将3D顶点X_j(s)映射到图像点X_j的投影矩阵P仅依赖于θ和q，f固定，对所有图像有透视效果X_j＝P(f,θ,q)X_j(s)；拟合模型找到目标函数L(h)的估计为：

其中因子表示在不同点对不同数量的自遮蔽部分进行归一化；L_v是自遮蔽部分j的证据如果该部分是可见的，则通过查找图像位置X_j和比例处的检测分数来找到；部分用背景分数进行归一化；如果该部分位于遮挡掩模下面，则向该部分分配固定的似然度c；L_c表示测量配置对部分j的预测效果：

L_ο＝(ο_j(s,θ,a₀)-ο_j(s,θ,a))c

其中σ_ij表示协方差，μ表示均值，p表示匹配3D的投影矩阵，a₀表示遮挡掩膜，L₀表示部分固定分配的度量，Ν表示预测效果符合正态分布，λ为正态分布参数，v_ij表示二进制标志，指示在配置内找到哪些部分j，o_j为指示功能函数用于遮挡部分建模，i表示汽车遮盖部分的数量；找到一个基于样本的随机估计h，维护一组加权样本，每一个对应于物体假设{s,θ,q,a}的空间中的一组不同的值；粒子迭代更新，通过以与当前值为中心的独立高斯重新采样个体参数；除剩余参数外，掩模索引a是离散的；对掩码集进行排序，定义掩码之间的相似性。

2.根据权利要求1所述的一种基于弱监督与明确闭塞建模的3D汽车对象类表示方法，其特征在于：在步骤S3中，所述训练的过程具体为：

S201：找出候选框：使用Selective Search方法生成候选窗口，Selective Search方法为：先基于各种颜色特征将图像划分为多个小块，然后自底向上地对不同的块进行合并，合并前后的每一个块都对应于一个候选窗口，最后挑出包含待检测目标的窗口作为候选窗口；

S202：利用卷积神经网络CNN提取特征向量：先将候选窗口图像尺寸变为227*227，再对每个图像进行扭曲，最后输入到CNN模型中，得到提取的特征值；

S203：利用支持向量机SVM进行特征向量分类；

S204：边框回归：在给定窗口的基础上去预测真实检测框的位置和大小。