[发明专利]一种基于弱监督与明确闭塞建模的3D汽车对象类表示算法

说明书

本发明涉及一种基于弱监督与明确闭塞建模的3D汽车对象类表示算法，属于神经网络对汽车检测与定位的领域。该算法利用弱标签图片作为训练集，同时利用3D汽车闭塞模型能通过汽车零部件定位与遮挡评估来恢复与完善汽车3D信息的优点，解决目前汽车检测中存在汽车检测与定位不完整的问题。本发明采用3D汽车闭塞模型对仅有的2D汽车信息进行恢复与完善，使得被截断、遮挡和闭塞等不完整的2D汽车信息恢复为完成的3D汽车表示，解决了目前汽车检测代价大，汽车信息检测与汽车定位不完备的问题。3D汽车对象类表示因此采用基于弱监督与明确闭塞建模的算法对于汽车检测与定位的后续处理具有重要的理论意义和应用价值。

技术领域

本发明属于神经网络对汽车检测与定位的领域，涉及一种基于弱监督与明确闭塞建模的3D汽车对象类表示算法。

背景技术

如今，汽车检测与定位在各个领域的应用十分广泛，尤其在辅助驾驶方面。但在对图片进行训练时，存在边界框人为标注昂贵的问题，这主要是由于采用强监督图片集作为训练集所导致。与此同时，对汽车定位与检测时，存在目标定位不完整，检测不准确的问题，这主要是由于在检测图片中，出现汽车对象被其他物体遮挡、截断和闭塞等问题。这两个问题的解决与否直接决定了汽车检测与定位的效果。

发明内容

有鉴于此，本发明的目的在于提供一种基于弱监督与明确闭塞建模的3D汽车对象类表示算法，通过建立弱标记图片集与3D汽车闭塞模型处理现存的问题。

为达到上述目的，本发明提供如下技术方案：

一种基于弱监督与明确闭塞建模的3D汽车对象类表示算法，包括以下步骤：

S1：在训练图片集上标注有对象存在/不存在的标签；

S2：搭建区域卷积神经网络(Regions with Convolutional Neural Network,R-CNN)神经网络，将标注完成的图片集统一尺寸后输入R-CNN神经网络中进行2D汽车检测神经网络的训练，得到训练好的弱标签2D汽车检测器；

S3：通过步骤S2的训练，将弱标签训练图片集输入训练好的弱标签2D汽车检测器中，得到粗糙的2D特征信息；

S4：搭建3D汽车闭塞模型，将步骤S3中得到的2D特征信息输入该模型中进行训练，得到汽车的3D信息表示。

进一步，在步骤S3中，所述训练的过程具体为：

S201：找出候选框：使用Selective Search方法生成候选窗口，Selective Search方法为：先基于各种颜色特征将图像划分为多个小块，然后自底向上地对不同的块进行合并，合并前后的每一个块都对应于一个候选窗口，最后挑出最有可能包含待检测目标的窗口作为候选窗口；

S202：利用卷积神经网络(Convolutional Neural Network,CNN)提取特征向量：先将候选窗口图像尺寸变为227*227，再对每个图像进行扭曲，最后输入到CNN模型中，得到提取的特征值；

S203：利用支持向量机(Support Vector Machine,SVM)进行特征向量分类；

S204：边框回归：在给定窗口的基础上去预测真实检测框的位置和大小。

进一步，所述步骤S4具体为：

S401：将3D对象检测和建模分为两层，第一层是基于小图框架的2D汽车信息表现，通过相对松散的几何约束将视点依赖的部分配置集合在一起，在大图像中找到具有对象姿态的粗略初始估计；第二层是基于局部部分的3D活动形状模型，增加显式遮挡掩模的集合；将物体几何形状紧密地约束到合理的形状，预测当零件被遮挡时的物体形状及遮挡部件的位置；