[发明专利]一种基于球面投影网格和球面卷积的全景影像目标检测方法

说明书

本发明涉及一种基于球面投影网格和球面卷积的全景影像目标检测方法。利用已有的全景影像以及目标标注文件构建样本库，对基于球面投影格网和球面卷积的神经元网络进行训练，学习全景影像上感兴趣目标的特征。利用训练好的网络模型对新的全景影像进行目标检测，实现全景影像上感兴趣目标的自动识别和边界框定位。利用球面投影格网的方法，将区域建议网络得到的候选框特征图投影到预先设置好分辨率的球面格网上，然后使用球面卷积提取旋转不变特征，再进行最后的分类，可以得到全景影像上感兴趣目标更好的检测结果。本发明具有如下优点：鲁棒性强，更适合全景影像上的目标检测任务；对于全景影像上变形大的物体，具有更高的识别准确率。

技术领域

本发明涉及一种基于球面投影网格和球面卷积的全景影像目标检测方法，可用于街景影像中感兴趣目标的自动定位与识别，城市监管、车辆检测、无人驾驶等领域。

背景技术

影像目标检测是计算机视觉和摄影测量中的一个基本任务，它在自动驾驶、城市监管、变化检测、行人跟踪、车牌识别、虚拟现实和人机交互等方面都具有极为重要的作用。到目前，关于目标检测的方法也有了较多的研究。早期的目标检测方法主要是基于滑动窗口的策略，使用设计好尺寸的窗口遍历整张图像来寻找目标。这类方法通常效率较低，并且无法达到很高的精度。深度学习中的卷积神经元网络在图像分类、目标检测、语义分割等基础任务中都展现出了强大的性能。因此，近年来基于卷积神经元网络的目标检测方法成为主流。许多基于卷积神经元网络的目标检测方法，如Faster R-CNN、Yolo和SSD等，在影像的目标检测问题上提出了许多新的思路，也取得了很好的效果。但是这些方法都是为平面影像所设计，在球面影像的目标检测任务中并不适用。同时，全景相机一次成像即可获得360°场景，在街景识别、自动驾驶、机器人等使用场景中都展现出了较大的优势，研究适用于全景影像的相应算法也变得越来越重要。和普通平面相机所拍摄的影像不同，将球面展开的过程不可避免地会引入较大误差，全景影像上的目标通常具有更大的变形，检测的难度也更大。因此，根据全景影像的特点，设计一种适用于全景影像的目标检测网络，提高全景影像上感兴趣目标的自动精确定位和识别至关重要。

发明内容

本发明针对现有目标检测方法应用于全景球面影像的不足，提出了一种用于全景影像目标检测任务的卷积神经元网络架构，能够精确地在全景影像上定位出目标的边界框并识别出目标所属的类别。

实现本发明目的采用的技术方案是：步骤1，构建基于球面投影格网和球面卷积的神经元网络(Grid-based Spherical CNN,GS-CNN)。该网络用于学习全景影像上感兴趣目标的特征；步骤2，利用全景影像数据和目标标注文件构建样本库；在样本库上训练网络模型。利用训练好的网络模型对新的全景影像进行预测，可实现全景影像上感兴趣目标的精确定位与识别。

进一步的，步骤1所述基于球面投影格网和球面卷积的神经元网络包括特征检测(features extraction)、区域建议网络(Region Proposal Network,RPN)、球面格网投影(spherical grid projection)、分类和边框回归(classification and bounding boxregression)，共4个部分。特征检测部分由13个卷积层(convolution layer)和4个最大池化层(max pooling layer)组成；区域建议网络部分由3个卷积层(convolution layer)和1个softmax函数构成；球面格网投影部分将候选目标的特征图投影到完整球面格网的对应位置；分类部分由2个球面卷积(spherical convolution)、3个全连接层(fully connectedlayer)和softmax函数组成，边框回归部分包含3个全连接层。