[发明专利]基于四元数时空卷积神经网络的斑马线检测方法及系统

说明书

本发明涉及基于四元数时空卷积神经网络的斑马线检测方法及系统，其方法包括，将包含多种斑马线姿态的多组图像序列表示为四元数形式，并划分为训练样本和检测样本；将训练样本输入至预先构建的四元数时空卷积神经网络中进行训练，得到训练好的四元数时空卷积神经网络；将检测样本输入至训练好的四元数时空卷积神经网络中进行检测，得到检测结果；本发明将交通场景图像序列直接作为网络输入，在空间卷积层将R、G、B三个通道作为一个整体进行卷积操作，即保证不同通道间的相互联系，并可在时间卷积层提取连续帧间目标的动态信息，使得提取的特征信息更加丰富，检测的准确率更高。

技术领域

本发明涉及计算机视觉领域，具体涉及一种基于四元数时空卷积神经网络的斑马线检测方法及系统。

背景技术

复杂交通场景中的斑马线实时检测问题主要针对城市中车辆的安全驾驶以及行人交通安全问题而产生，属于人工智能和机器视觉等多学科交叉的研究问题，在城市智能交通和智能导航系统中有着非常重要的社会安全意义和实际应用价值。实际的城市交通场景中，由于交通的参与者众多且情况复杂，复杂路口的斑马线会受传感器成像视角的影响产生几何形变，同时也会由于行人和车辆的影响出现不同程度的遮挡，还会由于不同的天气和光照条件使得图像质量受损。在实际交通场景中，斑马线实时检测是一个复杂的动态过程，不仅需要提取到包含视频中单帧图像的视觉信息和空间特征，还需要包含多帧之间的时间特征。如何有效提取视频中斑马线区域的特征信息，并对其实现准确地检测是辅助车辆安全驾驶和行人安全的重要问题。

现有斑马线检测方法主要分为两类：基于人工特征提取和分类器的斑马线检测方法和基于深度卷积网络的斑马线检测方法。基于人工特征提取的斑马线检测方法的步骤为特征提取、特征信息表达和目标分类，其中视觉特征包含颜色、梯度直方图、线特征等，分类器可使用SVM或者级联分类器等。然而，复杂场景交通图像序列中，目标的几何特征提取难度增大，且受光照或者天气条件影响很大，计算复杂度高。基于深度卷积网络框架的斑马线检测方法是通过逐层参数训练的方式自动提取原始图像中的特征，从而获得能够区分不同条件下的抽象特征表达，是目标检测和识别领域中应用最广泛、最有效的深度学习算法之一。目前的卷积神经网络模型主要针对灰度图像序列或RGB颜色三通道分别处理的，未考虑到三通道之间的相关性和整体性，破坏了场景图像的颜色特征，影响检测方法在实际交通环境中的准确性和鲁棒性。

发明内容

本发明所要解决的技术问题是提供一种基于四元数时空卷积神经网络的斑马线检测方法及系统，将R、G、B三个颜色通道作为一个整体进行卷积操作，即保证不同通道间的相互联系，并可在时间卷积层提取连续帧间目标的动态信息，使得提取的特征信息更加丰富，检测的准确率更高。

本发明解决上述技术问题的技术方案如下：基于四元数时空卷积神经网络的斑马线检测方法，包括以下步骤，

S1，将包含多种斑马线姿态的多组图像序列表示为四元数形式，并将所有图像序列划分为训练样本和检测样本；

S2，将四元数形式的训练样本输入至预先构建的四元数时空卷积神经网络中，利用四元数形式的训练样本对预先构建的四元数时空卷积神经网络进行训练，得到训练好的四元数时空卷积神经网络；

S3，将四元数形式的检测样本输入至训练好的四元数时空卷积神经网络中，利用训练好的四元数时空卷积神经网络对四元数形式的检测样本进行检测，得到检测结果；

其中，训练好的四元数时空卷积神经网络对四元数形式的检测样本进行检测的过程中，将三个颜色通道作为一个整体对四元数形式的检测样本进行空间卷积操作后，基于时间卷积分别提取三个颜色通道的连续帧间目标的动态信息。

基于上述一种基于四元数时空卷积神经网络的斑马线检测方法，本发明还提供一种基于四元数时空卷积神经网络的斑马线检测系统。

基于四元数时空卷积神经网络的斑马线检测系统，包括以下模块，