[发明专利]基于图像与激光数据融合的铁路运行环境异常辨识方法

权利要求书

1.一种基于图像与激光数据融合的铁路运行环境异常辨识方法，其特征在于，该方法包括以下步骤：

步骤一、利用无人机搭载相机和激光雷达，距离铁轨一定距离，以一定角度拍摄沿线周边环境，采集点云数据；

步骤二、对采集到的点云数据进行特征分析，并通过离群点去除、冗余点去除、地面点滤除方法进行点云数据的预处理；

步骤三、利用基于随机采用-特征聚合-原型拟合的额大尺度点云语义分割算法对预处理后的点云数据进行检测分割；

步骤四、利用基于改进的欧几里得算法对分割后的结果进行点云聚类，再分别利用Alpha-shape算法对不规则点云进行体积计算，并对点云间距离进行计算；

步骤五、利用基于深度迁移学习与数据增强的图像实例分割方法，利用迁移学习预训练模型提高检测模型的精度，利用EnlightenGAN网络对低光照数据进行光照增强，利用马赛克方法，对图像进行数据扩充，将训练数据集输入到网络中训练模型，将验证集数据输入到网络中，比对检测结果，调整模型参数；

步骤六、采用点云与图像串行式融合方法，在决策层对两者检测结果进行融合。

2.根据权利要求1所述的一种基于图像与激光数据融合的铁路运行环境异常辨识方法，其特征在于，步骤三具体步骤为：

预处理后的点云特征输入后，首先经过共享权重的多层感知机进行处理，处理后和输入点云的原始XYZ坐标一起进行局部空间编码与基于注意力的池化，局部空间编码和基于注意力的池化方式如下：

(1)对于输入为(N,3+d)的点云中的任一点n_i，记其XYZ坐标为p_i，通过K-D树查找其K个近邻点，并获取每个近邻点的XYZ坐标，记为P_i^k∈R³，获取每个近邻点的输入特征，记为F_i^k＝{f_i¹,f_i²…f_i^k}，F_i^k∈R^d；

(2)按式(1)计算近邻点中任一点相对于中心点n_i的空间位置特征，其中表示拼接操作，||.||表示计算欧式距离，MLP(.)是一个多层感知机；

(3)将r_i^k与f_i^k拼接起来，得到任一近邻点的增强的特征该特征除了其原有的特征之外还包含了相对于中心点n_i的空间位置信息；

(4)对n_i的所有近邻点进行(2)，(3)中的计算，即可获得增强的n_i的邻域特征大小为(k,2d)，至此对点n_i的局部空间编码完成；

(5)基于注意力机制的池化操作通过一个多层感知机自主学习获得一个大小为(k,2d)特征权重矩阵代表了模型对中特征重要程度的判断，将二者点乘并在k所属维度上求和，获得最终的点n_i的邻域特征；

重复两次局部空间编码与基于注意力机制的池化操作后，点云中每点的邻域特征被完全聚合，之后将该邻域特征与多层感知机处理后的点云自身特征相加，完成点云局部特征的聚合。

3.根据权利要求1所述的基于图像与激光数据融合的铁路运行环境异常辨识方法，其特征在于，步骤三还包括如下步骤：

建立用于存储并拟合不同类别点云特征原型的模块，该拟合模块可被视为一个K×D的矩阵，其中D是输入的点云特征维度，K表示该模块中的原型数量，K可由下式计算：

K＝C×M

式中C表示类别数，M表示每个类别具有的原型数量；

编码层提取的点云特征进入该模块后，通过下式进行调整：

式中f_i表示输入中某点的原始特征，表示调整后的特征，m_j是模块中的该类的某一个特征原型，λ，μ是两个权重系数，用来确定原始特征与特征原型的各自占比，ω_ij通过判断原始特征与特征原型之间的差异来为特征原型赋予权重，通过下式计算：

式中d(.)表示计算两向量间的余弦距离，用于判断两向量的相似程度。