[发明专利]一种基于无人机俯拍视频与神经网络的铁路轨道分割方法

权利要求书

1.一种基于无人机俯拍视频与神经网络的铁路轨道分割方法，其特征在于，包括：

将当前视频帧图像和上一帧检测结果图像进行连接，将连接图像作为轻量级编解码分割网络的输入图像；

所述轻量级编解码分割网络通过下采样提取输入图像的两个特征图像，将所述两个特征图像分别通过空洞空间金字塔池化网络和分裂-递归-合并模块得到两个特征图；

通过注意力机制模块将所述两个特征图连接起来，再通过上采样处理得到表示铁路轨道线路的输出掩码。

2.根据权利要求1所述的方法，其特征在于，所述的将当前视频帧图像和上一帧检测结果图像进行连接，将连接图像作为轻量级编解码分割网络的输入图像，包括：

通过无人机连续俯拍轨道线路的视频数据，将视频数据分割成连续的多帧轨道线路图像；

将当前帧的3通道的轨道线路图像I_t和上一帧的1通道的轨道检测结果的灰度图像进行连接，得到一个4通道的连接图像将该连接图像作为轻量级编解码分割网络的主干网络的输入图像。

3.根据权利要求1所述的方法，其特征在于，所述的轻量级编解码分割网络通过下采样提取输入图像的两个特征图像，包括：

所述轻量级编解码分割网络的主干网络提取所述连接图像的两个特征图像X₁是输入图像经过4次2倍下采样后得到的长宽尺寸均为输入尺寸1/16的高层特征，X₂是输入图像经过3次2倍下采样后得到的长宽尺寸均为输入尺寸1/8的低层特征。

4.根据权利要求1所述的方法，其特征在于，所述的将所述两个特征图像分别通过空洞空间金字塔池化网络和分裂-递归-合并模块得到两个特征图，包括：

将特征图像X₁通过空洞空间金字塔池化模块获得特征图Y₁＝ASPP(X₁)，将特征图像X₂通过一个递归结构分裂-递归-合并SRM(Split-Recursion-Merge模块获得特征图Y₂＝SRM(X₂)；

所述SRM模块的处理过程如下：

(1)分裂，基于图像样本中铁路线的方向，将尺寸大小为c×h×w的特征图像X₂按行或按列拆分为多个子特征图{x_i}＝(x₁,x₂,…,x_h)；

(2)递归，以x_i作为输入，从两个方向进行递归卷积，输出相同数量的子特征图{y_i}＝(y₁,y₂,…,y_h)；

递归运算表示为式(1)(2)(3)：

式中表示卷积运算，子特征图和的大小为c×1×w，K₂和K₃是大小为1×k_c的卷积核，K₁是大小为k_c×k_c的卷积核，k_c＝3，f(·)为ReLU激活函数，和分别为两个方向的中间递归结果；

(3)合并，将y_i合并为一个完整的输出特征图Y₂。

5.根据权利要求所述的方法，其特征在于，所述的通过注意力机制模块将所述两个特征图连接起来，再通过上采样处理得到表示铁路轨道线路的输出掩码，包括：

在解码器网络中，通过4次上采样，将特征图Y₁与特征图Y₂连接起来，再通过4次上采样，得到输出掩码M＝Decoder(Y₁,Y₂)，输出掩码M与输入图像具有相同的宽度和高度，使用注意力机制模块CBAM过滤输出掩码M中的背景与噪声，使用过滤后的输出掩码M表示铁路轨道线路。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述的方法还包括：

使用静态图像和失真掩模作为输入来训练铁路轨道分割网络模型的参数，离线训练中对训练集中的所有铁路轨道分割实例对象掩膜进行缩放、旋转、平移和压缩的形变操作；

在线训练以包含铁路对象实例的特定特征的连续的多帧图像作为输入，来微调铁路轨道分割网络模型的参数，在线训练中，训练样本中每设定个连续帧被划分为一组，从每组的第二帧开始训练，并将前一帧的检测结果作为掩模输入的附加信道。