[发明专利]基于无人机航拍图像的车道线检测及车道辅助保持方法

权利要求书

1.基于无人机航拍图像的车道线检测及车道辅助保持方法，其特征在于：该方法包括以下步骤：

S1：车道线检测模型构建部分：

S11构建并训练航拍视角下的车道线检测深度学习模型：

S12：模型的训练至少2000张标记后的无人机航拍视角下的车道线图片，其中按照10：1的比例设定为训练集以及测试集；

S13：针对主网络和辅助网络，分别设计分类损失函数L_cls与实例分割损失函数L_seg，其中主网络采用车道线概率分布预测值与训练数据集真实车道线位置之间的交叉熵作为损失函数L_cls，如下式所示：

式中P_i,j为主网络中车道线位置的预测值，T_i,j为训练集中车道线所在位置的标签，下标i表示图像中的某一车道线序号，下标j表示某一预设行锚的序号，C为图像中的车道线个数，h为预设的行锚数，N为模型预测的样本数量；

其次，考虑车道线的连续性与平滑性，采用L_cont作为主网络的连续性损失函数，如下式所示：

用该损失函数计算图像相邻行之间对同一条车道线位置概率分布的预测值，训练网络时以缩小相邻行对同一条车道线位置概率分布的预测值的差距为目标；

此外，为使车道线的预测更为平滑，令图像相邻行之间对同一条车道线位置概率分布值的递增或递减关系一致，采用L_str为主网络的结构损失函数，如下式所示：

选择交叉熵作为辅助网络的损失函数，如下式所示：

式中p_i,j为辅助网络的分割预测输出，t_i,j为数据集中的实例分割标签，综合主网络与辅助网络的损失函数，车道线检测模型的整体损失函数L为：

L＝W_clsL_cls+W_contL_cont+W_strL_str+W_segL_seg (5)

其中W_cls,W_cont,W_str,W_seg为各损失函数分量的权重系数；

S14：训练车道线检测模型时，选择Adam为网络训练优化器，设定迭代次数epoch为1000次；

S2：无人机航拍图像去噪模型构建部分：

S21：构建并训练无人机航拍图像去噪模型：

为了在图像去噪的同时保留更多的细节，去噪网络采用基于多尺度U-Net的双分支网络结构，具体架构如下：

第一个分支网络首先通过3个连续的3*3卷积核与尺度为2的最大池化层对输入的噪声图像进行3次连续下采样提取特征，并使用高斯误差线性单元GELU作为激活函数，随后通过同等尺度3次转置卷积进行连续上采样，激活函数同样使用GELU,从而得到第一个网络分支的输出；

为了保留更多的梯度信息，对第一个分支网络的第二层与倒数第二层建立残差连接；

第二个分支网络首先采用3个连续的3*3空洞卷积对输入图像进行操作，用以扩大去噪模型的感受野，随后将空洞卷积的输出结果输入至同等数量的常规3*3卷积核，进而得到第二个分支网络的输出；

为了提高去噪模型的性能，在第二个分支网络中3个连续的3*3空洞卷积模块之间引入通道注意力模块CA；

对于第一个分支网络和第二个分支网络的输出，分别计算其在通道维度上的最大值与平均值，并对得到的最大值矩阵和平均值矩阵进行拼接，并采用1*1卷积核对结果进行卷积操作，进而得到融合后的航拍去噪图像；

S22：去噪模型的训练需要至少3000张成对的噪声/干净图像对，其中每张图片的大小为200*200；

S3：基于空地协同的车道辅助保持部分：

将训练好的车道线检测模型与无人机航拍图像去噪模型加载至随车地面工作站,同时令无人机保持在地面行驶的自动驾驶车辆的后方飞行并实时拍摄道路场景图像；

无人机在悬停及飞行过程中接收自动驾驶车辆的实时GPS信息并以此调整自身位置，以实现对车辆的跟随；

无人机载控制面板通过socket将道路场景图像传送至随车地面工作站，图像的socket传输协议为TCP；

地面工作站在接收到无人机拍摄的道路场景图像后，采用自然图像质量评价指标(Natural Image Quality Evaluator,NIQE)对所拍摄的图像进行质量评估，并与预先设定的NIQE上限阈值比较，其中NIQE的计算公式如下：

式中v₁、v₂和∑₁、∑₂分别表示自然图像多视图几何MVG模型和需要进行评价的低质量图像的MVG模型的平均向量和协方差矩阵；

如果道路场景图像的NIQE值大于阈值，则将其输入训练好的无人机航拍图像去噪模型进行图像去噪，并将去噪后的道路图像图片输入车道线检测模型；

如果道路场景图像的NIQE值小于阈值，则直接将其输入训练好的车道线检测模型；

地面工作站对车道线检测模型输出的车道线标识点进行筛选,过滤掉不属于自动驾驶车辆当前正在行驶的车道的标识点并区分出左右车道线，步骤如下：

对车道线检测模型输出的图像建立笛卡尔坐标系，设定ROI区域的4个边界锚点(X₁,Y₁),(X₂,Y₂),(X₃,Y₃),(X₄,Y₄),其中ROI区域为感兴趣区域；

将车道线检测模型输出的车道线标识点的坐标(X,Y)的大小与ROI区域的4个边界锚点进行比较，判断其是否落在ROI区域内；

如果车道线标识点落在ROI区域内，则保留其坐标的X值和Y值；

对落在ROI区域的离散车道线标识点按其X轴坐标值的大小进行升序排列；

依次计算相邻的车道线标识点的欧几里得距离D_i，如下式所示：

式中下标i代表车道线标识点的索引，X_i,X_i+1代表车道线标识点的横坐标，Y_i,Y_i+1代表车道线标识点的纵坐标；

将欧几里得距离D_i最大值所在的下标所表示的车道线标识点作为左右车道线的分界点；

分别对左右车道线的坐标(X,Y)进行多项式拟合，并以此为基础计算车道线曲率，同时根据拟合的坐标值计算出车道中心点的位置坐标；

根据无人机飞行时的高度，设定像素位置坐标差值与车道宽度的比率，将像素空间转换为米；

根据位置坐标计算画面中心点与车道中心点之间的距离，同时设定偏移量阈值，当画面中心点与车道中心点之间的距离大于该阈值时，地面工作站将向车辆发送偏移信号；

偏移信号中的车辆偏移方向由画面中心点与车道中心点的X轴坐标值之差确定，其中画面中心的的X轴坐标值为X_C，车道中心点的X轴坐标值为X_L,当X_C-X_L＜0时，车辆偏移信号为右偏信号，当X_C-X_L＞0时，车辆偏移信号为左偏信号；

地面工作站将偏移信息封装为数据帧发送至与其建立TCP连接的自动驾驶车辆，其中数据帧封装规则以自动驾驶车辆的控制信息接口为基准。

2.根据权利要求1所述的基于无人机航拍图像的车道线检测及车道辅助保持方法，其特征在于：所述S11具体为：采用改进的Residual Network-34残差网络为主网络对输入图像进行特征提取，其中输入图像尺寸统一为640*360，特征提取网络由四个残差块顺序连接构成，各残差块的构成如下：

第一残差块由3组双联3*3卷积核连接构成，输出通道为64；

第二残差块由4组双联3*3卷积核连接构成，输出通道为128；

第三残差块为空洞残差块，由6组双联带有膨胀系数的3*3卷积核连接构成，其中膨胀系数交替设置为2，3，5，输出通道为256；

第四残差块为空洞残差块，由3组双联带有膨胀系数的3*3卷积核连接构成，其膨胀系数设置与第三残差块相同，输出通道为512；

在每个残差块之间引入CBAM连接，其中CBAM由通道注意力模块和空间注意力模块组合而成；

在改进的残差网络之后进一步使用全连接层，用以扩大网络的感受野；

为增强网络训练过程中的车道线视觉特征，在主网络中添加辅助网络，将每个残差块的最后一层上采样至与输入特征图相同的尺寸并在通道上进行拼接，之后将其输入CBAM模块，最终使用1*1卷积核合并4个通道，进而得到车道线的分割输出。