[发明专利]一种基于对抗生成网络的车道线图像增强与补全方法

说明书

本发明公开了一种基于对抗生成网络的车道线图像增强与补全方法，该方法借助图像捕捉现车道线，通过用于车道线生成的Pix2Pix网络将车道线不明确的RGB彩色车道图像转换为具有车道线的RGB彩色车道图像。在获得有车道线的RGB图像后，与原图像进行做差处理，得到差值图像，经过算法阈值处理，经测试可以得到纯净度良好的车道线图像，实现车道线增强与补全。本发明特别研究了车道线中出现的车道线腐蚀、磨损、遮挡或者非结构化道路等若干种情况，实现了将原本车道线缺失的车道图像补全为有车道线图像，并最终完成了车道线的提取。

技术领域

本发明涉及机器视觉技术领域，尤其涉及用于无人驾驶系统感知模块中的一种基于对抗生成网络的车道线图像增强与补全方法。

背景技术

无人驾驶车辆在运动过程中的道路场景信息是一大难题。感知任务中，道路交通标志的识别与感知是其中最为重要的一块内容，而车道线识别又是道路交通标志中最重要的一块。车道线的识别与信息提取，为无人驾驶车辆行驶放向与速度提供了必要信息，也为巡航驾驶、车道超车、车道保持等无人驾驶系统决策提供基本信息，保障车辆安全行驶。优秀的算法需要对前方车道进行确认，对车道线不明确车道进行拍照，车道线补全，最终完成车道线生成与检测。提取车道线宽度、曲率等信息。车道线信息则可用于无人驾驶车辆进行车辆行驶策略的制定和动态路径的规划。

目前的车道线图像生成与补全算法存在以下问题：1.大部分算法只能针对结构化道路即车道线完好或者部分完好的城市道路，对于原本就没有车道线的非结构化道路和车道线残缺不全的道路的车道线检测与识别无法完美解决。2.传统算法在特定条件下可以得到良好效果，而实际应用时需要根据现场环境进行大量调参，鲁棒性较差。3.对于因恶劣天气，如雨、雪、雾天，导致的车道线不完整情况，车道线识别不够准确。以上情况将产生无人驾驶车辆感知系统对车道信息提取问题，这对无人驾驶车辆的稳定性和安全性而言是非常致命的。因而如何对车道线缺失或者完全没有车道线的情况下，对车道线图像进行生成，是无人驾驶车辆感知系统中一个亟待解决的问题。

发明内容

本发明针对现有的无人驾驶车辆感知系统的不足，提出一种基于对抗生成网络的车道线图像增强与补全方法。

本发明的目的是通过以下技术方案来实现的：一种基于深度神经网络的车道线图像增强与补全方法，包括以下步骤：

(1)确定网络结构。设计一种图像生成网络模型，主要采用图像分格迁移效果好的Pix2Pix网络，使用以条件对抗生成网络为训练框架的生成网络。将生成网络分成用以产生图像的生成器网络和用于衡量图像真实度的判断器网络。

(2)训练网络模型。使用车道线缺失数据集，将车道线缺失图像输入对抗生成网络，用以训练得到Pix2Pix网络，将车道线缺失图像通过Pix2Pix网络得到车道线补全的车道图像。

(3)实现车道线提取。将车道线补全后图像与原图像进行差值比较，生成差值图像。对差值图像进行后处理，完成车道线提取。

进一步地，所述步骤一中描述的对抗生成网络结构有以下子步骤来实现：

(1.1)确定生成器网络结构。为了减小最底层网络结构信息传输中的损失，采用改进的编码器-解码器网络结构U-Net网络结构。网络基本单元使用常见的神经网络卷积单元。中间层基本单元采用卷积-批正则化-激活层的结构。

(1.2)确定判别器网络结构。为更好得捕捉高频信息，判别器采用马克洛夫网络判别器。网络基本单元使用神经网络卷积单元。中间层采用卷积-批正则化-激活层的结构。

进一步地，所述步骤二中使用的Pix2Pix网络通过以下子步骤来实现：

(2.1)确定对抗生成网络损失函数，对抗损失函数包括两个部分，分别是对抗生成网络损失函数L_cGAN、图像重建损失函数

对抗生成网络损失函数：