[发明专利]一种基于振动信号和RGB图像融合的语义分割方法及装置

说明书

本申请提供了一种基于振动信号和RGB图像融合的语义分割方法及装置，涉及自动驾驶技术领域，包括：将RGB图像和振动信号输入预先训练完成的车道线检测模型，车道线检测模型包括视觉图像分割分支和振动信号分类分支，视觉图像分割分支包括压线检测子网络和车道线检测子网络；振动信号分类分支对振动信号进行特征提取及分类，得到车轮是否压线的二分类标签；压线检测子网络对RGB图像进行处理，得到车轮是否压线的预测结果；根据车轮是否压线的预测结果与二分类标签计算第一损失函数值值，更新车道线检测子网络的部分参数，利用更新参数的车道线检测子网络对RGB图像进行处理，得到车道线检测结果。本申请能够提高车辆变换车道时的车道线检测效果。

技术领域

本申请涉及自动驾驶技术领域，具体涉及一种基于振动信号和RGB图像融合的语义分割方法及装置。

背景技术

车道线检测是自动驾驶中最重要的问题之一，它在车辆环境感知中起到了核心作用。许多自动驾驶系统中都包含车道线检测模块，它可以帮助车辆确定车道线的位置，以便更准确地在正确的车道上行驶并遵守交通规则。因此，一个高精度、高效率和鲁棒的车道线检测模型对于自动驾驶系统是十分必要的。

然而，车道检测目前仍然存在许多困难，例如大多只集中在单车道上，即自我行驶的车道，而不能很好地处理换道时的车道线检测。

此外，近些年来，许多学者针对纯视觉图像已提出了许多复杂的车道线检测方法，但由于单一图像本身的局限性，导致在恶劣的情况下，如：重影、标记退化、遮挡等，检测方法表现较差。因此越来越多的工作也致力于通过融合策略解决车道线检测问题，例如通过结合视觉图像和激光雷达点云或热力图，提高车道线检测模型的性能。但是，这些策略的主要问题是传感器(如雷达等)很容易受到雨雾等极端天气的影响。

最后，车道线检测模型应该帮助车辆确认它们是否违反了交通规则。一个简单的例子是区分车轮是否压线，这对车辆上的自动驾驶系统来说很重要。具体来说，自动驾驶系统需要保证当车轮部分或完全阻挡车道线时，车道线检测模型仍然应能够高效、高精度地检测车道线。

总的来说，目前缺乏一种车道线检测模型，能够在车辆换道和极端天气的情况下应仍能够表现良好，并且应能帮助车辆确认它们是否违反了交通规则。

发明内容

有鉴于此，本申请提供了一种基于振动信号和RGB图像融合的语义分割方法及装置，以解决现有技术的车道检测模型在车辆变道时会影响车道线检测结果的技术问题。

一方面，本申请实施例提供了一种基于振动信号和RGB图像融合的语义分割方法，包括：

同步获取RGB图像和振动信号；

将RGB图像和振动信号输入预先训练完成的车道线检测模型，所述车道线检测模型包括视觉图像分割分支和振动信号分类分支，所述视觉图像分割分支包括压线检测子网络和车道线识别子网络；

所述振动信号分类分支对振动信号进行特征提取及分类，得到车轮是否压线的二分类标签；所述压线检测子网络对RGB图像进行处理，得到车轮是否压线的预测结果；根据车轮是否压线的预测结果与振动信号分类分支输出的二分类标签计算第一损失函数值，根据第一损失函数值更新车道线检测子网络的部分参数，

利用更新参数的车道线检测子网络对RGB图像进行处理，得到车道线检测结果。

进一步的，所述振动信号分类分支对振动信号进行特征提取及分类，得到车轮是否压线的二分类标签；包括：

通过一个汉明窗低通滤波器滤除振动信号的高频杂波；

通过语谱图可视化表示振动信号的幅度和频率特性；

通过CNN+LSTM网络结构，从振动信号的幅度和频率特性中提取振动信号的时序特征；

通过第一全连接层对振动信号的时序特征进行处理，得到车轮是否压线的二分类标签。