[发明专利]一种基于振动信号和RGB图像融合的语义分割方法及装置

权利要求书

1.一种基于振动信号和RGB图像融合的语义分割方法，其特征在于，包括：

同步获取RGB图像和振动信号；

将RGB图像和振动信号输入预先训练完成的车道线检测模型，所述车道线检测模型包括视觉图像分割分支和振动信号分类分支，所述视觉图像分割分支包括压线检测子网络和车道线检测子网络；

所述振动信号分类分支对振动信号进行特征提取及分类，得到车轮是否压线的二分类标签；所述压线检测子网络对RGB图像进行处理，得到车轮是否压线的预测结果；根据车轮是否压线的预测结果与振动信号分类分支输出的二分类标签计算第一损失函数值，根据第一损失函数值更新车道线检测子网络的部分参数，

利用更新参数的车道线检测子网络对RGB图像进行处理，得到车道线检测结果；

所述车道线检测子网络包括顺序连接的卷积层、第一编码器、第一Conditioning模块、第二编码器、第二Conditioning模块、第三编码器、第三Conditioning模块、第四编码器、第四Conditioning模块、第一解码器和第二解码器；所述根据第一损失函数值更新车道线识别子分支的部分参数；包括：

根据第一损失函数值更新平均池化层、第二全连接层、第三全连接层和第四全连接层的参数；

通过更新参数的平均池化层、更新参数的第二全连接层和更新参数的第三全连接层对提取的特征F1进行处理，得到特征F2^*，将特征F2^*分别输入第一参数生成模块、第二参数生成模块、第三参数生成模块和第四参数生成模块；

通过第一参数生成模块对特征F2^*进行处理，得到第一Conditioning模块的两个映射参数γ₁^*和β₁^*；第一参数生成模块包括两个并行的全连接层；

通过第二参数生成模块对特征F2^*进行处理，得到第二Conditioning模块的两个映射参数γ₂^*和β₂^*；第二参数生成模块包括两个并行的全连接层；

通过第三参数生成模块对特征F2^*进行处理，得到第三Conditioning模块的两个映射参数γ₃^*和β₃^*；第三参数生成模块包括两个并行的全连接层；

通过第四参数生成模块对特征F2^*进行处理，得到第四Conditioning模块的两个映射参数γ₄^*和β₄^*；第四参数生成模块包括两个并行的全连接层。

2.根据权利要求1所述的基于振动信号和RGB图像融合的语义分割方法，其特征在于，所述振动信号分类分支对振动信号进行特征提取及分类，得到车轮是否压线的二分类标签；包括：

通过一个汉明窗低通滤波器滤除振动信号的高频杂波；

通过语谱图可视化表示振动信号的幅度和频率特性；

通过CNN+LSTM网络结构，从振动信号的幅度和频率特性中提取振动信号的时序特征；

通过第一全连接层对振动信号的时序特征进行处理，得到车轮是否压线的二分类标签。

3.根据权利要求2所述的基于振动信号和RGB图像融合的语义分割方法，其特征在于，所述压线检测子网络包括：卷积层、平均池化层、第二全连接层、第三全连接层、第四全连接层、第一参数生成模块、第二参数生成模块、第三参数生成模块和第四参数生成模块，所述压线检测子分支对RGB图像进行处理，得到车轮是否压线的预测结果；包括：

通过卷积层对RGB图像进行特征提取，将提取的特征F1分别输出至平均池化层；

通过平均池化层、第二全连接层和第三全连接层对提取的特征F1进行处理，得到特征F2，将特征F2分别输入第四全连接层；

通过第四全连接层对特征F2进行处理，得到车轮是否压线的预测结果。