[发明专利]一种地图要素语义分割鲁棒性增强方法和系统

权利要求书

1.一种地图要素语义分割鲁棒性增强方法，其特征在于包括以下步骤：

1)按照时序将车载摄像头传感器采集到的行驶场景视频分为独立的视频帧图像；

2)基于预设的语义分割网络对步骤1)中各独立的视频帧图像数据进行语义分割，得到各帧图像中各类地图要素语义分割结果对应的掩膜，并在相邻帧图像之间引入光流信息，以增强语义分割视频图像的稳定性；

所述步骤2)中，增强视频语义分割稳定性的方法，包括以下步骤：

2.1)读取第i帧图像，并将其输入到预设的语义分割网络进行处理，得到第i帧图像中各类地图要素语义分割结果对应的掩膜；其中，预设的语义分割网络为针对车道线、灯杆、道路标识牌三种地图要素的网络；

2.2)读取第i+1帧图像，并将其输入到预设的语义分割网络进行处理，得到第i+1帧图像中各类地图要素语义分割结果对应的掩膜；

2.3)计算第i帧图像和第i+1帧图像之间的光流信息，得到帧间光流图；

2.4)基于得到的帧间光流图将第i帧图像中各类地图要素语义所对应的掩膜传播到第i+1帧图像中，并在预设的限制区域范围内对第i+1帧图像的语义分割结果进行增强操作，使得第i+1帧图像中不完整的分割区域得到补充；

其中，进行光流信息融合时，包括以下步骤：

2.4.1)根据计算得到的两帧图像之间的光流图将前帧图像的地图要素语义分割结果按照像素在光流图中的对应关系沿光流图位移矢量传播至后帧图像的相应位置，得到修正语义要素区域；

2.4.2)将步骤2.4.1)中得到的修正语义要素区域以及步骤2.2)中得到的后帧图像的语义要素分割结果进行对比，并基于对比结果对后帧图像中地图要素分割不完全的部分进行修正，实现增强性补充；

其中，修正后的后帧图像对应的语义分割结果为：

I^(i+1|i+1)＝I⁽ⁱ⁺¹⁾∪(I^(i+1|i)∩I^{(限制区域)})

其中，I⁽ⁱ⁺¹⁾为第i+1帧图像的语义分割结果；I^(i+1|i)为光流传播的第i帧图像的修正语义分割结果；I^(i+1|i+1)为融合第i+1帧图像的语义分割结果I⁽ⁱ⁺¹⁾与光流传播的第i帧图像的修正语义分割结果I^(i+1|i)后第i+1帧图像的最终的语义分割结果；

2.5)迭代增强：重复上述步骤2.2)～2.4)，直到步骤1)中所有的独立视频帧图像都被处理完毕。

2.如权利要求1所述的一种地图要素语义分割鲁棒性增强方法，其特征在于：所述步骤2.4.1)中，所述前帧图像的地图要素语义分割结果按照像素在光流图中的对应关系沿光流图位移矢量传播至后帧图像的相应位置的计算公式为：

式中，为第i帧某像素在图像上的横坐标，为第i帧某像素在图像上的纵坐标；为第i+1帧某像素在图像上的横坐标，为第i+1帧某像素在图像上的纵坐标；dt为经历的时间；(U_(x,y),V_(x,y))为光流图中每个坐标处存储的该位置像素对应传播到下一帧的速度矢量。

3.一种地图要素语义分割鲁棒性增强系统，其特征在于，包括：

视频帧图像获取模块，用于按照时序将车载的摄像头传感器采集到的行驶场景视频分为独立的视频帧；

语义增强模块，用于基于预设的语义分割网络对各独立的视频帧数据进行语义分割，得到各帧图像中各类地图要素语义分割结果对应的掩膜，并在相邻帧图像之间引入光流信息，以增强视频语义分割稳定性；

所述语义增强模块包括：

前帧图像处理模块，用于读取前帧图像，并将其输入针对车道线、灯杆、道路标识牌三种地图要素的语义分割网络进行处理，得到前帧图像中各类地图要素语义分割结果对应的掩膜；

后帧图像处理模块，用于读取后帧图像，并将其输入针对车道线、灯杆、道路标识牌三种地图要素的语义分割网络进行处理，得到后帧图像中各类地图要素语义分割结果对应的掩膜；

光流图获取模块，用于计算前帧和后帧图像之间的光流信息，得到帧间光流图；

光流信息融合模块，用于通过得到的帧间光流图将前帧图像所对应的掩膜传播到后帧图像，并在预设的限制区域范围内对后帧图像结果进行增强操作，使后帧图像不完整的语义分割区域得到补充；

迭代增强模块，用于对后帧图像编号进行加1，并返回前帧图像处理模块，直到所有帧图像都被处理完毕；

所述光流信息融合模块包括修正模块和增长区域限制模块，修正模块用于根据计算得到的两帧图像之间的光流信息，通过该光流信息对应的光流图将前帧图像的地图要素语义分割结果按照像素在光流图中的对应关系沿光流图位移矢量传播至后帧图像的相应位置，得到修正语义要素区域；增长区域限制模块用于将得到的修正语义要素区域以及后帧图像的语义要素分割结果进行对比，并基于对比结果对后帧图像中地图要素分割不完全的部分进行修正，实现增强性补充；

修正后的后帧图像对应的语义分割结果为：

I^(i+1|i+1)＝I⁽ⁱ⁺¹⁾∪(I^(i+1|i)∩I^{(限制区域)})

其中，I⁽ⁱ⁺¹⁾为第i+1帧图像的语义分割结果；I^(i+1|i)为光流传播的第i帧图像的修正语义分割结果；I^(i+1|i+1)为融合第i+1帧图像的语义分割结果I⁽ⁱ⁺¹⁾与光流传播的第i帧图像的修正语义分割结果I^(i+1|i)后第i+1帧图像的最终的语义分割结果。