[发明专利]一种异常天气下基于类别分组的道路场景语义分割方法

权利要求书

1.一种异常天气下基于类别分组的道路场景语义分割方法，其特征在于包括以下步骤：

1)准备数据，包括异常天气下的模拟数据集和真实场景数据集，用于方法的训练和测试；

2)将道路场景类别根据对异常天气下自动驾驶安全的重要性进行分组，保证重要类别与非重要类别分开，依据分组结果构建道路场景语义分割模型；

3)输入数据到模型中，获得分组分割结果；

4)训练模型，将数据集的训练集数据输入到构建的模型中，通过损失函数训练模型，得到训练完成的模型；

5)测试模型，将数据集的测试集数据输入到训练完成的模型中，测试模型的整体效果。

2.根据权利要求1所述的基于类别分组的道路场景语义分割方法，其特征在于，所述步骤1)具体实现如下：

通过雨和雾的生成方法在Cityscapes数据集上生成雨天和雾天的数据，同时获取两个异常天气下的真实场景数据集：ACDC数据集和BDD100K数据集，将这个4个数据集用于模型的训练和测试。

3.根据权利要求1所述的基于类别分组的道路场景语义分割方法，其特征在于，所述步骤2)将类别根据对异常天气下自动驾驶安全的重要性进行分组；具体实现如下：

21)将道路场景数据集的类别根据对异常天气下自动驾驶安全的重要性进行分组，以Cityscapes数据集的类别作为标准，19个类别根据重要性分为4组：(1)road,person,car；(2)rider,truck,bus,train,motorcycle,bicycle；(3)sidewalk,pole,traffic light,traffic sign；(4)building,wall,fence,vegetation,terrain,sky；

22)依据类别分组结果构建模型；具体实现如下:

依据分组结果构建道路场景语义分割模型，模型包括使用膨胀ResNet50构建的特征提取模块，使用协方差通道注意力构建的类别关系编码模块以及根据类别分组情况，使用卷积层和上采样层构建的多头解码器模块。

4.根据权利要求1所述的基于类别分组的道路场景语义分割方法，其特征在于，所述步骤3)输入数据到模型中，获得分割结果，包括以下步骤：

(31)输入异常天气下的模拟数据和真实场景数据，提取数据特征；

(32)获取全类别特征；

(33)使用全类别特征编码类别关系，获取类别关系特征；

(34)完成类别关系特征解码，获得分割结果。

5.根据权利要求4所述的基于类别分组的道路场景语义分割方法，其特征在于，所述步骤31)具体实现如下：

使用在ImageNet数据集上预训练过的膨胀ResNet50网络提取输入数据的特征F∈R^C×h×w，其中C表示特征的通道数，h，w表示特征图的长和宽。

6.根据权利要求4所述的基于类别分组的道路场景语义分割方法，其特征在于，所述步骤32)具体实现如下：

对提取的特征F∈R^C×h×w使用1×1的卷积操作，获得通道数和总类别数相同的全类别特征F_N；模型训练时，通过数据的真实标签对F_N进行监督训练，保证全类别特征拥有所有类别的有效信息，损失函数公式表示为：

其中T表示像素点总数目，Y_i表示真实标签，P_i表示全类别的预测值。