[发明专利]一种面向车辆自动驾驶的多任务网络道路目标检测方法

权利要求书

1.一种面向车辆自动驾驶的多任务网络道路目标检测方法，其特征在于，包括如下步骤：

步骤S1：收集车辆行驶道路的检测数据集，将其划分为训练集、验证集和测试集，并对输入图像进行数据增强；

步骤S2：将数据集中的数据根据检测场景中的不同类型进行注释；

步骤S3：搭建多任务网络模型，构建损失函数，所述多任务网络模型包括：

特征提取编码器网络，所述特征提取编码器网络支持特征传播和特征重用，将输入图像首先经过了两层Conv + BN + SiLU层然后经过一个CSP模块得到特征图f1，然后经过一层Conv + BN + SiLU层后经过一个CSP模块得到特征图f2，再重复一次一层Conv + BN +SiLU层和一个CSP模块得到特征图f3，最后经过一层Conv + BN + SiLU层、一个多局部金字塔结构模块和一个CSP模块得到特征图f4，所述多局部金字塔结构模块首先将Conv + BN +SiLU结构层和第一层最大池化层的输出进行小局部范围拼接，第二层最大池化层的输出与第三层最大池化层的输出进行小局部范围拼接，然后两次拼接的结果经过卷积操作后再次执行拼接操作；

特征融合网络，所述特征融合网络融合不同语义层次的特征，根据不同任务的特征需求，为检测分支分配特征图；用幻影卷积模块取代了普通卷积模块，设计构建联合动态卷积模块使动态卷积和幻影卷积并联执行，通过联合动态卷积模块构建特征融合网络；

目标检测解码分支，所述目标检测解码分支采用基于锚框的多尺度检测方案，根据数据集的边界框大小和图片目标大小的匹配度自适应设置锚框，预测位置的偏移量、缩放后的宽高、每个类别的概率值和对应的置信度，根据加权二进制交叉熵处理样本不平衡问题；

两个分割解码分支，所述两个分割解码分支设计了一种特征对齐策略，特征图f4上采样后与特征图f3拼接，然后将得到的拼接特征图上采样后与特征图f2再次拼接，该过程得到的特征图作为两个分割解码分支输入，f2、f3、f4三层特征图的结合实现特征增强，有效判断每个像素是目标区域还是背景区域的概率；构建边缘细化模块，使模型获得更健壮的特征来关注细节层次的边界像素，从而使检测结果获得更清晰的边界轮廓，所述边缘细化模块第一分支首先经过3×3的卷积增加模型的非线性表达能力，然后通过扩张率分别为1、2、5的空洞卷积扩大特征图感受野，并对不同层拼接后的结果进行卷积操作；第二分支对输入进行平均池化操作来聚合上下文信息，然后一维卷积后接Sigmoid激活函数对数据扁平化处理，将第二分支处理后的一维数组与第一分支高维度特征图进行点乘操作后得到输出结果；

步骤S4：根据不同需求选择不同训练方法训练多任务网络模型，迭代多轮后得到收敛的最佳模型；

所述不同训练方法包括道路信息同步检测法和单分支独立训练法，可以根据预定义设置同时训练多任务模型，也可以对模型中的单分支任务进行训练；

步骤S5：加载最佳模型参数，输入待检测目标数据，获取模型检测结果和评估结果；

步骤S6：模型优化后导出；

通过将模型的参数设置为不可训练或固定参数的方式实现冻结模型，冻结模型后可以将其导出保存；也可以将最优模型根据应用设备转换为适合目标框架或设备的格式投入车辆检测应用。

2.根据权利要求1所述的面向车辆自动驾驶的多任务网络道路目标检测方法，其特征在于，所述步骤S1中的数据使用公开的BDD100K数据集以及数据标注，其中涵盖不同时间、不同天气条件和不同驾驶场景；

所述数据集中的车道线图像需要进行数据增强，数据增强包括：平移、旋转、垂直位移、Mosaic和Mixup策略。

3.根据权利要求1所述的面向车辆自动驾驶的多任务网络道路目标检测方法，其特征在于，所述特征提取编码器网络包括五个Conv + BN + SiLU层、四个CSP模块和一个多局部金字塔结构模块，其中Conv表示普通卷积，BN表示BN归一化，SiLU表示激活函数，所述多局部金字塔结构模块包括两个Conv + BN + SiLU结构、三个最大池化层、和一个单独的卷积层，在最后一个CSP模块之前加入多局部金字塔结构模块实现网络构建。