[发明专利]基于中轴线的无锚点车载行人检测方法

权利要求书

1.基于中轴线的无锚点车载行人检测方法，其特征在于，包括以下步骤：

S1、利用ResNet-50网络提取车载图像特征，对ResNet-50网络输出的特征图实施多次上采样和横向连接操作，构建特征金字塔；ResNet-50网络包括第一阶段C1至第五阶段C5，其中第二阶段C2至第五阶段C5均由指定数量相似的残差块串联而成，同一阶段内各残差块输出的特征图的分辨率相同，每个残差块由标准卷积块(Conv Block)和识别块(IdentityBlock)组成；所述上采样操作为两倍上采样操作，是指通过最邻近插值法将特征图的长度和宽度均扩展至原始尺寸的两倍；将ResNet-50网络的第五阶段C5输出的特征图通过1×1卷积操作后得到的特征图记为第五特征图M5，对第五特征图M5自顶向下实施三次两倍的上采样操作得到三张特征图，分别与ResNet-50网络第四阶段C4、第三阶段C3和第二阶段C2输出的特征图的分辨率保持一致；

所述横向连接操作指将三次两倍上采样操作所得特征图分别与ResNet-50中第四阶段C4、第三阶段C3和第二阶段C2输出的特征图经1×1卷积操作统一通道数后进行元素相加，分别得到第四特征图M4、第三特征图M3和第二特征图M2；

所述特征金字塔共有四个层级，构建过程为：对第二特征图M2、第三特征图M3第四特征图M4和第五特征图M5分别进行3×3卷积计算，分别得到包括第一层级P2至第四层级P5的四层特征金字塔；

ResNet-50网络中各相邻阶段间存在二倍的下采样关系，每次下采样后特征图尺度在长宽维度上均缩小为前一阶段的二分之一；最终提取的车载图像特征的集合为第二阶段C2至第五阶段C5四个阶段最后输出的特征图组成的集合；

S2、设计行人中轴线及中轴线回归损失函数，监督定位网络对特征金字塔每一层依次采样，以各层特征图中每个像素点为中心位置学习特征采样点，获取特征采样点集合；所述定位网络包括三个三个堆叠的标准3×3缓冲卷积层、一个3×3的标准卷积层和一个1×1卷积层；

三个堆叠的标准3×3缓冲卷积层的输出维度都是256，后接一个输出维度为256的3×3的标准卷积层和一个1×1卷积层，卷积层的输出维度为2n，其中n为一组特征采样点的个数；

定位网络以特征金字塔的第一层级P2至第四层级P5的特征图为输入，分别进行采样，输出的特征图中每个像素点位置包括2n维的特征向量，表示以该位置为初始化中心点的偏移量；接下来定位网络通过若干卷积层获取特征采样点集合；特征采样点集合中每个元素为一组特征采样点，记为其中(x_k，y_k)为特征采样点组中第k个点的坐标，一组共包括n个特征采样点；假设l表示行人的中轴线，则其具体表达式如下：

l＝(x_center，y_top，y_bottom)；

其中，以输入的车载图像的左上角为坐标系原点，x_center表示行人中轴线的几何中心点在x轴方向上的坐标值，y_top和y_bottom分别表示行人中轴线的上顶点和下顶点在y轴方向上的坐标值；

采用中轴线回归损失函数监督定位网络采样特征金字塔，定位网络的训练过程具体如下：

S2.1、对边界框形式的行人原始标注作出转换，获取中轴线标注；假设G＝(x_tl，y_tl，w，h)为原始矩形标注框，其中x_tl和y_tl分别表示标注框左上角点的横、纵坐标值，w和h分别表示宽度和高度，则通过如下公式得到与行人的中轴线l形式相同的中轴线标注g：

S2.2、对预测所得全部中轴线l与对应标注g计算回归损失，所述中轴线回归损失函数公式如下：

其中，N_p表示正样本总数，i表示正样本集合中样本序号，所采用的SmoothL1回归损失函数的表达式如下：

S3、对特征采样点集合进行分类，获得行人特征，根据步骤S2中行人中轴线的表达式由行人特征采样点的位置初步定位行人中轴线；具体包括以下步骤：

S3.1、构造分类网络，首先包括三个堆叠的标准3×3缓冲卷积层，输出维度都是256；三个缓冲卷积层后接一个输出维度为256的3×3的可变形卷积层和一个输出维度为2的1×1卷积层，即输出的分类得分图通道数为2，分别对应于当前位置目标属于‘行人类’和‘非行人类’的概率；

S3.2、将步骤S2中得到的特征采样点集合输入分类网络，对应分类输出结果为‘行人类’的特征采样点组构成的行人特征，行人特征的输出通道数与分类网络的输入通道数保持一致；每组特征采样点记为其中(x_k，y_k)为行人特征采样点组中第k个点的坐标；分类网络的训练过程中分类阶段所使用的损失函数为焦点损失函数，其计算公式如下：

其中，(x，y)为步骤S2中特征采样点组在分类网络输入特征图上的初始化中心点位置，p_x，y为分类网络的输出，表示该组特征采样点属于‘行人类’的概率，c_x，y表示该组特征采样点对应的真实标签，当真实标签为‘行人类’时c_x，y的值为1，否则为-1；α为用于平衡正负样本数量的权重因子，γ为用于平衡难易样本数量的衰减因子；

S3.3、依据步骤S2中行人中轴线的表达式由行人特征采样点的位置初步定位行人中轴线；

S4、设计可变形卷积，使其初始采样范围比例与行人宽高比例对齐，并调整步骤S3中行人特征采样点位置，获得校正后的行人特征，再依据步骤S2中行人中轴线表达式由校正后的行人特征采样点位置精准定位行人中轴线；

S5、设计行人中轴线至行人外接矩形转换算法，将步骤S4中所得精准行人中轴线转换至行人外接矩形，定位车载图像中的行人。