[发明专利]一种支持多尺度快速深度行人检测模型

摘要

本发明公开了一种支持多尺度快速深度行人检测模型，包括通过1*1与3*3小卷积核卷积层构建更深层次的特征提取计算架构；基于特征融合金字塔模型设计多尺度深度特征融合计算结构，融合底层强结构特征与高层强语义特征；设计合理网络输出层结构，融合行人中心位置信息、行人边界框的宽高信息、边界框的置信度信息以及行人所属置信度信息，设计对应的误差函数度量网络的代价，通过反向传播算法训练多尺度快速深度行人检测模型；最后，通过反向传播算法对模型参数进行训练，拟合复杂环境中多尺度行人信息。本发明针对实时行人检测的多尺度、深度抽象的特点，设计支持多尺度快速深度行人模型，能够快速有效检测复杂环境中行人。

主权项

1.一种支持多尺度快速深度行人检测模型，其特征在于，该支持多尺度快速深度行人检测模型包括特征提取模块、特征融合模块以及行人检测模块；所述特征提取模块基于深度卷积特征范式构建输入检测数据的深层抽象表示，所述特征融合模块通过金字塔模型融合输入检测数据的多尺度特征，所述行人检测模块检测行人信息并构建行人定位边界框；采用所述行人检测模型进行行人检测的具体步骤如下：(1)所述特征提取模块进行深度特征提取计算：基于深度卷积特征模型计算范式，使用3×3卷积层构建特征提取模块的主干网络，随机向特征提取模块的主干网络添加1×1卷积层，所述特征提取模块包括2个单卷积层和5个多卷积层，单卷积层由3*3卷积层、批归一化层、以及LeakyReLU非线性激活函数映射构成，每个单卷积层后各具有1个最大值抽样层；多卷积层由两个单卷积层以及在两个单卷积层之间的1*1卷积层及其对应的批归一化层与LeakyReLU非线性激活函数映射构成，前4个多卷积层后各具有1个最大值抽样层；所述特征提取模块共包括23个计算层：17个卷积层和6个最大值抽样层；3*3卷积：给定的输入特征x∈R^I×I，步长为S，外延为P，则3*3卷积的操作定义如下：其中，y_ij表示输出特征图中第(i,j)个元素，y表示输出特征，3*3卷积的操作中为((I+P‑3)/S+1)*((I+P‑3)S/+1)维，m＝i+s‑1以及n＝j+h‑1；I为输入特征维度，R表示实数集，s为卷积核行索引，h为卷积核列索引；1*1卷积：给定的输入特征x∈R^I×I，步长为S＝1，外延为P＝0，则1*1卷积的操作定义如下：y_ijα＝f(x_ij·k_α+b_α)                            (2)其中，y_ijα表示第α个输出特征图中的第(i,j)个元素，y表示输出特征，1*1卷积操作中为I*I维度，f表示非线性函数，k_α表示第α个卷积核以及b_α表示对应偏置，x_ij表示输入特征图中的第(i,j)个元素；最大值抽样：给定的输入特征x∈R^I×I，步长为S＝2，则最大值抽样的操作定义如下：y_ij＝max(x_ij,x_i+1j,x_ij+1,x_i+1j+1)           (3)其中，y_ij表示输出特征图中第(i,j)个元素，y表示输出特征，最大值抽样操作中为(I/2)*(I/2)维度；(2)所述特征融合模块进行多尺度特征融合计算：在特征融合阶段计算中，特征提取模块中的卷积层自底至顶逐层构建金字塔模型中的每层特征图，逐层构建输入流向的高层强语义特征，通过上采样操作自顶至底构建金字塔模型中对应层强语义特征，通过通道叠加操作融合金字塔模型中对应层特征，构建最终输出特征；在特征提取模块中的计算层的第11层、15层、23层分别以52*52、26*26以及13*13多个尺度的特征图上分别进行高层强语义特征与底层强结构特征融合构建特征融合模块；特征提取模块中的计算层的第11层的输入特征为X⁽⁹⁾，同时分别表示网络第9层卷积核、10层卷积核以及11层卷积核，则特征融合模块中自底向顶流向第一特征图O⁽¹¹⁾的计算如下：其中，f表示非线性映射函数，b表示对应层偏置；特征融合模块中自底至顶流向的第二特征图O⁽¹⁵⁾与第三特征图O⁽²³⁾计算公式分别如下：特征融合模块中自顶至底流向的第一强语义特征图TO⁽²³⁾与特征融合模块中自底至顶流向的第三特征图O⁽²³⁾一致；第二强语义特征图TO⁽¹⁵⁾的计算形式如下：TO⁽¹⁵⁾＝upsample(TO⁽²³⁾*K_1×1)      (7)其中，upsample表示上采样操作；第三强语义特征图TO⁽¹¹⁾的计算形式如下：其中，表示通道叠加；特征融合模块中的输出层的多尺度特征图的如下：FO⁽²³⁾＝TO⁽²³⁾*K_1×1                        (9)其中，FO⁽¹¹⁾、FO⁽¹⁵⁾、FO⁽²³⁾分别表示第11层、15层、23的多尺度融合特征图；多尺度特征融合的计算包括3*3卷积操作、1*1卷积操作以及上采样操作，3*3卷积操作、1*1卷积操作形式化定义分别如式(1)和式(2)，上采样操作形式化定如下：上采样：给定的输入特征x∈R^I×I，步长为S＝2，则上采样的操作定义如下：y_ij＝upsample(x_ij)        (12)即将x中每一个元素复制到2*2特征图的其中，y_ij表示输出特征图中第(i,j)个元素，y表示输出特征，上采样操作中为2I*2I维度；(3)所述行人检测模块进行检测计算：所述行人检测模块通过行人中心位置信息、行人边界框的宽高信息、边界框的置信度信息以及行人所属置信度信息构建行人检测计算的网络输出层，通过张量升阶操作将多尺度特征融合模块的输出中，13*13*18的张量升阶为13*13*3*6的张量，26*26*18的张量升阶为26*26*3*6的张量，52*52*18的张量升阶为52*52*3*6的张量；所述行人检测模块涉及的行人检测代价函数，其包括预测边界框中心坐标损失、预测边界框宽高损失、预测边界框置信度损失和预测行人类别置信度损失，其中预测边界框中心坐标损失E₁的形式化定义如下：其中，N表示行人检测器输出结果个数；I_i表示第i个输出结果中是否包含行人目标，I_i＝1表示包含，I_i＝0表示不包含；t_w×t_h表示行人目标边界框的相对面积，取值范围(0,1)，用于加权预测的边界框；t_x,t_y表示行人目标的真实中心坐标位置，b_x,b_y表示预测的行人目标中心点坐标位置；预测边界框宽高损失E₂的形式定如下：其中，t_w,t_h表示行人目标真实边界框的高度和宽度，b_w,b_h表示行人目标预测边界框的高度和宽度；预测边界框置信度损失E₃的形式定义如下：其中t_c表示行人目标边界框真实置信度，p_c表示网络预测的行人目标边界框；预测行人类别置信度损失E₄的形式定义如下：E₄＝(I_i‑p_i)²                 (16)其中，I_i表示预测边界框中心坐标损失第i个输出结果中是否包含行人目标，也表示真实数据行人的概率，I_i＝1表示包含时，概率为1，I_i＝0表示不包含时，概率为0，p_i表示是预测的行人置信度或者概率；综合上述E₁、E₂、E₃、E₄，所述行人检测代价函数形式化定义如下：