[发明专利]基于目标感知融合策略的RGB-T多光谱行人检测方法

权利要求书

1.一种基于目标感知融合策略的RGB-T多光谱行人检测方法，其特征在于，步骤如下：

给定一对配准的可见光RGB和热红外T图像，首先提取多光谱特征，然后基于目标感知融合策略在特征空间对提取的多光谱特征进行融合，最后将融合得到的特征送入检测头，输出行人的位置框和置信度，完成检测过程。

2.根据权利要求1所述的一种基于目标感知融合策略的RGB-T多光谱行人检测方法，其特征在于，所述基于目标感知融合策略在特征空间对提取的多光谱特征进行融合，包括两个步骤：

S1：多光谱特征聚合：使用特征通道分层机制处理所述多光谱特征，输出初步融合的特征；

S2：多光谱特征优化，分成两路优化初步融合的特征，具体方法为：一路使用三层卷积层将初步融合的特征处理成一个单通道的二维置信度图，随后计算所述二维置信度图与初步融合的通道特征图之间的相关性向量，之后使用两层全连接层处理所述相关性向量；另一路将所述初步融合的特征与所述经全连接层处理的相关性向量相乘，获得优化的特征并输出。

3.根据权利要求2所述的一种基于目标感知融合策略的RGB-T多光谱行人检测方法，其特征在于，所述步骤S1中，所述特征通道分层机制分两路处理所述多光谱特征，具体方法为：一路使用一层卷积层压缩多光谱特征的通道维度，另一路使用一层卷积和残差模块压缩多光谱特征的通道维度，之后将两路处理的特征在通道维度上拼接并经过一层卷积层输出初步融合的特征。

4.一种用于执行权利要求1-3任一项所述方法的检测模型，其特征在于，所述检测模型的训练过程包括如下步骤：

1)使用RGB相机和热红外光相机采集应用场景下配准的多光谱图像；

2)使用一个卷积神经网络分别对RGB图像和热红外光图像提取深层特征，分别表示为F_rgb和F_thermal，记录卷积神经网络在不同层级输出的多光谱特征，将提取的多光谱特征在通道方向进行拼接，得到在通道方向拼接的特征；

3)采用目标感知融合模块在特征空间对所述在通道方向拼接的特征进行融合，具体步骤如下：

4)在每个层级进行如下处理：

首先，使用特征通道分层机制处理拼接的多光谱特征输出初步融合的特征F_x：

其中，[F_rgb，F_thermal]表示在通道方向上拼接的RGB和热红外图像特征；表示多光谱特征聚合模块中的第i个卷积层，θ_i表示第i个卷积层的可学习参数；表示一个残差卷积模块；

接着，分两路优化初步融合的特征F_x，并输出优化后的特征F_y：

其中，

表示逐像素相乘操作；s为相关性向量；σ(·)表示sigmoid运算；表示由两个全连接层组成的多层感知机；表示预测的二维置信度图m与融合的特征F_x第i个通道特征图的相关性运算；θ_seg表示分割分支的可学习参数；

根据预测的二维置信度图m，真实的二维置信度图以及相关性向量s，计算相关性最大损失函数

其中，真实的二维置信度图真值的获取方式为：将给定图片所对应的标注框内的区域均设为1，其它区域设为0；为分割损失函数；为最大化信息熵损失函数；α表示平衡系数，用于控制两个损失函数之间的权重关系；

表示二值交叉熵损失函数；表示Dice损失函数；∈是一个小的常数，为了防止除以0和除0的情况；m_i和表示二维置信度图m和真实的二维置信度图在第i个位置处的值；s_i表示相关性向量s在第i个位置处的值；

5)在卷积神经网络的不同层级重复步骤4)，并记录不同层级下目标感知融合模块输出的特征F_y和损失值

6)将不同层级的特征送入特征金字塔网络，以融合多尺度的特征，并记录；

7)将步骤6)得到的多尺度特征输入到检测器的检测头中，输出预测框和相对应的置信度得分；

8)计算预测结果与真实目标框之间的损失值，并记录；

9)加权步骤5)与8)中计算所得的损失值；

10)根据步骤9)所得的损失值，使用随机梯度下降方式更新卷积神经网络的可学习参数；

11)重复步骤1)-10)，直到重复次数达到预先设定的训练次数，完成训练过程，即可得到检测模型。