[发明专利]基于目标感知融合策略的RGB-T多光谱行人检测方法

说明书

本发明公开了基于目标感知融合策略的RGB‑T(热红外，Thermal)多光谱行人检测方法，该方法的目的是能够准确地从一对RGB和热红外图像中确定行人的位置。给定一对待检测的RGB和热红外图像，该方法首先对RGB和热红外图像提取多光谱特征；然后使用目标感知融合策略对提取的多光谱特征进行融合；最后将融合后的特征送入检测头进行行人检测，输出行人位置框以及置信度。本发明可以有效地融合多光谱图像的深层特征，融合过程中增强了行人区域的特征表达并抑制了无关的背景噪声特征，能够实现准确的行人检测。此外，目标感知融合策略是一种可以用于单阶段和双阶段检测器中的特征融合策略，能有效提升YOLO和Faster R‑CNN检测器在多光谱行人检测任务上的准确度。

技术领域

本发明涉及一种RGB-T多光谱图像行人检测方法，特别涉及基于多光谱图像的行人目标位置获取方法，应用到无人驾驶、路况感知和智能监控等领域。

背景技术

通过行人检测可以判断输入的图像或者视频帧中是否包含行人。在智能交通领域，通过行人检测可以判断路况上的行人情况，为无人驾驶决策提供参考依据；在智能安防领域，行人检测也可用来反映安防现场的人员状况，提示安防人员可能的风险。

目前的行人检测方法主要基于RGB图像，尽管它们在光照条件良好的场景中能表现出优异的检测性能，但是在光照条件不好的场景中的表现却差强人意，这是RGB图像在低光条件下的信噪比低导致的。热红外(Thermal)图像对人体热辐射敏感，它不受光照条件影响，能在全天候提供清晰的人体形状信息。但是热红外图像只能提供形状信息无法提供颜色和纹理信息，这使得基于热红外图像的行人检测方法容易受到与行人结构相似的物体影响。因此，多光谱行人检测方法应运而生，它结合RGB和热红外图像的优势，目的是能够实现全天候的行人检测。

多光谱行人检测方法因其具有鲁棒的行人检测表现，受到了研究者的广泛关注。《Multispectral Deep Neural Networks for Pedestrian Detection》研究了在神经网络的不同阶段融合多光谱特征对检测结果的影响，它设计了三种融合方法。一种是将RGB和热红外图像直接拼接成四通道的图像送入神经网络输出检测结果，这种方法叫做早期融合；一种是将RGB和热红外图像分别送入神经网络后，融合神经网络的中间层特征，并基于融合的特征完成检测，这种方法叫做中期融合；一种是将RGB和热红外图像分别送入两个单独的神经网络，并融合它们的检测结果，这种方法叫做晚期融合。这项研究发现中期融合的检测效果优于早期融合和晚期融合的表现。基于该发现，随后的研究中主要采用中期融合策略。

尽管融合多光谱特征能够为单一光谱提供互补信息，但是简单的拼接多光谱特征实现特征融合的方式并不能显著地提高检测表现。为解决这个问题，最近的研究工作提出了不同的特征融合策略。这些融合策略按照在特征融合时是否需要分割分支可以分为：融合时需要分割分支和不需要分割分支两种。

针对融合时不需要分割分支的特征融合策略。《Weakly Aligned Cross-modalLearning forMultispectral Pedestrian Detection》关注于解决多光谱数据中的未配准问题，它使用两个单独的神经网络抽取多光谱特征，并预测多光谱特征之间的位移关系，以实现弱配准多光谱数据的行人检测。

《Improving Multispectral Pedestrian Detection by Addressing ModalityImbalance Problems》意识到多光谱数据的差异性，并解决跨模态数据中信息不平衡的问题。

《Spatio-contextual Deep Network-based Multimodal Pedestrian Detectionfor Autonomous Driving》关注于解决多光谱特征融合过程中的空间和上下文信息聚合的问题。它使用图注意力网络融合多光谱特征，并使用条件随机场处理融合特征的空间信息，随后使用通道注意力机制和循环神经网络处理融合特征的上下文信息。