[发明专利]一种多光谱目标检测导盲系统

说明书

本发明提供了一种多光谱目标检测导盲系统，包括：数据输入模块，用于获取可见光图像和红外热图像；可变形特征提取器模块，用于分别提取可见光图像特征图和红外热图像特征图；候选框提取网络，用于提取可见光图像候选框和红外热图像候选框；候选框互补模块，用于将可见光图像候选框中没有被红外热图像候选框覆盖到的部分添加到红外热图像候选框中，将红外热图像候选框中没有被可见光图像候选框覆盖到的部分添加到可见光图像候选框中，得到可见光图像区域特征图和红外热图像区域特征图；跨模态注意力融合模块，用于将可见光图像区域特征图根据各区域特征间的相似关系融合到红外热图像区域特征图中，得到加强了的热图像特征；分类和回归模块，用于得到目标检测结果。

技术领域

本发明涉及计算机领域，尤其涉及一种多光谱目标检测导盲系统。

背景技术

近年来计算机视觉的巨大发展给导盲系统带来新了的机遇和可能。基于卷积神经网络(CNN)的深度学习模型已经在图像分类(ImageNet数据集)和目标检测(COCO数据集)任务中达到甚至超越了人类水平。基于深度学习技术的视觉感知系统(特别是物体检测系统)在无人驾驶等应用中取得了不错的效果。因此，利用这一技术辅助盲人感知环境形成了新趋势。然而，以往的目标检测模型普遍都是基于可见光彩色图像构建的，适用场景受限于照明条件，无法应用到夜晚或有强光照射的地方。相似的，利用此技术的导盲系统也存在这一问题，无法全天候协助盲人感知环境。

发明内容

本发明旨在提供一种克服上述问题或者至少部分地解决上述问题的多光谱目标检测导盲系统。

为达到上述目的，本发明的技术方案具体是这样实现的：

本发明的一个方面提供了一种多光谱目标检测导盲系统，包括：数据输入模块，用于获取可见光图像和红外热图像；可变形特征提取器模块，用于采用可变形卷积，分别提取可见光图像和红外热图像的图像特征，输出可见光图像特征图和红外热图像特征图；候选框提取网络，用于根据可见光图像特征图和红外热图像特征图提取目标物体的候选框，得到可见光图像候选框和红外热图像候选框；候选框互补模块，用于将可见光图像候选框中没有被红外热图像候选框覆盖到的部分添加到红外热图像候选框中，将红外热图像候选框中没有被可见光图像候选框覆盖到的部分添加到可见光图像候选框中，得到可见光图像区域特征图和红外热图像区域特征图；跨模态注意力融合模块，用于将红外热图像区域特征图作为查询向量，将可见光图像区域特征图作为钥匙向量和价值向量，参照自注意力模块将可见光图像区域特征图根据各区域特征间的相似关系融合到红外热图像区域特征图中，得到经过彩色图像特征加强了的热图像特征；分类和回归模块，用于将经过彩色图像特征加强了的热图像特征以及可见光图像区域特征图进行卷积计算，得到目标检测结果，其中，目标检测结果包括：各区域的类别和候选框偏移量。

其中，数据输入模块，还用于确定训练目标的类别和位置；系统还包括：损失计算模块，用于根据目标检测结果和训练目标，采用损失函数计算出模型在框回归和框分类两个任务中的综合预测误差，回传误差的梯度，更新模型参数，进行模型训练，不断迭代，模型的预测误差将不断下降直到收敛，得到可应用部署的模型。

其中，可变形特征提取器模块包括：第一可变形特征提取器，用于提取可见光图像的图像特征，得到可见光图像特征图；第二可变形特征提取器，用于提取红外热图像的图像特征，得到红外热图像特征图；可见光图像特征图和红外热图像特征图大小相同。

其中，可变形卷积公式为：其中，为常规卷积操作公式，x表示输入特征图，y表示输出特征图，p是当前待计算的像素点位置(w₀,h₀)，k表示卷积范围内的位置序号，p_k是相对p的位置偏移，w_k表示k点位置所对应的权重，Δp_k表示卷积中k点额外增加的位置偏移量，Δm_k表示卷积中k点的额外权重。