[发明专利]一种多模态图像融合方法、装置及设备

摘要

本发明提供一种多模态图像融合方法、装置及设备，方法包括：获取同一目标对象的不同模态的至少两张图像数据，并采用预设特征提取网络对每张图像数据进行特征信息提取，得到对应的特征图像；将不同模态的特征图像进行堆叠，得到堆叠后特征图像，并对堆叠后特征图像进行通道注意力处理，输出具有通道注意力的特征图；依序对具有通道注意力的特征图进行局部多头自注意力处理和全局多头自注意力处理，得到多模态图像融合后的目标特征图。本发明通过将不同模态的特征图堆叠后依次进行通道注意力、局部自注意力以及全局注意力处理，在保证注重全局和局部信息的情况下，将计算复杂度降低到线性，具有速度快，精度高的特点。