[发明专利]图像匹配方法、装置及设备

权利要求书

1.一种图像匹配方法，其特征在于，所述方法包括：

获取多对图像，每对所述图像包括可见光图像和射线图像，且不同对图像中的射线图像相同；

采用模态数据提取模型对每对所述图像进行处理，得到所述模态数据提取模型输出的第一共享模态数据；

基于多个所述第一共享模态数据确定与所述射线图像属于同一包裹的目标可见光图像。

2.根据权利要求1所述的图像匹配方法，其特征在于，所述模态数据提取模型包括：第一特定模态提取模块和共享模态提取模块；所述采用模态数据提取模型对每对所述图像进行处理，得到所述模态数据提取模型输出的第一共享模态数据，包括：

对于每对所述图像的每帧图像，采用所述第一特定模态提取模块对所述图像进行处理，得到所述图像的第一特定模态数据；

采用所述共享模态提取模块对所述可见光图像的第一特定模态数据和所述射线图像的第一特定模态数据进行处理，得到第一共享模态数据；

其中，所述第一特定模态提取模块的空间压缩比大于所述共享模态提取模块的空间压缩比，且所述第一特定模态提取模块的通道压缩比小于所述共享模态提取模块的通道压缩比。

3.根据权利要求2所述的图像匹配方法，其特征在于，所述模态数据提取模型还包括：第二特定模态提取模块，在所述采用所述第一特定模态提取模块对所述图像进行处理，得到所述图像的第一特定模态数据之前，所述方法还包括：

采用所述第二特定模态提取模块对所述图像进行处理，得到所述图像的第二特定模态数据；

所述采用所述第一特定模态提取模块对所述图像进行处理，得到所述图像的第一特定模态数据，包括：

采用所述第一特定模态提取模块对所述图像的第二特定模态数据进行处理，得到所述图像的第一特定模态数据；

其中，所述第二特定模态提取模块的空间压缩比大于所述第一特定模态提取模块的空间压缩比，且所述第二特定模态提取模块的通道压缩比等于所述第一特定模态提取模块的通道压缩比。

4.根据权利要求3所述的图像匹配方法，其特征在于，所述模态数据提取模型还包括：第一卷积层；在所述采用所述第二特定模态提取模块对所述图像进行处理之前，所述方法还包括：

采用所述第一卷积层对所述图像进行卷积处理，得到所述图像的第一卷积特征。

5.根据权利要求4所述的图像匹配方法，其特征在于，所述第二特定模态提取模块包括：第一归一化层、第一激活函数和第二归一化层；所述采用所述第二特定模态提取模块对所述图像进行处理，得到所述图像的第二特定模态数据，包括：

采用所述第一归一化层对所述第一卷积特征进行归一化处理；

采用所述第一激活函数对所述归一化后的特征和权重特征的乘积进行处理，得到第一特征；

采用所述第二归一化层对所述第一特征进行归一化处理，得到所述第二特定模态数据。

6.根据权利要求5所述的图像匹配方法，其特征在于，所述方法还包括：

采用压缩层对所述第一归一化层处理得到的样本特征进行空间压缩和通道压缩，并采用维度变换层对压缩后的样本特征进行处理，得到第一样本特征，所述第一样本特征的维度小于所述压缩后的样本特征的维度；

采用多头自注意力机制对所述第一样本特征进行空间注意力和通道注意力的特征提取，得到样本注意力特征，并采用全连接层对所述样本注意力特征进行处理，得到第二样本特征，所述第二样本特征的通道个数大于所述样本注意力特征的通道个数；

采用第二激活函数和尺寸变换层对所述第二样本特征进行处理，得到所述权重特征，所述权重特征的空间尺寸与所述第一归一化层处理得到的样本特征的空间尺寸相同，且所述权重特征的通道个数与所述第一归一化层处理得到的样本特征的通道个数相同。