[发明专利]图像信息提取方法、模型训练方法、装置、设备及介质

说明书

本公开提供一种图像信息提取方法、模型训练方法、装置、设备及介质。图像信息提取方法基于训练好的图像信息提取模型执行，包括：将目标图像输入特征提取模块中的特征提取网络得到特征提取网络输出的原始特征图；将特征提取模块提取的特征图分别输入特征点检测网络和描述子生成网络，得到特征点检测结果向量和局部描述子向量，特征提取模块提取的特征图为原始特征图；基于特征点检测结果向量得到特征点检测结果图像；基于局部描述子向量得到局部描述子结果；训练图像信息提取模型时，利用特征提取模块中的上采样模块对经特征提取网络输出的样本原始特征图进行上采样处理得到样本中间特征图，将样本中间特征图作为特征提取模块提取的样本特征图。

技术领域

本公开总体说来涉及图像技术领域，更具体地讲，涉及一种图像信息提取方法、模型训练方法、装置、设备及介质。

背景技术

在图像特征匹配任务中，一般使用sift/orb等方法进行特征点的提取以及图像描述子的生成，但这些传统方法面对运动模糊/弱纹理场景的图像表现较差。深度学习的出现为图像特征匹配提供了一些新的思路，但目前提出的深度学习算法对特征点的检测及匹配推理速度较慢，难以满足客户端的实时需求。

发明内容

本公开的示例性实施例在于提供一种图像信息提取方法、模型训练方法、装置、设备及介质，以至少解决上述相关技术中的至少一个技术问题。

根据本公开实施例的第一方面，提供一种图像信息提取方法，所述图像信息提取方法基于训练好的图像信息提取模型执行，所述图像信息提取模型包括：特征提取模块、特征点检测网络和描述子生成网络，其中，所述图像信息提取方法包括：将目标图像输入所述特征提取模块中的特征提取网络，得到所述特征提取网络输出的原始特征图；将所述特征提取模块提取的特征图分别输入所述特征点检测网络和所述描述子生成网络，得到所述特征点检测网络输出的特征点检测结果向量和所述描述子生成网络输出的局部描述子向量，其中，所述特征提取模块提取的特征图为所述原始特征图；基于所述特征点检测结果向量，得到分辨率为目标图像原始分辨率大小的特征点检测结果图像，其中，所述特征点检测结果图像中的每个像素点的像素值表示目标图像中该像素点为特征点的概率；基于所述局部描述子向量，得到分辨率为目标图像原始分辨率大小的局部描述子结果；其中，训练所述图像信息提取模型时，利用所述特征提取模块中的上采样模块对经所述特征提取网络输出的样本原始特征图进行上采样处理，得到样本中间特征图，其中，将所述样本中间特征图作为所述特征提取模块提取的样本特征图。

可选地，所述样本中间特征图的分辨率为所述样本原始特征图的N倍，其中，N为偶数；训练所述图像信息提取模型时，得到的样本图像的特征点检测结果图像的分辨率为样本图像原始分辨率大小的N倍；训练所述图像信息提取模型时，得到的样本图像的局部描述子结果的分辨率为样本图像原始分辨率大小的N倍。

可选地，所述上采样处理为：固定插值上采样处理。

可选地，所述图像信息提取模型还包括：全局描述子获取模块，其中，所述图像信息提取方法还包括：将所述原始特征图输入所述全局描述子获取模块，得到目标图像的全局描述子结果。

可选地，将所述原始特征图输入所述全局描述子获取模块，得到目标图像的全局描述子结果的步骤包括：将所述原始特征图输入所述全局描述子获取模块，所述全局描述子获取模块将所述原始特征图压缩成一维向量，并将压缩得到的一维向量进行线性变换，得到目标图像的全局描述子结果。

可选地，所述特征提取网络包括多个用于进行下采样处理的卷积神经网络，其中，每个用于进行下采样处理的卷积神经网络使用可分离卷积且呈倒残差纺锤体结构。

可选地，基于所述特征点检测结果向量，得到分辨率为目标图像原始分辨率大小的特征点检测结果图像的步骤包括：将所述特征点检测结果向量通过卷积神经网络并进行多通道间的重组，得到分辨率为目标图像原始分辨率大小的特征点检测结果图像。