[发明专利]局部描述子生成方法、装置、电子设备和计算机程序产品

说明书

本发明提供一种局部描述子生成方法、装置、电子设备和计算机程序产品，所述方法包括：生成跨域数据集，跨域数据集包括多对图像对；根据跨域数据集的尺度特征图，获取特征级域自适应监督信息；根据特征级域自适应监督信息的密集描述子，获取像素级跨域一致性监督信息和描述子损失信息；基于特征级域自适应监督信息、像素级跨域一致性监督信息和描述子损失信息的结合，确定总损失，总损失用于网络的监督训练，获取局部描述子。本发明可增强局部描述子的不变性和鲁棒性，提高描述子在图像匹配任务上的精度。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种局部描述子生成方法、装置、电子设备和计算机程序产品。

背景技术

目前，提取准确高效的局部特征描述子是各种计算机视觉应用必不可少的处理步骤，例如移动视觉搜索、视觉跟踪、图像匹配，图像检索和视觉定位等计算机视觉应用。而在传统的手工特征提取方法中， SIFT在具有尺度不变性和旋转不变性的计算机视觉任务中起着至关重要的作用。深度学习的进步使得学习到的局部描述符与经典的方法相比有了很大的差距。近年来，联合学习关键点检测和描述子的模型在图像匹配和视觉定位方面取得了更好的表现。与基于补丁的特征描述子不同，这些方法改为使用全卷积神经网络来提取整个图像的密集特征描述符。对于基于深度学习的算法，为整幅图像提取密集的特征描述子成为近年来的趋势。一般来说，鲁棒的局部描述子要求不变性，即当相同关键点的光照或视点发生变化时，它们的描述子仍然可以成功匹配。

现有技术中，为了在各种应用场景中准确匹配，需要描述子尽可能多地捕捉不变性。然而，为包括昼夜变化和季节变化在内的复杂场景提取鲁棒性描述子极具挑战性，很容易造成误匹配。现有方法通过利用大型训练数据集和复杂的网络结构来增强描述子的鲁棒性，但不可避免地带来了大的计算量，也限制了描述子的应用。

发明内容

本发明提供一种局部描述子生成方法、装置、电子设备和计算机程序产品，用以解决现有技术中描述子的不变性和鲁棒性较低的缺陷，提高描述子在图像匹配任务上的精度。

本发明提供一种局部描述子生成方法，包括：

生成跨域数据集，所述跨域数据集包括多对图像对；

根据所述跨域数据集的尺度特征图，获取特征级域自适应监督信息；

根据所述特征级域自适应监督信息的密集描述子，获取像素级跨域一致性监督信息和描述子损失信息；

基于所述特征级域自适应监督信息、所述像素级跨域一致性监督信息和所述描述子损失信息的结合，确定总损失，所述总损失用于网络的监督训练，获取局部描述子。

根据本发明提供的局部描述子生成方法，所述生成跨域数据集，包括：

根据数据集确定源域图像I_S；

根据所述源域图像I_S，获取对应的目标域图像I_T，所述目标域图像I_T和源域图像I_S构成图像对；

根据所述目标域图像I_T与所述源域图像I_S的对应关系，获取所述网络的监督训练的标签，其中，所述跨域数据集包括图像对和网络的监督训练的标签，所述目标域图像I_T与所述源域图像I_S的对应关系包括风格迁移关系、Homomorphic变换关系和真实标注关系。

根据本发明提供的局部描述子生成方法，所述根据所述跨域数据集的尺度特征图，获取特征级域自适应监督信息，包括：

将所述图像对输入编码器，获取多个尺度特征图；

所述尺度特征图通过域分类器进行域对抗学习，提取全局域不变特征，其中，所述域分类器包括梯度反转层和至少一层全连接层；