[发明专利]用于视觉任务预测的方法、设备和计算机可读存储介质

说明书

公开了用于视觉任务预测的方法、设备和计算机可读存储介质。该方法包括：合成第一图像和第二图像以获得多个合成图像，每个合成图像基于第二图像所覆盖的所有频带之一得到，第一图像具有高于第二图像的空间分辨率和低于第二图像的光谱分辨率；在与所有频带中的任意N个频带组合相对应的合成图像组合之中，确定在已经针对第一图像训练的代理模型上性能最好的一个或更多个合成图像组合，其中，N是大于或等于2的整数，以及其中，N个频带分别对应于第一图像的N个通道；以及使用基于第一图像训练的视觉任务预测模型来从所确定的一个或更多个合成图像组合之中选择在目标视觉任务上表现最优的合成图像组合用于执行视觉任务。

技术领域

本公开内容涉及图像识别的领域，并且具体涉及视觉任务预测。

背景技术

目前，多数视觉任务都使用RGB(red,green,blue)图像。基于RGB图像训练的卷积神经网络(Convolutional Neural Network,CNN)为分类、检测和分割任务带来了显著改善。然而，随着高光谱图像(HyperSpectral Image,HSI)技术的快速发展，HSI图像被越来越广泛地用于提供更多信息。一般而言，光谱分辨率在10^-2λ数量级范围内的光谱图像称为高光谱图像。

由于拍摄的局限性，高光谱图像的空间分辨率通常比RGB图像低几倍，这使得在使用高光谱图像时会带来一些问题。首先，低空间分辨率的图像无法提供丰富的纹理特征。其次，高光谱图像中存在至少数十个波段、甚至达到上百个波段，而这些波段的一部分是多余的。有用的高光谱谱带的选择虽然困难但却很重要。最后，基于RGB图像或其他多光谱图像训练的CNN模型中的知识无法用于具有完全不同的空间特征的高光谱图像。多光谱图像是指具有多个离散光谱频带的图像，例如RGB-IR图像(RGB红外图像)。

通常，可以通过常规图像超分辨率方法来改善高光谱图像的细节。然而，目前常用的基于深度学习的超分辨率方法基于先验来插值像素，这需要大量的数据来训练超分辨率模型，并且超分辨率的倍数是有限的。

为了解决以上问题，已经实现了高光谱超分辨率(Hyperspectral Super-Resolution，HSR)方法来提高高光谱图像的空间分辨率。HSR方法通过融合来自RGB图像或多光谱图像的纹理信息和来自高光谱图像的光谱信息来产生具有高空间分辨率和高光谱分辨率的图像。

发明内容

在下文中给出了关于本公开内容的简要概述，以便提供关于本公开内容的某些方面的基本理解。应当理解，这个概述并不是关于本公开内容的穷举性概述。它并不是意图确定本公开内容的关键或重要部分，也不是意图限定本公开内容的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

根据本发明的一个方面，提供了一种用于视觉任务预测的方法，包括：合成第一图像和第二图像以获得多个合成图像，每个合成图像是基于所述第二图像所覆盖的所有频带中的一个频带得到的，其中，所述第一图像的空间分辨率高于所述第二图像的空间分辨率，并且所述第一图像的光谱分辨率低于所述第二图像的光谱分辨率；在与所述所有频带中的任意N个频带组合相对应的合成图像组合之中，确定在已经针对所述第一图像训练的代理模型上性能最好的一个或更多个合成图像组合，其中，N是大于或等于2的整数，以及其中，所述N个频带分别对应于所述第一图像的N个通道；以及使用基于所述第一图像训练的视觉任务预测模型来从所确定的一个或更多个合成图像组合之中选择在目标视觉任务上表现最优的合成图像组合用于执行视觉任务。

优选地，所述方法还包括用所述一个或更多个合成图像组合、或者与所述一个或更多个合成图像组合具有相似的目标视觉任务和相近的图像内容和参数的特定合成图像来训练所述视觉任务预测模型，并且使用训练后的视觉任务预测模型来选择在目标视觉任务上表现最优的合成图像组合。

优选地，所述视觉任务预测模型还利用已经针对所述第一图像训练的预训练参数而被训练。