[发明专利]图像处理方法、装置、电子设备和存储介质

说明书

本公开提供了一种图像处理方法，涉及人工智能技术领域，尤其涉及计算机视觉技术领域和深度学习技术领域。具体实现方案为：根据输入图像的初始特征，分别得到转换后的初始特征和局部特征；根据转换后的初始特征，得到全局特征；根据局部特征，确定查询特征，其中，查询特征的元素数量与局部特征的元素数量之间的差异小于或等于预设差异阈值；根据全局特征，分别确定键特征和值特征；以及根据查询特征、键特征和值特征，得到图像处理结果。本公开还提供了一种图像处理装置、电子设备和存储介质。

技术领域

本公开涉及人工智能技术领域，尤其涉及计算机视觉技术领域和深度学习技术领域，可应用于目标检测、对象分类和图像分割等场景下。更具体地，本公开提供了一种图像处理方法、装置、电子设备和存储介质。

背景技术

随着人工智能技术的发展，深度学习模型广泛地应用于执行图像识别、物体检测、图像分割等任务。基于应用在自然语言处理领域的Transformer模型，可以得到应用于计算机视觉领域的视觉Transformer(Vision Transformer)模型。在利用大量训练样本对视觉Transformer模型进行预训练之后，经预训练的视觉Transformer模型可以具有良好的图像识别性能。

发明内容

本公开提供了一种图像处理方法、装置、设备以及存储介质。

根据本公开的一方面，提供了一种图像处理方法，该方法包括：根据输入图像的初始特征，分别得到转换后的初始特征和局部特征；根据转换后的初始特征，得到全局特征；根据局部特征，确定查询特征，其中，查询特征的元素数量与局部特征的元素数量之间的差异小于或等于预设差异阈值；根据全局特征，分别确定键特征和值特征；以及根据查询特征、键特征和值特征，得到图像处理结果。

根据本公开的另一方面，提供了一种图像处理装置，该装置包括：第一获得模块，用于根据输入图像的初始特征，分别得到转换后的初始特征和局部特征；第二获得模块，用于根据转换后的初始特征，得到全局特征；第一确定模块，用于根据局部特征，确定查询特征，其中，查询特征的元素数量与局部特征的元素数量之间的差异小于或等于预设差异阈值；第二确定模块，用于根据全局特征，分别确定键特征和值特征；以及第三获得模块，用于根据查询特征、键特征和值特征，得到图像处理结果。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行根据本公开提供的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行根据本公开提供的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开提供的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开的一个实施例的可以应用图像处理方法和装置的示例性系统架构示意图；

图2是根据本公开的一个实施例的图像处理方法的流程图；

图3A是根据本公开的一个实施例的局部全局Transformer模块的示意图；

图3B是根据本公开的一个实施例的全局注意力单元的原理图；

图4是根据本公开的一个实施例的图像处理模型的示意图；

图5是根据本公开的一个实施例的图像处理方法的效果的示意图；