[发明专利]图像编码方法、装置、电子设备

说明书

本申请公开了一种图像编码方法，属于图像处理领域，有助于提升视觉编码模型对输入图像尺寸的适用范围。本方法包括：确定组成输入图像的每个图像块的一维空间张量组成的张量序列，并输入至多阶段视觉注意力模型首个阶段的编码网络；依次通过多阶段视觉注意力模型中各阶段的编码网络，对输入至该编码网络的张量序列所携带的图像块的图像内容特征进行尺度和维度变换以及图像块位置编码，并基于进行图像块位置编码以及尺度和维度变换的结果进行编码映射，输出输入图像的不同尺度和维度的张量，以及输入图像的类别编码。本方法通过隐式动态生成图像块的位置编码用于对图像块进行编码映射，实现了通过视觉模型对变化尺寸输入图像进行编码处理。

技术领域

本申请实施例涉及图像处理领域，特别是涉及一种图像编码方法、装置、电子设备及计算机可读存储介质。

背景技术

再图像处理领域，通过将固定尺寸的输入图像打散成指定大小的多个图像块，之后，依次对所述多个图像块做线性编码，从而得到一个输入序列，然后，通过Transformer结构像处理字符序列一样处理图像块编码序列，从而实现对输入图像进行编码的方案，得到了越来越广泛的应用。为了保留各图像块之间的位置信息，提升图像编码准确度，现有技术中，通过在输入序列中插入和该输入序列编码维度等长的位置编码，使得Transformer结构可以基于图像块的图像内容和位置信息对输入图像进行编码。然而，现有技术中，在图像块编码序列中插入位置编码的方式不适用于输入图像尺寸变化较大的场景，某些情况下，还会导致模型性能的下降。

可见，现有技术中的图像编码方法还需要改进。

发明内容

本申请实施例提供一种图像编码方法，有助于提升视觉编码模型对输入图像尺寸的适用范围。

第一方面，本申请实施例提供了一种图像编码方法，包括：

通过对输入图像进行分块编码，确定组成所述输入图像的每个图像块的一维空间张量组成的张量序列；

将所述张量序列输入至预先训练的多阶段视觉注意力模型首个阶段的编码网络；

依次通过所述多阶段视觉注意力模型中各阶段的编码网络，对输入至该编码网络的张量序列所携带的各所述图像块的图像内容特征进行尺度和维度变换，以及进行图像块位置编码，并基于进行所述图像块位置编码以及进行所述尺度和维度变换的结果进行编码映射，输出所述输入图像的与相应阶段对应的相应尺度和相应维度的张量；

对所述多阶段视觉注意力模型中最后一个阶段输出的所述张量进行分类映射，输出所述输入图像对应的类别编码。

第二方面，本申请实施例提供了一种图像编码装置，包括：

分块线性编码确定模块，用于通过对输入图像进行分块编码，确定组成所述输入图像的每个图像块的一维空间张量组成的张量序列；

分块编码输入模块，用于将所述张量序列输入至预先训练的多阶段视觉注意力模型首个阶段的编码网络；

图像编码模块，用于依次通过所述多阶段视觉注意力模型中各阶段的编码网络，对输入至该编码网络的张量序列所携带的各所述图像块的图像内容特征进行尺度和维度变换，以及进行图像块位置编码，并基于进行所述图像块位置编码以及进行所述尺度和维度变换的结果进行编码映射，输出所述输入图像的与相应阶段对应的相应尺度和相应维度的张量；

编码结果输出模块，用于对所述多阶段视觉注意力模型中最后一个阶段输出的所述张量进行分类映射，输出所述输入图像对应的类别编码。

第三方面，本申请实施例还公开了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例所述的图像编码方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时本申请实施例公开的图像编码方法的步骤。