[发明专利]图像处理方法、装置、电子设备及存储介质

说明书

本发明涉及计算机视觉技术领域，提供一种图像处理方法、装置、电子设备及存储介质，其中方法包括：获取待处理图像；将所述待处理图像输入至特征提取模型，得到所述特征提取模型输出的图像特征；基于所述图像特征，对所述待处理图像进行图像处理；所述特征提取模型包括正交自注意力模块，所述正交自注意力模块用于将所述待处理图像的令牌投影到正交空间进行自注意力转换。本发明提供的方法、装置、电子设备及存储介质，特征提取模型中的正交自注意力模块，可以将待处理图像的令牌投影到正交空间进行自注意力转换，降低了自注意力转换的复杂度，提高了图像特征的提取质量，因此保证了图像处理的有效性。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

随着人工智能的快速发展，研究者们成功地将Transformer网络中的自注意力机制应用于图像处理中的图像特征提取中。

然而，现有的自注意力机制存在计算复杂度高的问题，针对这一问题，现有技术中通过减少令牌数量，降低了全局自注意力机制的计算复杂度，但伴随着丢失细粒度图像特征信息的问题。

因此，如何在降低图像特征提取的复杂度的同时，又能不丢失细粒度图像特征信息的前提下，进行图像特征提取，是图像处理技术领域亟待解决的问题。

发明内容

本发明提供一种图像处理方法、装置、电子设备及存储介质，用以解决现有技术中进行图像特征提取时复杂度高的缺陷。

本发明提供一种图像处理方法，包括：

获取待处理图像；

将所述待处理图像输入至特征提取模型，得到所述特征提取模型输出的图像特征；

基于所述图像特征，对所述待处理图像进行图像处理；

所述特征提取模型包括正交自注意力模块，所述正交自注意力模块用于将所述待处理图像的令牌投影到正交空间进行自注意力转换。

根据本发明提供的一种图像处理方法，所述特征提取模型包括级联的多个特征提取模块，所述多个特征提取模块包括正交特征提取模块，所述正交特征提取模块包括级联的所述正交自注意力模块和前向传播网络；

所述将所述待处理图像输入至特征提取模型，得到所述特征提取模型输出的图像特征，包括：

将所述待处理图像的上一令牌输入到当前的特征提取模块，得到所述当前的特征提取模块输出的当前令牌，所述上一令牌是所述当前的特征提取模块之前的特征提取模块输出的；

将最尾的特征提取模块输出的令牌作为所述图像特征。

根据本发明提供的一种图像处理方法，在所述当前的特征提取模块为正交特征提取模块的情况下，所述将所述待处理图像的上一令牌输入到当前的特征提取模块，得到所述当前的特征提取模块输出的当前令牌，包括：

将所述上一令牌输入到当前的特征提取模块的正交自注意力模块，由所述正交自注意力模块将所述上一令牌进行正交化，得到正交令牌，再对所述正交令牌进行多头注意力计算，将计算所得的正交注意力特征进行逆正交化，并对逆正交化后的注意力特征与所述上一令牌进行融合，得到所述正交自注意力模块输出的当前自注意力特征；

将所述当前自注意力特征输入到当前的特征提取模块的前向传播网络，得到所述前向传播网络输出的当前令牌。

根据本发明提供的一种图像处理方法，所述多个特征提取模块还包括窗口特征提取模块，所述窗口特征提取模块包括级联的窗口自注意力模块和前向传播网络，所述窗口自注意力模块用于将所述待处理图像的令牌以滑动窗口的形式划分后进行自注意力转换。