[发明专利]一种面向图像处理的金字塔型网络注意力调整方法和系统

说明书

本发明涉及一种面向图像处理的金字塔型网络注意力调整方法和系统，方法包括可变形的注意力机制调整步骤：基于可学习的位置偏置调整注意力窗口的范围和大小，即将待处理图片载入神经网络中，获取位置偏置结果；注意力金字塔网络调整步骤：根据图像处理的阶段顺序，逐步对注意力窗口进行尺寸划分；将待处理图片划分为多个分块图片，采用高斯函数对各个分块图片进行位置编码，根据该位置编码对分块图片进行图像处理并分别执行上述可变形的注意力机制调整步骤和注意力金字塔网络调整步骤。与现有技术相比，本发明不仅在模型训练阶段有更快的训练速度，在模型推理和使用阶段同样有更好的精度表现和模型鲁棒性。

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种面向图像处理的金字塔型网络注意力调整方法和系统。

背景技术

网络注意力机制是一种高效的特征处理技术，该技术已经被广泛地应用于自然语言处理、图像处理等多个领域。但是传统的用于图像处理的网络注意力机制存在着计算复杂度高、训练难度大、对图像中多尺度物体不敏感等问题，此类问题严重制约了该技术在图像处理领域的发展和应用。

发明内容

本发明的目的就是为了克服上述现有技术网络注意力机制存在着计算复杂度高、训练难度大、对图像中多尺度物体不敏感的缺陷而提供一种面向图像处理的金字塔型网络注意力调整方法和系统。

本发明的目的可以通过以下技术方案来实现：

一种面向图像处理的金字塔型网络注意力调整方法，用于在图像处理过程中调整注意力窗口的大小，所述方法包括以下步骤：

可变形的注意力机制调整步骤：基于可学习的位置偏置调整注意力窗口的范围和大小，所述可学习的位置偏置的获取包括：将待处理图片载入预先构建并训练好的神经网络中，获取位置偏置结果；

注意力金字塔网络调整步骤：根据图像处理的阶段顺序，逐步对所述注意力窗口进行尺寸划分。

进一步地，所述位置偏置的计算公式为：

式中，为图像中注意力窗口的水平方向位置偏置，为图像中注意力窗口的竖直方向位置偏置，Dense(·)为全连接网络，Conv(·)为卷积神经网络，W为网络的权重，f为前一层网络计算所得的特征。

进一步地，所述可变形的注意力机制调整步骤还包括采用注意力范围截断方法限制所述位置偏置的大小。

进一步地，所述注意力范围截断方法的计算表达式为：

C((x,y),(h,w))＝(max(min(x+h,h),1),max(min(y+w,w),1))

式中，x为竖直方向的位置偏置，y为水平方向的位置偏置，h为待处理图片的高度，w为待处理图片的宽度，max(·)为取最大值，min(·)为取最小值。

进一步地，所述注意力金字塔网络调整步骤具体包括：将所述注意力窗口划分为一个或多个金字塔模块；

在图像处理的同一阶段中，各金字塔模块之间的注意力窗口大小彼此为倍数关系；

在图像处理的不同阶段中，相对应的金字塔模块的注意力窗口大小彼此为倍数关系。

进一步地，所述高效金字塔型网络注意力调整方法还包括：将待处理图片划分为多个分块图片，对各个分块图片分别执行所述可变形的注意力机制调整步骤和注意力金字塔网络调整步骤。

进一步地，所述高效金字塔型网络注意力调整方法还包括：

高维特征位置编码步骤：采用高斯函数对各个分块图片的位置进行处理，得到满足高斯函数分布的分块图片位置编码，根据该分块图片位置编码对所述分块图片进行图像处理。