[发明专利]视觉深度自适应神经网络的一维卷积位置编码方法

权利要求书

1.一种视觉深度自适应神经网络的一维卷积位置编码方法，其特征在于，该方法包括如下步骤：

步骤1：将批次图像维度为(B、C、H、H)进行卷积，其中B表示图片张数，C表示每张图片的通道数，H表示图片的长和宽；卷积核大小为P、步长为S、输入通道数为C、输出通道数为D，卷积后的特征图维度为(B、D、N、N)，其中N＝H/P；

步骤2：将步骤1结果的N、N两个维度展开为一个维度，转换后结果维度为(B、D、N²)；

步骤3：对步骤2结果的D、N²两个维度进行置换，置换后结果的维度变为(B、N²、D)；

步骤4：将分类表征与步骤3结果按照第二维度N²进行拼接操作，分类表征为维度(B、1、D)的随机初始化的向量，拼接后结果维度为(B、N²+1、D)；

步骤5：对步骤4结果按照第三维度D进行一维卷积得到位置编码，一维卷积的卷积核大小为K，填充大小为K//2，由于采用的是特征图大小不变的卷积方式，结果的位置编码维度仍为(B、N²+1、D)；

步骤6：将步骤4位置编码结果与步骤5结果进行相加，由于采用的是逐元素相加的方式，最终结果维度仍为(B、N²+1、D)；

步骤7：搭建编码网络与步骤1至6一起作为一个深度自适应神经网络。

2.根据权利要求1所述的视觉深度自适应神经网络的一维卷积位置编码方法，其特征在于所述步骤1进行卷积核大小为P、步长为S、输入通道数为C、输出通道数为D的二维卷积，相当于对批次图像的每张图片按照图片长、宽两个维度进行切割，切割大小即是卷积核大小P，并对切割后产生的N×N个片段进行嵌入，使每个片段产生维度为1×D的嵌入向量。

3.根据权利要求1所述的视觉深度自适应神经网络的一维卷积位置编码方法，其特征在于所述步骤2，将原维度为(B、D、N、N)的特征图转换为维度为(B、D、N×N)的特征图，转换方式为将N个N维向量顺序拼接成一个N×N维向量。

4.根据权利要求1所述的视觉深度自适应神经网络的一维卷积位置编码方法，其特征在于所述步骤3，将原维度为(B,D,N×N)的特征图转换为维度为(B,N×N,D)的特征图，转换方式采用矩阵转置。

5.根据权利要求1所述的视觉深度自适应神经网络的一维卷积位置编码方法，其特征在于所述步骤4，将维度为(B,1,D)的分类表征向量与步骤3产生的维度为(B,N×N,D)的特征图进行拼接，拼接方式为按照第二维度进行拼接，即将1与N²拼接。

6.根据权利要求1所述的视觉深度自适应神经网络的一维卷积位置编码方法，其特征在于所述步骤5，对步骤4产生的结果进行一维卷积，即对N×N+1个向量进行一维卷积，对单个向量进行卷积核大小为3，填充为1进行一维卷积相当于进行如下矩阵乘：

7.根据权利要求1所述的视觉深度自适应神经网络的一维卷积位置编码方法，其特征在于所述编码网络由多头自注意力模块及前向传播神经网络组成，多头自注意力模块的具体操作是，首先将输入分为H个部分，每个部分分别转换为查询矢量、键矢量及值矢量，将查询矢量与键矢量的转置进行矩阵乘用于计算相似度，之后为了有更稳定的梯度，需对结果进行缩放，缩放之后的结果再通过归一化指数函数Softmax将值转换为相似度，最后与值矢量矩阵乘；在注意力模块操作完成后会与未经过注意力模块前的结果相加以产生短连接，最后经过层归一化；前向传播神经网络由两个前馈网络及一个非线性激活函数组成，非线性激活函数用高斯误差线性单元GELU。

8.根据权利要求1所述的视觉深度自适应神经网络的一维卷积位置编码方法，其特征在于所述深度自适应神经网络在搭建好之后，由于深度自适应神经网络相对于卷积神经网络模型复杂，需要在大数据集且图像分辨率大的数据集上进行训练，用于视觉对象识别软件研究的、由1400多万幅分辨率为224×224的图片组成大型可视化数据库ImageNet。