[发明专利]一种非局域的图像分类装置、方法和存储介质

权利要求书

1.一种非局域的图像分类装置，其特征在于，包括数据采集模块、训练模块、分类模块，所述数据采集模块用于收集数据并形成训练样本；所述训练模块用于将训练样本输入图像分类网络进行训练得到最优图像分类模型；所述分类模块用于将待测图像输入最优图像分类模型并输入分类结果；

所述图像分类网络由从前至后依次连接的根部模块、若干个残差模块以及非局域模块、头部模块构成，所述非局域模块由从前至后依次连接的坐标拼接模块、键值生成模块、非局域注意力模块、注意力融合模块构成；将特征图上各特征点的绝对坐标信息加入到特征图中，封装得到坐标拼接模块，分为3个支路，依次连接向量计算，变形，L2正则化模块，得到值向量，键向量和查询向量，并将结构整体封装为键值生成模块；其中值向量的支路不包含L2正则化模块，向量计算的方式为卷积操作，首先将查询向量转置，然后与键向量进行矩阵乘，将结果计算以自然数为底数的指数，转置后再与值向量进行矩阵乘，将结果进行转置，得到注意力输出张量，并将结构整体封装为非局域注意力模块，将注意力输出张量变形，并与非局域注意力模块的输入做元素和，并将结构整体封装为注意力融合模块，从前至后依次连接坐标拼接模块，键值生成模块，非局域注意力模块，注意力融合模块，并封装成非局域模块；其中注意力融合模块的输入为非局域模块整体的输入，和非局域注意力模块的输出；

所述根部模块用于将输入的图像的像素信息转换并输出由特征信息组成的特征图；多个残差模块用于逐步提取特征图中更高层次的语义信息，并输出特征图至非局域模块；所述头部模块用于将包含语义的特征图转换为图像分类的结果；

所述坐标拼接模块用于将特征图上各特征点的绝对坐标信息加入到特征向量中；所述键值生成模块用于生成查询向量、键向量和值向量，且输入至非局域注意力模块，计算特征图上每个特征点与所有特征点的相关性并生成注意力图；所述注意力融合模块用于将注意力图得到的信息反馈回特征图中，所述注意力融合模块的输入为非局域模块的输入以及非局域注意力模块的输出。

2.根据权利要求1所述的一种非局域的图像分类装置，其特征在于，所述坐标拼接模块的表达式如下：

X'＝concat([X,coord_map],dim＝channel)

其中：

X′表示输出特征图，

X表示输入特征图，

concat表示拼接操作，

dim＝channel表示拼接的维度为特征通道的维度，

coord_map为坐标图，假定特征图X的大小[b,c,h,w]，其中，b为批次大小，c为通道数，h为特征图的高，w为特征图的宽，则coord_map的大小为[b,2,h,w]。

3.根据权利要求1所述的一种非局域的图像分类装置，其特征在于，所述键值生成模块用于生成查询向量、键向量和值向量，所述查询向量、键向量和值向量均由卷积核大小为1且输出通道等于输入通道的卷积操作以及变形操作生成，所述键向量和查询向量均进行了L2正则化；所述查询向量、键向量和值向量对应的公式为：

Q＝l2_norm(reshape(conv_q(X)))

K＝l2_norm(reshape(conv_k(X)))

V＝reshape(conv_v(X))

其中：

X为键值生成模块的输入；

Q、K、V分别为查询向量、键向量、值向量；

l2_norm()为L2正则化函数，正则化的通道为第1维，即C维度上；

reshape为变形，将向量的维度由[B,C,H,W]变为[B,C,H*W]，其中B为批数量，C为通道数，H为特征图的高，W为特征图的宽；

conv_q、conv_k、conv_v分别为查询向量、键向量和值向量的卷积操作函数。