[发明专利]用于画作多标签识别的神经网络及相关方法、介质和设备

权利要求书

1.一种利用神经网络进行多标签识别的训练方法，其特征在于，

所述神经网络包括：

残差注意力网络，用于接收画作图像并输出第一特征图；

内容标签网络，用于接收所述第一特征图并输出内容标签的预测概率；

题材标签网络，用于接收所述第一特征图并输出题材标签的预测概率；以及

类别标签网络，用于接收所述第一特征图并输出类别标签的预测概率；

所述训练方法包括：

使用类别标签训练数据集对残差注意力网络和类别标签网络进行训练；

使用内容标签训练数据集进行训练，调整所述残差注意力网络参数并对内容标签网络进行训练，同时保持类别标签网络参数不变；

使用题材标签训练数据集进行训练，保持残差注意力网络、内容标签网络和类别标签网络参数不变，调整题材标签网络参数；以及

使用类别标签训练数据集进行训练，仅对类别网络进行训练。

2.根据权利要求1所述的训练方法，其特征在于，还包括：

残差网络，用于接收所述第一特征图并输出降维的第二特征图。

3.根据权利要求2所述的训练方法，其特征在于，所述内容标签网络包括：

空间正则化子网络，用于接收所述第一特征图并输出内容标签的第一预测概率；

第一子网络，用于接收所述第二特征图并输出内容标签的第二预测概率；

其中所述第一预测概率和第二预测概率通过取平均值计算得到所述内容标签的预测概率。

4.根据权利要求3所述的训练方法，其特征在于，所述第一子网络包括：

第一卷积层，用于接收所述第二特征图并输出第三特征图；

第一平均池化层，用于接收第三特征图并输出第四特征图；

第一全连接层，用于接收第四特征图并输出所述第二预测概率。

5.根据权利要求2所述的训练方法，其特征在于，所述题材标签网络包括：

第一加权模块，用于对所述第二特征图的每个通道生成权重并将所述权重加权到所述第二特征图的特征上，从而生成第五特征图；

标签相关性网络，包括顺序连接的多个卷积层，用于对所述第五特征图进行卷积输出第六特征图；

第二全连接层，用于接收第六特征图并输出所述题材标签的预测概率。

6.根据权利要求2所述的训练方法，其特征在于，所述类别标签网络包括：

第二加权模块，用于对所述第二特征图的每个通道生成权重并将所述权重加权到所述第二特征图的特征上，从而生成第七特征图；

第二卷积层，用于接收第七特征图并输出第八特征图；

第二平均池化层，用于接收第八特征图并输出第九特征图；

第三全连接层，用于接收第九特征图并输出所述类别标签的预测概率。

7.根据权利要求4所述的训练方法，其特征在于，

所述残差网络包括1*1*512卷积层、3*3*512卷积层和1*1*2048卷积层，所述第一特征图连续经过1*1*512卷积层、3*3*512卷积层和1*1*2048卷积层输出7*7*2048大小的第二特征图；

所述第一卷积层由2048个3*3大小步长为2的卷积层组成；

所述第一平均池化层为3*3大小，所述第四特征图具有2048维特征向量。

8.根据权利要求5所述的训练方法，其特征在于，

所述残差网络包括1*1*512卷积层、3*3*512卷积层和1*1*2048卷积层，所述第一特征图连续经过1*1*512卷积层、3*3*512卷积层和1*1*2048卷积层输出7*7*2048大小的第二特征图；

所述第五特征图为7*7*2048大小；

所述多个卷积层包括K个1*1*2048卷积层，512个1*1*K卷积层，512个1*1*512卷积层以及2048个7*7*1大小并且分为512组每组4个卷积核的卷积层，所述第五特征图连续经过所述多个卷积层，输出所述第六特征图，其中K为题材标签种类个数。