[发明专利]一种基于层次学习的长尾分布图像识别方法

权利要求书

1.一种基于层次学习的长尾分布图像识别方法，其特征在于，包括以下步骤：

1)使用预训练模型提取长尾分布图像数据中每个对象的视觉特征；

2)依据对象的视觉特征构建类与类之间的层次超类树关系，层次超类树关系通过自底向上的方式逐层构造：先求取每一类所有视觉特征的特征中心，特征中心通过对选定的多个视觉特征取平均值得到，将这些特征中心作为最底层结点，接着将得到的特征中心按照相似度关系聚类成簇，求出每一个簇的簇中心，簇中心通过对选定的多个特征中心取平均值得到，将簇中心作为该簇内所有特征中心共同的上层父结点，然后将得到的上层父节点继续按照相似度关系聚类成簇，求出每一个簇的簇中心，将新得到的簇中心作为该簇内所有节点共同的父结点，依此类推，直到最顶层只有一个簇中心为止，每一层的不同的簇中心表示该层中不同的超类；

3)依据层次超类树关系搭建层次超类树神经网络模型；

所述层次超类树神经网络模型由一个主干神经网络和多个分支神经网络组成，具体如下：

设计一个能够根据输入的x，输出对应的f_I的神经网络，其中，x表示长尾分布图像数据中的图片样本，f_I表示特征图，将该网络作为层次超类树神经网络模型的主干神经网络；

依据层次超类树关系，自顶向下为树中的每一层搭建一个分支神经网络，第i层分支神经网络的输入为f_I和s_i-1，输出为s_i，其中，i表示层序号，取值范围为[1,M]，M是层次超类树总层数，s是分支神经网络的预测输出，当分支神经网络位于第一层时，其输入只有f_I，否则，分支神经网络的输入同时包含f_I和上一层分支神经网络的输出s_i-1；

4)使用基于层次学习的方式训练层次超类树神经网络模型；

基于层次学习的方式是使用两种损失函数的加权来指导层次超类树神经网络模型的学习，该两种损失函数包括：

a、使用层次超类树神经网络模型的第i-1层输出来指导第i层参数学习的知识蒸馏损失：

式中，

i表示层次超类树神经网络模型的第i层，T是一个温度常数，c和c'表示每一层上的某一超类，si,c表示层次超类树神经网络模型第i层输出向量中与超类c相对应的分量，s'i-1,c表示层次超类树神经网络模型的第i-1层输出向量在增维后与超类c相对应的分量，是在一个样本上的知识蒸馏损失，通过累加所有样本的得到第i层的总的知识蒸馏损失

b、交叉熵分类损失：

式中，

I(.)是指示函数，y_i是样本在第i层对应的真实标签，是在一个样本上的交叉熵分类损失，通过累加所有样本的得到第i层的总的交叉熵分类损失

层次超类树神经网络模型是通过使用上述两种损失函数的加权来指导学习：

式中，λ为权重系数，M为层次超类树神经网络模型的总层数，基于层次学习的方式先自顶向下逐层训练，再使用Loss微调整个层次超类树神经网络模型以得到最优的模型参数，即完成了层次超类树神经网络模型的训练；

5)用训练好的层次超类树神经网络模型对长尾分布图像数据进行识别。

2.根据权利要求1所述的一种基于层次学习的长尾分布图像识别方法，其特征在于：在步骤1)中，所述预训练模型是指能够提取出长尾分布图像数据中每一类对象有差别的视觉特征的模型，所述视觉特征是指长尾分布图像数据中对象的向量表示。

3.根据权利要求1所述的一种基于层次学习的长尾分布图像识别方法，其特征在于：所述分支神经网络对其输入的处理，包括以下步骤：

i)若输入中含有s_i-1，则对s_i-1做线性增维：

s'_i-1＝φ_i(s_i-1)

式中，φ_i(.)是第i层的线性转换函数，它将第i层的输入向量s_i-1增维成与第i层的输出向量s_i具有相同维度大小的向量s'_i-1；

ii)将f_I映射成高级特征：

式中，δ_i(.)是第i层的一个卷积神经网络，R表示实数集，W'、H'和C'分别表示高级特征的宽、高和通道数，表示属于维度大小分别为W'、H'和C'的实数集；

iii)使用一个注意力机制模块计算的注意力系数，中的每一个区域的注意力系数计算方式为：

式中，a_i(.)是第i层的一个具有注意力机制功能的神经网络模块，[.,.]表示拼接操作，是指中每一块大小为1×1×C'的不同区域，共有W'×H'块；

iv)利用注意力系数计算每个通道中的所有位置的加权平均：

式中，e_i,wh是对做归一化处理后的结果，⊙表示按元素乘，f_i∈R^C′，∑_w,h表示对每一块大小为1×1×C'的不同区域的求和运算；

v)将f_I映射成高级特征：

式中，ω_i(.)是第i层的一个卷积神经网络，

vi)对执行全局平均池化：

vii)将f'_i、f_i和它们拼接起来的[f'_i,f_i]分别输进三个分类器Z_i，1,Z_i，2,Z_i，3中，将这三个分类器输出的结果取平均作为分支神经网络的输出。