[发明专利]基于嵌入特征相似度的注意力迁移的神经网络压缩方法

权利要求书

1.一种基于嵌入特征相似度的注意力迁移的神经网络压缩方法，其特征在于，包括：

获取多个训练样本，每个所述训练样本包括样本图像以及所述样本图像对应的类别；

确定第一待训练神经网络模型后，利用所述训练样本训练所述第一待训练神经网络模型，得到教师网络；

利用所述教师网络生成第一注意力图向量；

确定第二待训练神经网络模型后，利用所述训练样本及预设损失函数训练所述第二待训练神经网络，并根据所述第二待训练神经网络模型生成的第二注意力图向量及输出结果确定损失值；其中，所述预设损失函数的损失值包括第一损失值和第二损失值，所述第一损失值为交叉熵损失值、所述第二损失值为第一注意力图向量与第二注意力图向量之间的损失值；

当预设损失函数的损失值满足预设条件时，所述第二待训练神经网络训练完成，获得压缩后的学生网络。

2.根据权利要求1所述的基于嵌入特征相似度的注意力迁移的神经网络压缩方法，其特征在于，所述第一待训练神经网络模型及所述第二待训练神经网络模型为宽残差网络。

3.根据权利要求1所述的基于嵌入特征相似度的注意力迁移的神经网络压缩方法，其特征在于，所述利用所述教师网络生成第一注意力图向量的步骤，包括：

确定所述教师网络中生成注意力图的位置；

获得所述教师网络在所述位置处的数据，将每个数据卷积后的激活张量Z∈R^C×H×W通过预设激活函数映射到空间维度，得到第一注意力图；其中，H×W表示空间维度，C表示特征通道，所述预设激活函数为Z_i表示第i个特征通道上的激活张量；

将所述第一注意力图向量化后得到第一注意力图向量。

4.根据权利要求3所述的基于嵌入特征相似度的注意力迁移的神经网络压缩方法，其特征在于，所述教师网络包括：第一输入层、第一输出层、以及位于所述第一输入层与所述第一输出层之间的多个第一隐藏层，所述多个第一隐藏层被预先划分为第一子模块、第二子模块和第三子模块；

所述教师网络中生成注意力图的位置包括第一子模块的输出、第二子模块的输出和第三子模块的输出。

5.根据权利要求1所述的基于嵌入特征相似度的注意力迁移的神经网络压缩方法，其特征在于，所述根据所述第二待训练神经网络模型生成的第二注意力图向量及输出结果确定损失值的步骤之前，还包括：

根据所述第一注意力图向量及所述第二注意力图向量，确定Tonimoto系数。

6.根据权利要求5所述的基于嵌入特征相似度的注意力迁移的神经网络压缩方法，其特征在于，Tonimoto系数为：

式中，表示教师网络中j个第一注意力图向量，V_S^j表示待训练第二待训练神经网络中第j个第二注意力图向量。

7.一种基于嵌入特征相似度的注意力迁移的神经网络压缩装置，其特征在于，包括：

获取模块，用于获取多个训练样本，每个所述训练样本包括样本图像以及所述样本图像对应的类别；

第一训练模块，用于确定第一待训练神经网络模型后，利用所述训练样本训练所述第一待训练神经网络模型，得到教师网络；

生成模块，用于利用所述教师网络生成第一注意力图向量；

第二训练模块，用于确定第二待训练神经网络模型后，利用所述训练样本及预设损失函数训练所述第二待训练神经网络，并根据所述第二待训练神经网络模型生成的第二注意力图向量及输出结果确定损失值；其中，所述预设损失函数的损失值包括第一损失值和第二损失值，所述第一损失值为交叉熵损失值、所述第二损失值为第一注意力图向量与第二注意力图向量之间的损失值；

获得模块，用于当预设损失函数的损失值满足预设条件时，所述第二待训练神经网络训练完成，获得压缩后的学生网络。

8.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-6任一所述的方法步骤。