[发明专利]基于自注意力的知识蒸馏方法、装置和计算机设备

权利要求书

1.一种基于自注意力的知识蒸馏方法，其特征在于，包括：

将输入数据输入第一模型得到所述第一模型的中间层输出的第一特征矩阵，将所述输入数据输入第二模型得到所述第二模型的中间层输出的第二特征矩阵，其中，所述第一模型为训练好的老师模型，所述第二模型为待训练的学生模型，所述第一特征矩阵和所述第二特征矩阵具有相同的序列长度；

根据所述第一特征矩阵计算所述老师模型对应的第一自注意力权重分布，根据所述第二特征矩阵计算所述学生模型对应的第二自注意力权重分布；

计算所述第一自注意力权重分布和所述第二自注意力权重分布之间的分布差异；

将所述分布差异，作为所述老师模型和所述学生模型之间的知识蒸馏损失函数；

根据所述知识蒸馏损失函数，将所述老师模型的中间层的数据映射关系迁移至所述学生模型的中间层上；

根据所述知识蒸馏损失函数，将所述老师模型的中间层的数据映射关系迁移至所述学生模型的中间层上的步骤之后，包括：

获取预设的所述学生模型的任务类型；

根据所述学生模型的任务类型匹配全连接层和目标函数，其中，所述全连接层连接于所述学生模型的中间层的输出端；

根据所述知识蒸馏损失函数和所述目标函数，形成训练所述学生模型的总损失函数，TotalLoss=Loss1*lambda+TargertLoss，lambda为调节参数，为大于零的实数，基于注意力权重的损失函数为Loss1，任务类型对应的目标函数作为损失函数TargertLoss；

根据所述总损失函数在训练集上训练所述学生模型；

所述根据所述知识蒸馏损失函数和所述目标函数，形成训练所述学生模型的总损失函数的步骤，包括：

获取所述知识蒸馏损失函数和所述目标函数的数量级别差；

根据所述数量级别差确定调节参数；

根据所述调节参数、所述知识蒸馏损失函数和所述目标函数，训练所述学生模型的总损失函数。

2.根据权利要求1所述的基于自注意力的知识蒸馏方法，其特征在于，所述根据所述第一特征矩阵计算所述老师模型对应的第一自注意力权重分布的步骤，包括：

将所述第一特征矩阵进行转置计算，得到所述第一特征矩阵对应的第一转置矩阵；

根据所述第一特征矩阵和所述第一转置矩阵，计算所述第一特征矩阵的内部特征关系；

对所述第一特征矩阵的内部特征关系进行softmax函数计算，得到所述老师模型对应的第一自注意力权重分布。

3.根据权利要求1所述的基于自注意力的知识蒸馏方法，其特征在于，所述老师模型使用多头注意力机制，所述根据所述第一特征矩阵计算所述老师模型对应的第一自注意力权重分布的步骤，包括：

将所述第一特征矩阵按照所述多头注意力机制对应的头数进行均分，得到多个子矩阵；

对第一子矩阵进行转置计算，得到所述第一子矩阵对应的第一转置子矩阵，其中，所述第一子矩阵为所述第一特征矩阵对应的多个子矩阵中的任一个；

根据所述第一子矩阵和所述第一转置子矩阵，计算所述第一子矩阵的内部特征关系；

根据所述第一子矩阵的内部特征关系的计算方式，计算所述第一特征矩阵的各子矩阵分别对应的内部特征关系；

将所述第一特征矩阵的各子矩阵分别对应的内部特征关系，按照各子矩阵在所述第一特征矩阵中的排布次序，拼接成所述第一特征矩阵的内部特征关系；

对所述第一特征矩阵的内部特征关系进行softmax函数计算，得到所述老师模型对应的第一自注意力权重分布。

4.根据权利要求2或3所述的基于自注意力的知识蒸馏方法，其特征在于，所述计算所述第一自注意力权重分布和所述第二自注意力权重分布之间的分布差异的步骤，包括：

计算所述第一自注意力权重分布和所述第一自注意力权重分布之间的KL散度损失；

将所述KL散度损失作为所述第一自注意力权重分布和所述第二自注意力权重分布之间的分布差异。