[发明专利]模型训练方法、装置、计算机设备及存储介质

说明书

本申请涉及模型训练方法、装置、计算机设备、存储介质和计算机程序产品。该方法包括：将文本样本数据输入第一模型中，根据得到的第一样本特征数据确定第一损失；将文本样本数据输入第二模型中，根据得到的第二样本特征数据和第一样本特征数据确定第二损失；将文本样本数据输入第三模型中，得到第三样本特征数据，基于预设条件，确定以第一样本特征数据和第三样本特征数据的相似度得到第三损失，或以第三样本特征数据之间的相似度以及第一样本特征数据和第三样本特征数据之间的相似度得到第三损失；根据第一损失、第二损失和第三损失确定损失函数，损失函数用于对第一模型进行训练。本方案可使第一模型的收敛速度更快，文本识别的精确度更高。

技术领域

本申请涉及自然语言处理技术领域，特别是涉及一种模型训练方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

随着深度学习的发展，自然语言处理中深度神经网络的使用越来越多，为了能够提高模型的性能，大多数模型都比较复杂，参数量大，内存消耗大的问题，很难直接应用于GPU(graphics processing unit，图形处理器)及智能手机等应用资源受限的设备上。

知识蒸馏，属于一种迁移学习方法，就是将一个模型的性能迁移到另一个模型上，而对于教师-学生网络，教师网络往往是一个更加复杂的网络，具有较好的性能和泛化能力，可以用教师网络作为目标函数来指导另外一个更加简单的学生网络学习，使得更加简单、参数运算量更少的学生模型也能够具有和教师网络相近的性能。这种学习模式可以将网络从大网络转化成一个小网络，并保留接近于大网络的性能；也可以将多个网络学到的知识转移到一个网络中，使得单个网络的性能接近多个网络整体的结果。

通过知识蒸馏技术可以对复杂的模型进行压缩以满足运行要求，但是通过知识蒸馏得到的学生模型对文本进行识别的精确度往往较低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高学生模型对文本的识别精确度的模型训练方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面，本申请提供了一种模型训练方法。所述方法包括：

获取文本样本数据；

将所述文本样本数据输入第一模型中，得到第一样本特征数据，根据所述第一样本特征数据确定第一损失；

将所述文本样本数据输入第二模型中，得到第二样本特征数据，根据所述第一样本特征数据和所述第二样本特征数据确定第二损失；

将所述文本样本数据输入第三模型中，得到第三样本特征数据，基于预设条件，确定以所述第一样本特征数据和所述第三样本特征数据的相似度得到第三损失，或以所述第三样本特征数据之间的相似度以及所述第一样本特征数据和所述第三样本特征数据之间的相似度得到第三损失；

根据所述第一损失、所述第二损失和所述第三损失确定损失函数，所述损失函数用于对所述第一模型进行训练。

在其中一个实施例中，所述文本样本数据包括第一样本、第二样本和第三样本，且所述第二样本与第一样本语义相近，所述第三样本与第一样本语义相反；所述将所述文本样本数据输入第一模型中，得到第一样本特征数据，包括：

将所述文本样本数据输入所述第一模型中，根据所述第一样本得到第一目标特征数据；

根据所述第二样本，得到第二目标特征数据；

根据所述第三样本，得到第三目标特征数据；

所述将所述文本样本数据输入第二模型中，得到第二样本特征数据，包括：

将所述文本样本数据输入所述第二模型中，根据所述第一样本得到第四目标特征数据；

根据所述第二样本，得到第五目标特征数据；