[发明专利]用于训练模型的方法、装置、设备以及存储介质

说明书

本申请公开了用于训练模型的方法、装置、设备以及存储介质，涉及知识图谱、自然语言处理、深度学习技术领域。具体实现方案为：获取第一标注数据集，其中，第一标注数据集包括样本数据和样本数据对应的标注分类结果；根据第一标注数据集训练预先设置的初始分类模型，得到中间模型；利用中间模型对第一标注数据集中的样本数据进行预测，得到样本数据对应的预测分类结果；根据样本数据、对应的标注分类结果、对应的预测分类结果，生成第二标注数据集；根据第二标注数据集训练中间模型，得到分类模型。本实现方式能够有效地利用高噪声的标注数据，训练出高可用的模型，提高了数据的利用率。

技术领域

本申请涉及计算机技术领域，具体涉及知识图谱领域、自然语言处理、深度学习领域，尤其涉及用于训练模型的方法、装置、设备以及存储介质。

背景技术

语义匹配技术是自然语言处理领域中重要的技术方向，在业务中也有着广泛的应用，充当着应用的基石。语义匹配技术，简而言之，是将两个字符串经过语义理解后，根据其语义进行相似度匹配的技术。语义匹配技术不仅在自然语言处理领域中一直占有相当重要的地位，而且在排序、推荐以及问答等多个业务领域有着广泛的应用，是研究与业务中不可或缺的一部分。

但是语义匹配模型训练的数据一直是限制其在科研与业务中广泛应用的源头。语义匹配模型的训练数据中，对于某些标准较为模糊的匹配需求，其标注数据会较为困难，会出现非常多的错误标注，又常有非常多的噪声。而如何克服噪声，训练出高效且准确的语义匹配模型，则是进一步推进语义匹配模型效果的途径。

发明内容

提供了一种用于训练模型的方法、装置、设备以及存储介质。

根据第一方面，提供了一种用于训练模型的方法，包括：获取第一标注数据集，其中，上述第一标注数据集包括样本数据和样本数据对应的标注分类结果，样本数据包括文本数据、图像数据、语音数据或视频数据；根据上述第一标注数据集训练预先设置的初始分类模型，得到中间模型；利用上述中间模型对上述第一标注数据集中的样本数据进行预测，得到上述样本数据对应的预测分类结果；根据上述样本数据、对应的标注分类结果、对应的预测分类结果，生成第二标注数据集；根据上述第二标注数据集训练上述中间模型，得到分类模型。

根据第二方面，提供了一种用于训练模型的装置，包括：获取单元，被配置成获取第一标注数据集，其中，上述第一标注数据集包括样本数据和样本数据对应的标注分类结果，样本数据包括文本数据、图像数据、语音数据或视频数据；第一训练单元，被配置成根据上述第一标注数据集训练预先设置的初始分类模型，得到中间模型；预测单元，被配置成利用上述中间模型对上述第一标注数据集中的样本数据进行预测，得到上述样本数据对应的预测分类结果；生成单元，被配置成根据上述样本数据、对应的标注分类结果、对应的预测分类结果，生成第二标注数据集；第二训练单元，被配置成根据上述第二标注数据集训练上述中间模型，得到分类模型。

根据第三方面，提供了一种用于训练模型的电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，所述指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面所描述的方法。

根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，上述计算机指令用于使计算机执行如第一方面所描述的方法。

根据本申请的技术能够有效地利用高噪声的标注数据，训练出高可用的模型，提高了数据的利用率。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是本申请的一个实施例可以应用于其中的示例性系统架构图；