[发明专利]用于生成预标注样本的方法、装置、服务器和介质

说明书

本公开的实施例公开了用于生成预标注样本的方法、装置、服务器和介质。该方法的一具体实施方式包括：获取预设标注数据库，其中，该预设标注数据库中记录有问题文本与场景之间的对应关系；获取待进行预标注的多轮场景定位数据，其中，该多轮场景定位数据中包括至少一个问句与对应的场景；将该多轮场景定位数据中的至少一个问句与该预设标注数据库中的问题文本进行匹配，将匹配的问题文本对应的场景确定为匹配场景；根据所确定的匹配场景与进行匹配的至少一个问句对应的场景，基于该多轮场景定位数据生成正、负样本均衡的预标注样本。该实施方式实现了正、负样本均衡的预标注样本的大规模自动生成。

技术领域

本公开的实施例涉及计算机技术领域，具体涉及用于生成预标注样本和预训练模型的方法、装置、服务器和介质。

背景技术

随着机器学习技术的发展，预训练模型已经被学术界和工业界成功应用在文本分类、文本匹配、文本生成、机器翻译等多个自然语言处理相关领域的各类任务中。

现有技术中，预训练模型的参数调整通常需要大量的人工标注数据参与训练才能实现很好的效果。但完全依赖人工去标注大量的样本，既容易导致过高的成本，且难以保证正、负样本数量的均衡。

发明内容

本公开的实施例提出了用于生成预标注样本和用于预训练模型的方法、装置、服务器和介质。

第一方面，本公开的实施例提供了一种用于生成预标注样本的方法，该方法包括：获取预设标注数据库，其中，预设标注数据库中记录有问题文本与场景之间的对应关系；获取待进行预标注的多轮场景定位数据，其中，多轮场景定位数据中包括至少一个问句与对应的场景；将多轮场景定位数据中的至少一个问句与预设标注数据库中的问题文本进行匹配，将匹配的问题文本对应的场景确定为匹配场景；根据所确定的匹配场景与进行匹配的至少一个问句对应的场景，基于多轮场景定位数据生成正、负样本均衡的预标注样本。

在一些实施例中，上述获取预设标注数据库，包括：获取预设的数据库，其中，预设的数据库中记录有属于同一场景的语义一致的问题文本；获取单轮匹配数据库，其中，单轮匹配数据库中包括至少两个问题文本与用于表征至少两个问题文本语义是否一致的标注信息；根据单轮匹配数据库对预设的数据库进行扩充，生成预设标注数据库。

在一些实施例中，上述将多轮场景定位数据中的至少一个问句与预设标注数据库中的问题文本进行匹配，将匹配的问题文本对应的场景确定为匹配场景，包括：将多轮场景定位数据中的至少一个问句确定为多条件检索的至少一个查询词；将预设标注数据库中与所确定的至少一个查询词匹配的问题文本对应的场景确定为匹配场景。

在一些实施例中，上述将预设标注数据库中与所确定的至少一个查询词匹配的问题文本对应的场景确定为匹配场景，包括：利用与线上应用相一致的搜索引擎构建的索引对预设标注数据库中的预设标注数据进行召回，其中，预设标注数据包括问题文本与场景之间的对应关系；利用预先训练的匹配模型从召回结果中确定与至少一个查询词匹配的场景作为匹配场景。

在一些实施例中，上述根据所确定的匹配场景与进行匹配的至少一个问句对应的场景，基于多轮场景定位数据生成正、负样本均衡的预标注样本，包括：根据所确定的匹配场景与进行匹配的至少一个问句对应的场景是否匹配，对应生成正样本或负样本；从所生成的正样本和负样本中选取数目一致的正、负样本作为正、负样本均衡的预标注样本。

第二方面，本公开的实施例提供了一种用于预训练模型的方法，该方法包括：利用正、负样本均衡的预标注样本对初始预训练模型进行训练，得到中间预训练模型，其中，初始预训练模型用于表征问题文本与场景之间的对应关系；利用基于预标注样本进行人工校验的标注样本对中间预训练模型进行继续训练，生成预训练模型，其中，标注样本的数量小于预标注样本的数量。