[发明专利]语料标注集的生成方法及装置、电子设备、存储介质

权利要求书

1.一种语料标注集的生成方法，其特征在于，包括：

获取查询日志；所述查询日志包括查询语句；

从所述查询日志中进行待标注查询语句的提取，获得待标注语料集；其中，所述待标注语料集包括已知标签信息的多条埋点语句；

获取多方对所述待标注语料集中查询语句的标注结果；其中，所述标注结果是所述多方为所述待标注语料集中查询语句添加的分类标签；

根据多方对所述多条埋点语句的标注结果，比较所述多条埋点语句的标注结果与对应标签信息是否一致，计算得到多方标注结果的准确率；

根据所述多方标注结果的准确率，从多方来源中剔除准确率不达标的标注结果来源；

根据余下来源的标注结果，从所述待标注语料集中筛选出多来源标注结果相似的查询语句；

由所述标注结果相似的查询语句与对应的标注结果，生成语料标注集。

2.根据权利要求1所述的方法，其特征在于，所述从所述查询日志中进行待标注查询语句的提取，获得待标注语料集，包括：

去除所述查询日志中不满足预设条件的查询语句；

将所述查询日志中剩余的查询语句，输入已构建的多个标签预测模型，输出多个标签预测模型对同一查询语句的标签预测结果；所述多个标签预测模型通过采用不同的训练样本集训练得到；

根据所述多个标签预测模型对同一查询语句的标签预测结果，从所述剩余的查询语句中筛选出标签预测结果不一致的查询语句，得到所述待标注语料集。

3.根据权利要求2所述的方法，其特征在于，所述去除所述查询日志中不满足预设条件的查询语句，包括：

通过已构建的分类器对所述查询日志中记录的查询语句进行分类，并去除分类得到的无意义的查询语句。

4.根据权利要求2所述的方法，其特征在于，所述去除所述查询日志中不满足预设条件的查询语句，包括：

根据已标注的查询语句集合，去除所述查询日志中已标注的查询语句以及与已标注查询语句相似的查询语句。

5.根据权利要求2所述的方法，其特征在于，所述去除所述查询日志中不满足预设条件的查询语句，包括：

去除所述查询日志中仅包含单个实体词的查询语句、语句长度大于预设字符数量的查询语句或者重复的查询语句。

6.根据权利要求1所述的方法，其特征在于，所述获取对所述待标注语料集中查询语句的标注结果，包括：

向多方派发对所述待标注语料集的标注任务，所述标注任务的派发，触发多方并行执行所述标注任务；

接收多方并行执行所述标注任务返回的标注结果。

7.根据权利要求6所述的方法，其特征在于，所述标注任务的派发，触发多方并行执行所述标注任务，包括：

所述标注任务的派发，触发多方并行将所述待标注语料集输入自身配置的标注模型，输出各自对所述待标注语料集的标注结果；其中，多方配置的标注模型采用不同的训练样本集训练得到。

8.一种语料标注集的生成装置，其特征在于，包括：

日志获取模块，用于获取查询日志；所述查询日志包括查询语句；

语料集获得模块，用于从所述查询日志中进行待标注查询语句的提取，获得待标注语料集；

结果获取模块，用于获取多方对所述待标注语料集中查询语句的标注结果；

语句筛选模块，用于根据多方对同一查询语句的标注结果，从所述待标注语料集中筛选出标注结果相似的查询语句；

标注集生成模块，用于由所述标注结果相似的查询语句与对应的标注结果，生成语料标注集；

其中，所述待标注语料集包括已知标签信息的多条埋点语句；所述语句筛选模块包括：

准确率计算单元，用于根据多方对所述多条埋点语句的标注结果，比较所述多条埋点语句的标注结果与对应标签信息是否一致，计算得到多方标注结果的准确率；

来源剔除单元，用于根据所述多方标注结果的准确率，从多方来源中剔除准确率不达标的标注结果来源；

语句筛选单元，用于根据余下来源的标注结果，从所述待标注语料集中筛选出多来源标注结果相似的查询语句。