[发明专利]一种标注结果确定的方法及装置

权利要求书

1.一种标注结果确定的方法，其特征在于，所述方法包括：

获取针对待标注数据的多种候选标注结果，其中，每种候选标注结果携带一个或多个标注员标识；

针对每种候选标注结果，确定该候选标注结果携带的各标注员标识对应的标注员评估值，并根据所述标注员评估值，确定该候选标注结果的置信度；

根据各候选标注结果的置信度，从所述多种候选标注结果中选取所述待标注数据的最终标注结果。

2.根据权利要求1所述的方法，其特征在于，所述获取针对待标注数据的多种候选标注结果包括：

获取多个标注员针对目标标注数据进行人工标注后的标注结果，其中，所述目标标注数据包括所述待标注数据，所述标注结果包括针对所述待标注数据的候选标注结果；

比较各标注员的候选标注结果，将相同的候选标注结果作为同一种候选标注结果，并标记同一种候选标注结果所对应的标注员标识。

3.根据权利要求2所述的方法，其特征在于，所述目标标注数据还包括测试标注数据，所述标注结果还包括针对所述测试标注数据的测试标注结果；

所述针对每种候选标注结果，确定该候选标注结果携带的各标注员标识对应的标注员评估值，包括：

将所述标注员标识对应的测试标注结果与预先为所述测试标注数据设定的标准测试标注结果进行比较，以确定该标注员标识的本次标注评估值；

获取该标注员标识的历史标注评估值；

根据所述本次标注评估值以及所述历史标注评估值，确定该标注员标识的标注员评估值。

4.根据权利要求3所述的方法，其特征在于，所述将所述标注员标识对应的测试标注结果与预先为所述测试标注数据设定的标准测试标注结果进行比较，以确定该标注员标识的本次标注评估值，包括：

将所述标注员标识对应的测试标注结果与预先为所述测试标注数据设定的标准测试标注结果进行比较，以确定改动数量；

确定所述标准测试标注结果的总数量；

根据所述改动数量以及所述总数量，计算该标注员标识在本次正确率作为本次标注评估值。

5.根据权利要求3或4所述的方法，其特征在于，所述历史标注评估值为前一次标注评估值；

所述根据所述本次标注评估值以及所述历史标注评估值，确定该标注员标识的标注员评估值，包括：

对所述本次标注评估值与所述前一次标注评估值进行加权求和计算，得到该标注员标识的标注员评估值，其中，本次标注评估值的权重大于所述前一次标注评估值的权重。

6.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述标注员评估值，确定该候选标注结果的置信度，包括：

计算当前候选标注结果携带的一个或多个标注员标识对应的标注员评估值的平均值，作为该候选标注结果的置信度。

7.根据权利要求1-4任一项所述的方法，其特征在于，所述根据各候选标注结果的置信度，从所述多种候选标注结果中选取所述待标注数据的最终标注结果，包括：

选取置信度最高的候选标注结果作为所述待标注数据的最终标注结果。

8.一种标注结果确定的装置，其特征在于，所述装置包括：

候选标注结果获取模块，用于获取针对待标注数据的多种候选标注结果，其中，每种候选标注结果携带一个或多个标注员标识；

标注员评估值确定模块，用于针对每种候选标注结果，确定该候选标注结果携带的各标注员标识对应的标注员评估值；

置信度确定模块，用于根据所述标注员评估值，确定该候选标注结果的置信度；

最终标注结果确定模块，用于根据各候选标注结果的置信度，从所述多种候选标注结果中选取所述待标注数据的最终标注结果。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一所述的方法。