[发明专利]数据标注方法、计算机程序产品、存储介质及电子设备

权利要求书

1.一种数据标注方法，其特征在于，包括：

获取第一待标注数据及其推理结果；其中，所述第一待标注数据的推理结果为利用标注模型对所述第一待标注数据进行预测得到的信息；

获取用户标注的第二待标注数据的标注标签；其中，所述第二待标注数据为所述第一待标注数据中的部分待标注数据；

根据所述第二待标注数据的标注标签估计所述第一待标注数据中尚未标注的第三待标注数据的标注准确率是否已经达标；其中，所述第三待标注数据的标注准确率为根据所述第三待标注数据的推理结果所确定的推理标签的准确率；

若所述第三待标注数据的标注准确率已经达标，则将所述第三待标注数据的推理标签确定为所述第三待标注数据的标注标签。

2.根据权利要求1所述的数据标注方法，其特征在于，所述根据所述第二待标注数据的标注标签估计所述第一待标注数据中的第三待标注数据的标注准确率是否已经达标，包括：

根据所述第二待标注数据的标签确定所述第一待标注数据中的第四待标注数据；其中，所述第四待标注数据中包含标注正确的第二待标注数据和/或尚未标注过的第三待标注数据，所述第二待标注数据标注正确是指：所述第二待标注数据的标注标签和根据所述第二待标注数据的推理结果所确定的所述第二待标注数据的推理标签相同；

若所述第四待标注数据中包含尚未标注的第三待标注数据，则根据所述第四待标注数据中标注正确的第二待标注数据的数量，估计所述第三待标注数据的标注准确率是否达标。

3.根据权利要求2所述的数据标注方法，其特征在于，从所述获取用户标注的第二待标注数据的标注标签，直至所述将所述第三待标注数据的推理标签确定为所述第三待标注数据的标注标签的步骤，通过迭代的方式执行，每轮迭代包括以下步骤：

从所述第四待标注数据中抽样出在本轮迭代中提供给用户标注的所述第二待标注数据；其中，对于首轮迭代，所述第四待标注数据为所述第一待标注数据；

获取用户标注的所述第二待标注数据的标注标签，并根据所述第二待标注数据的标注标签对所述第四待标注数据进行筛选；

经过筛选后，若所述第四待标注数据中包含尚未标注的第三待标注数据，则根据所述第四待标注数据中标注正确的第二待标注数据的数量，估计所述第三待标注数据的标注准确率是否达标；

若所述第三待标注数据的标注准确率已经达标，则将所述第三待标注数据的推理标签确定为所述第三待标注数据的标注标签。

4.根据权利要求3所述的数据标注方法，其特征在于，所述标注模型为分类模型，所述第一待标注数据的推理结果包括所述第一待标注数据分属每个类别的概率；

在执行首轮迭代之前，所述方法还包括：根据所述第一待标注数据的推理结果创建与每个类别对应的标注候选池；其中，每个标注候选池中包含所述第一待标注数据及其推理结果中的、所述第一待标注数属于该标注候选池对应的类别的概率；

每轮迭代包括以下步骤：

从所有标注候选池中的所述第四待标注数据中抽样出在本轮迭代中提供给用户标注的所述第二待标注数据；其中，对于首轮迭代，每个标注候选池中的所述第四待标注数据为该标注候选池中的所述第一待标注数据；

获取用户标注的所述第二待标注数据的标注类别；其中，所述第二待标注数据的标注类别为所述第二待标注数据的标注标签；

对于每个标注候选池，执行以下步骤：

针对每条第二待标注数据，若该条第二待标注数据的标注类别和该标注候选池对应的类别不同，且该条第二待标注数据包含在该标注候选池中的所述第四待标注数据中，则将该标注候选池中的所述第四待标注数据缩减为仅包含满足以下条件的待标注数据：其推理结果中属于该标注候选池对应的类别的概率大于该条第二待标注数据的推理结果中属于该标注候选池对应的类别的概率；

在该标注候选池中的所述第四待标注数据经过缩减后，所述第四待标注数据中包含尚未标注的第三待标注数据，则根据所述第四待标注数据中标注正确的第二待标注数据的数量，估计所述第三待标注数据的标注准确率是否达标；

若所述第三待标注数据的标注准确率已经达标，则将该标注候选池对应的类别确定为所述第三待标注数据的标注类别；其中，该标注候选池对应的类别为所述第三待标注数据的推理标签，所述第三待标注数据的标注类别为所述第三待标注数据的标注标签。