[发明专利]用于辅助标注模型训练数据的方法及系统

说明书

本发明公开用于辅助标注模型训练数据的方法及系统，其中该方法包括：S1、构建两个训练集；S2、训练两个与所述训练集一一对应的分类器，通过两个分类器分别预测对方训练集中训练数据的类别，获取预测结果与作业人员标注的类别不一致的错误数据，并从所述错误数据中提取错误特征；S3、更新待标注数据池，并基于新的待标注数据池获取多个新的训练数据并分发到两个训练集中；S4、基于两个新的训练集重复上述步骤S2‑S3，直至两个训练集中的训练数据总数量达到预设值，将两个训练集中所有的训练数据导出。用于辅助标注模型训练数据的系统采用上述方法，筛选出一些有价值的模型训练数据，实现了在模型训练数据的标注过程中同时提高标注效率与标注质量。

技术领域

本发明涉及人工智能技术领域，尤其涉及用于辅助标注模型训练数据的方法及系统。

背景技术

受益于计算资源的迅猛发展与网络普及带来的海量数据，人工智能技术得到迅猛发展。这其中，有监督学习占有举足轻重的地位。而有监督学习依赖于大量有标注数据，同时数据的标注效率低下，这两个特性是长期以来阻碍AI技术发展与应用的一对主要绊脚石。尽管我们可以投入更多的人力资源来缓解这一问题，但是，大量的身份不同、思想不同且未受专业训练的普通人对数据进行的标注，势必会给标注结果(即，上文中的有标注数据)带来大量的“噪声”，而这些“噪声”会给后续被训练的算法模型的训练过程带来不可忽略的影响。另一方面，由于在真实情况下，各类别数据之间的比例总体符合长尾定律，这意味着：标注的中后期，有效数据可能只占总体数据的20％以下。这种情况下，如果不做出特别的标注策略，就会导致人力资源极大的浪费，因此，如何在模型训练数据的标注过程中同时提高标注效率与标注质量，是亟需解决的问题。

发明内容

本发明的目的在于提供用于辅助标注模型训练数据的方法及系统，能够过滤筛选出一些有价值的模型训练数据，并且把由于标注人员思考方式不统一而造成的标注错误找出，实现了在模型训练数据的标注过程中同时提高标注效率与标注质量。

为了实现上述目的，本发明提供如下技术方案：

一种用于辅助标注模型训练数据的方法，包括：

S1、构建两个训练集，其中，所述训练集包括多个训练数据，所述训练数据是从待标注数据池中采样并被作业人员标注类别后得到的；

S2、训练两个与所述训练集一一对应的分类器，通过两个分类器分别预测对方训练集中训练数据的类别，获取预测结果与作业人员标注的类别不一致的错误数据，并从所述错误数据中提取错误特征；

S3、利用所述两个分类器同时预测所述待标注数据池，筛选并保留两个分类器的预测结果不一致的矛盾数据，以及包括所述错误特征的待标注数据，更新待标注数据池；基于新的待标注数据池获取多个新的训练数据并分发到两个训练集中；

S4、基于两个新的训练集重复上述步骤S2-S3，直至两个训练集中的训练数据总数量达到预设值，将两个训练集中所有的训练数据导出。

优选地，步骤S1具体包括：

S101、根据已知类别从待标注数据池中均匀地采样第一组数据并分发给作业人员进行类别标注，获取标注后的第一组数据存储为第一训练集的训练数据；

S102、从待标注数据池中随机采样第二组数据并分发给作业人员进行类别标注，获取标注后的第二组数据存储为第二训练集的训练数据。

较好地，步骤S2具体包括：

S201、利用所述第一训练集训练得到第一分类器，利用所述第二训练集训练得到第二分类器；其中，所述第一分类器和所述第二分类器分别包括多个二分类分类器；

S202、利用所述第一分类器预测所述第二训练集中的每个训练数据的类别，将预测结果与作业人员标注的类别不一致的训练数据标注为错误数据并存储到第一错误数据集中；