[发明专利]一种基于主动学习的文本数据自动标注方法

摘要

本发明请求保护一种基于主动学习的文本数据自动标注方法，属于主动学习领域，包括以下步骤：101对已标记和未标记数据进行处理；102利用多个不同分类器对未标记数据进行分类；103选出分歧熵低的数据；104对分歧熵低的数据进行人工标记；105对人工标记结果进行自检。本发明针对如何在减少人工标注数据的数量的同时，尽量保证人工标注数据的准确性问题，通过结合主动学习方法发明一个附带自检功能的数据自动标注系统，达到缩减工作量且提高人工标注数据准确性的目的。

主权项

一种基于主动学习的数据自动标注方法，其特征在于，包括以下步骤：101、对已标记数据和未标记数据进行处理：首先分别对已人工标记样本数据和未标记样本数据做聚类处理，保存聚类后所得的K个聚簇中心点(C1，C2，C3，...，Ck)和每个聚簇内点到聚类中心的距离d，总数K下文的X和Y的值和等于以及每个聚簇的聚类半径(r1，r2，...，rk)；102、利用多个不同的基分类器对未标记数据进行分类：根据步骤101中经过聚类处理的部分已标记数据训练M个不同的分类器(M1，M2，...，MM)，并根据另外一部分数据使用线性回归模型对M个不同基分类器的分类结果做模型融合，得到每个基分类器的权重(i1，i2，...，iM),使用这M个分类器结合各自权重对未标记数据进行分类并根据标记结果，将已确定标记无误的样本加入已标记样本并不断定时重新训练当前各分类器模型，未标记数据确认类别后加入到已标记数据中，随着已标记数据量的增加，分类器模型应不断重新训练更新；103、将步骤102未标记数据的最终分类结果P和每个基分类器的分类结果(p1，p2，...，pM)进行结合获取该样本的分类分歧和：将分歧定义为样本融合后的最终分类类别和基分类器分类类别是否相同，相同则分歧为0，不相同为1，最后，计算并选取出分歧和大于k/2的未标记数据，分歧和指前面所有的0和1相加不同的分类器个数，并做标记处理；104、对分歧大的数据进行人工标记；105、对人工标记结果进行自检，如果自检结果与人工标记的存在差异，则重新将该样本放入队列提醒进行重新人工标记。