[发明专利]基于最大信息三元组筛选网络的数据主动标注方法和系统

说明书

本发明涉及数据标注领域，具体涉及基于最大信息三元组筛选网络的数据主动标注方法和系统，目的在于缩减人工标注工作量，同时确保标注准确度。本发明根据样本的深度特征选取最具标注价值的未标注样本进行人工标注，并且构建最大信息三元组损失函数；逐步更新数据结构和网络参数，进而更新筛选网络模型。直到，未标注数据与已标注数据的类内最大差异均小于预设的第二阈值且类间最小差异均大于预设的第一阈值时，停止更新筛选网络模型。剩余的数据可利用最后更新的筛选网络模型由计算机完成标注。通过这种方法，在缩减人工标注工作量的同时确保了标注的准确度。

技术领域

本发明涉及数据标注领域，具体涉及基于最大信息三元组筛选网络的数据主动标注方法和系统。

背景技术

随着大数据时代的到来和硬件技术的发展，使得在大规模数据库上的研究不断革新，同时也看到了深度学习在计算机视觉中势不可挡的优势。

但是深度学习的主导地位，离不开海量标注数据的支持。随着数据量的不断扩大，人工标注海量数据不仅成本过高，而且非常耗时耗力。因此，对海量数据的标注一直是图像标注领域备受关注的问题。虽然深度学习技术在计算机视觉上已经取得了令人瞩目的成功，但是因为在图像标注上本身数据中已标注的数据量较少，使得深度学习技术没有更好的发展空间，从而无法得到很好的分类效果。

近些年，利用少量已标注样本去标注数据的主动学习方法成为海量数据标注的主要方法之一。一般基于主动学习的标注方法可以归纳为先利用聚类算法将数据集进行聚类，然后计算每个样本的信息熵，找出单一类内信息量大的样本进行标注。这种方法一般只考虑标注样本在类间的高度不确定性，并且逐个计算每个样本的信息熵然后再评比的过程过于繁琐。有些方法虽然采用了筛选代表性样本进行人工标注，但是在筛选代表性样本时，没有考虑类内的差异性。另外，对分类器的优化并没有充分发挥已筛选数据样本的作用。

发明内容

为了解决现有技术中的上述问题，本发明提出了基于最大信息三元组筛选网络的数据主动标注方法和系统，减少了人工标注的工作量，同时确保了标注的准确度。

本发明的一方面，提出一种基于最大信息三元组筛选网络的数据主动标注方法，包括以下步骤：

步骤S10，根据样本的深度特征，利用深度筛选网络模型结合主动学习筛选最具标注价值的未标注样本进行人工标注，生成人工标注后的数据；

步骤S20，根据所述人工标注后的数据，更新训练数据集，构建最大信息三元组损失函数，并基于更新后的训练数据集和所述最大信息三元组损失函数训练并更新所述深度筛选网络模型；

步骤S30，当更新后的训练数据集中，未标注数据与已标注数据的类内最大差异均小于预设的第二阈值，且类间最小差异均大于预设的第一阈值时执行步骤S40，否则基于步骤S20中更新后的所述深度筛选网络模型重复步骤S10、步骤S20；

步骤S40，采用所述深度筛选网络模型，对剩余的未标注样本进行标注；

其中，

所述最具标注价值的未标注样本，包括：类间最具不确定性的未标注样本，以及类内最具差异性的未标注样本；

筛选所述最具标注价值的未标注样本的方法为：

将每个类别中已标注样本与其他不同类别的未标注样本分别比较，选择各不同类别中深度特征差异最小的未标注样本，作为所述类间最具不确定性的未标注样本；

将每个类别中已标注样本与该类别中的未标注样本比较，选择深度特征差异最大的未标注样本，作为所述类内最具差异性的未标注样本；

所述最大信息三元组损失函数为：