[发明专利]一种意图数据质检方法及系统

说明书

本发明公开了一种意图数据质检方法，所述方法包括：S1：获取待质检数据集，并制定训练集和测试集；S2：以bert为embedding，利用CNN训练所述的训练集得到文本分类模型；S3：通过所述的文本分类模型预测所述测试集，得到包含意图伪标签的意图数据集；S4：整合后生成标准正确率的参考值。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种意图数据质检方法及系统， 主要适用于医美领域。

背景技术

在仿真营销机器人中，意图识别和项目识别是机器人做出回复的重要依 据之一。机器人依据访客的项目和意图到知识库里抽取对应的话术进行回复。 意图和项目识别的准确与否关系到机器人回答的准确性，直接影响到使用者 的体验。尤其在医美领域，机器人涉及到的意图有数十种，识别错误的话会 导致机器人话术调用错误，出现答非所问甚至机器人不回复的情况。意图识 别需要基于大量高质量的标注数据来训练模型和矫正，因此标注数据的质量 决定了。在标注数据使用前需要对标注数据进行质检，质检的比例通常为标 注数据集的10％，数量级可达几万至几十万。质检抽查的比例越高的数据的质 量越高，耗费的人力和时间成本也越高。质检的比例低了的话，可能造成漏 检，导致最终效果不好。

发明内容

本发明所要解决的技术问题是针对上述现有技术的不足提供一种意图数 据质检方法及系统，能够在提高质检比例的情况下减少质检的人工和时间成 本。

为实现上述目的，本发明还提供一种意图数据质检方法，所述方法包括：

S1：获取待质检数据集，并制定训练集和测试集；

S2：以bert为embedding，利用CNN训练所述的训练集得到文本分类模 型；

S3：通过所述的文本分类模型预测所述测试集，得到包含意图伪标签的 意图数据集；

S4：整合后生成标准正确率的参考值。

优选的，步骤S4进一步包括：

S4-1：重复步骤S2和S3执行n次，得到n组伪标签的意图数据集；其 中，n定义的范围为5≤n≤10；

S4-2：提取n组伪标签的意图数据集中相同文本的文本数据集，以所述文 本数据集中的伪标签为标准；

S4-3：对比所述文本数据集中伪标签与人工标签相同的比例，以该比例作 为标准正确率的参考值。

优选的，所述待质检数据集从通过标注完成的数据中抽取。

为实现上述目的，本发明还提供一种意图数据质检系统，所述系统包括： 获取模块、训练模块、预测模块和生成模块；其中，

所述获取模块，用于获取待质检数据集，并制定训练集和测试集；

所述训练模块，用于以bert为embedding，利用CNN训练所述的训练集 得到文本分类模型；

所述预测模块，用于通过所述的文本分类模型预测所述测试集，得到包 含意图伪标签的意图数据集；

所述生成模块，用于整合后生成标准正确率的参考值。

附图说明

图1为本发明一实施例提供的意图数据质检方法的流程示意图；

图2为本发明一实施例提供的意图数据质检系统的结构框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步 说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限 定本发明。