[发明专利]一种基于少量数据的访客意图数据预抽取方法及系统

说明书

本发明公开了一种基于少量数据的访客意图数据预抽取方法，包括以下步骤：S1：使用正则表达式在访客会话数据中抽取数据，其中，所述的数据包括意图数据；S2：通过语言模型，从步骤S1中所获取的数据进行标注后训练一个分类器；S3：使用步骤S2的分类器对未标注过的数据进行预测，筛选出意图数据继续标注；S4：在步骤S3中预测数据的准确率小于预设值时，则执行步骤S1；否则，结束。通过本发明的方案更加减少垃圾数据的空间占用，并且节省时间和人力。

技术领域

本发明涉及医疗领域以及数据计算技术领域，尤其是一种基于少量数据的访客意图数据预抽取方法及系统。

背景技术

任务型对话机器人里面有一个“意图识别”模块，它的目的是识别访客(真人)每句话的意图。举个例子，淘宝中访客问到的“这个包邮吗”，它对应的意图是“是否包邮”。当意图识别模块识别出访客的意图后。机器人会相应的回复这个意图对应的话术，“这个包邮的亲！”。但是也有可能访客说的话在当前任务机器人里面是无意图的，因此需要训练一个有监督分类器来预抽取标注数据。现阶段意图数据主要采用关键字加正则表达式形式，在抽取数据的过程中容易出现大量的无用数据，例如：访客说“我今天不想上班”，在这个任务里面就是无用数据。

发明内容

为解决现有技术中采用关键字加正则表达式形式获取的数据多为无用数据，从而占用空间、耗费人力的问题，本发明提出了一种基于少量数据的访客意图数据预抽取方法。

具体如下：

一种基于少量数据的访客意图数据预抽取方法，包括以下步骤：

S1：使用正则表达式在访客会话数据中抽取数据，其中，所述的数据包括意图数据；

S2：通过语言模型，从步骤S1中所获取的数据进行标注后训练一个分类器；

S3：使用步骤S2的分类器对未标注过的数据进行预测，筛选出意图数据继续标注；

S4：在步骤S3中预测数据的准确率小于预设值时，则执行步骤S1；否则，结束。

优选的，所述的语言模型为word2vec、bert或者xlnet。

优选的，所述的分类器为TextCNN、SVM或者XGBOOST。

优选的，所述的标注通过人工完成。

根据本发明的另一个方面，提供一种基于少量数据的访客意图数据预抽取系统，包括：抽取单元、训练单元、筛选单元以及判断单元，其中，

抽取单元，用于使用正则表达式在访客会话数据中抽取数据，其中，所述的数据包括意图数据；

训练单元，用于通过语言模型，从所获取的数据进行标注后训练一个分类器；

筛选单元，用于使用所述的分类器对未标注过的数据进行预测，筛选出意图数据继续标注；

判断单元，用于判断预测数据的准确率是否小于预设值时，若是则继续通过抽取单元抽取数据；否则，结束。

优选的，所述的语言模型为word2vec、bert或者xlnet。

优选的，所述的分类器为TextCNN、SVM或者XGBOOST。

优选的，所述的标注通过人工完成。

通过本发明的方案更加减少垃圾数据的空间占用，并且节省时间和人力。

附图说明

下面结合附图对本发明的一种基于少量数据的访客意图数据预抽取方法及系统进行具体说明。

图1是本发明访客意图数据预抽取方法的流程图；